Erstellen von benutzerdefinierten Spark-Pools in Microsoft Fabric

Verwenden Sie benutzerdefinierte Spark-Pools, um die Rechenressourcen für Ihre Workloads innerhalb von Fabric anzupassen. Sie können die Knotengröße auswählen, das Verhalten der automatischen Skalierung konfigurieren und die dynamische Executorzuordnung aktivieren.

Benutzerdefinierte Pools helfen Ihnen beim Ausgleich von Leistung und Kosten, indem Sie Skalierungsgrenzwerte festlegen können, die den Workloadbedarf erfüllen.

Wenn Sie bereits Startpools verwenden, sind benutzerdefinierte Pools eine ergänzende Option, wenn Sie mehr Kontrolle über das Größen- und Skalierungsverhalten für bestimmte Workloads benötigen. Verwenden Sie Starterpools für einen schnellen Start und Standardeinstellungen, und wechseln Sie zu benutzerdefinierten Pools, wenn Sie eine workload-spezifische Berechnungsoptimierung benötigen. Weitere Informationen zu Startpools finden Sie unter Konfigurieren von Startpools in Fabric.

Voraussetzungen

So erstellen Sie einen benutzerdefinierten Spark-Pool:

• Sie benötigen die Administratorrolle im Arbeitsbereich.
• Ein Kapazitätsadministrator muss benutzerdefinierte Arbeitsbereichspools in Spark Compute-Einstellungen für die Kapazität aktivieren.

Weitere Informationen finden Sie unter Konfigurieren und Verwalten von Data Engineering- und Data Science-Einstellungen für Fabric-Kapazitäten.

Erstellen von benutzerdefinierten Spark-Pools

So erstellen oder verwalten Sie den Spark-Pool, der Ihrem Arbeitsbereich zugeordnet ist:

1. Wechseln Sie zu Ihrem Arbeitsbereich, und wählen Sie "Arbeitsbereichseinstellungen" aus.

   

2. Wählen Sie die Option "Data Engineering/Science " aus, um das Menü zu erweitern, und wählen Sie dann "Spark"-Einstellungen aus.

   

3. Wählen Sie im Dropdownmenü "Standardpool für Arbeitsbereich" die Option "Neuer Pool" aus, um einen neuen benutzerdefinierten Spark-Pool zu erstellen. Sie können mehrere benutzerdefinierte Pools erstellen und einen der Pools als Standardpool für Ihren Arbeitsbereich auswählen.

4. Geben Sie auf der Seite " Neuen Pool erstellen" einen Poolnamen ein. Wählen Sie eine Knotenfamilie (z. B. speicheroptimiert) und die Knotengröße basierend auf workloadanforderungen aus. Weitere Informationen zu Knotengrößen finden Sie im Abschnitt " Knotengrößenoptionen" weiter unten.

   Tipp

   Die Knotengröße wird durch Kapazitätseinheiten (CU) bestimmt, die die berechnungskapazität darstellen, die jedem Knoten zugewiesen ist.

   

5. Konfigurieren Sie in der Bearbeitungsansicht Autoscale und weisen Sie Executoren dynamisch zu.

   

   Verwenden Sie die Schieberegler, um jede Einstellung basierend auf Ihren Arbeitsauslastungsanforderungen zu erhöhen oder zu verringern.

   • Wenn "AutoScale " aktiviert ist, wird der Pool basierend auf der Aktivität zwischen den konfigurierten Minimal- und Maximalknotenwerten skaliert.

   • Wenn dynamische Zuweisung von Executoren aktiviert ist, passt Fabric die Executorzuordnung basierend auf der Workloadnachfrage innerhalb der konfigurierten Grenzen an.

6. Wählen Sie "Erstellen" aus.

Benutzerdefinierte Pools haben eine standardmäßige Automatische Pausendauer von 2 Minuten nach inaktivität. Wenn die Autopause erreicht ist, endet die Sitzung und der Cluster wird freigegeben. Die Abrechnung gilt nur, wenn die Rechenleistung aktiv genutzt wird. Benutzerdefinierte Sparkpools in Microsoft Fabric unterstützen derzeit ein maximales Knotenlimit von 200. Stellen Sie daher sicher, dass Ihre Minimal- und Höchstwerte für die automatische Skalierung innerhalb dieses Grenzwerts verbleiben.

Knotengrößenoptionen

Wenn Sie einen benutzerdefinierten Spark-Pool einrichten, wählen Sie aus den folgenden Knotengrößen aus:

Verwandte Inhalte

• Weitere Informationen finden Sie in der öffentlichen Dokumentation zu Apache Spark.
• Erste Schritte mit Spark-Arbeitsbereichsverwaltungseinstellungen in Microsoft Fabric.