Anpassen der Größe von Delta-Tabellendatendateien

Dateien mit geeigneter Größe sind wichtig für die Abfrageleistung, ressourcenauslastung und Die Metadatenverwaltung. Kleinere Dateien erhöhen den Aufgabenaufwand und Metadatenoperationen, während größere Dateien die Parallelität nicht vollständig nutzen und E/A belasten können. Delta Lake verwendet Dateimetadaten zum Löschen von Partitionen und Zum Überspringen von Daten, sodass durch die Ausrichtung auf die richtige Dateigröße effiziente Lese-, Schreib- und Wartungsvorgänge sichergestellt werden.

Empfehlungen zur Dateigröße nach Verbrauchsszenario (SQL Analytics-Endpunkt, Power BI Direct Lake, Spark) finden Sie unter Wartung und Optimierung der übergreifenden Arbeitsauslastungstabelle.

In den folgenden Abschnitten werden die wichtigsten Features beschrieben, mit denen Sie die Dateigröße in Delta-Tabellen optimieren können.

Anpassbare Datenanordnungsvorgänge

Optimieren

Der OPTIMIZE Befehl schreibt kleine Dateien als größere Dateien um, um das Layout von Daten in Delta-Tabellen zu verbessern. Weitere Details einschließlich Optimierungsinformationen zur Dateigröße erhalten Sie in der OPTIMIZE-Befehlsdokumentation .

Automatische Komprimierung

Die automatische Komprimierung wertet die Partitionsintegrität nach jedem Schreibvorgang automatisch aus. Wenn eine übermäßige Dateifragmentierung (zu viele kleine Dateien) innerhalb einer Partition erkannt wird, löst sie einen synchronen OPTIMIZE Vorgang unmittelbar nach dem Commit des Schreibvorgangs aus. Dieser writer-gesteuerte Ansatz zur Dateiwartung ist im Allgemeinen optimal, da die Komprimierung nur ausgeführt wird, wenn programmgesteuert festgestellt wird, dass sie von Vorteil ist. Ausführliche Konfigurationsoptionen und zusätzliche Informationen finden Sie in der Dokumentation zur automatischen Komprimierung .

Optimieren des Schreibvorgangs

Durch die Optimierung des Schreibvorgangs wird der Aufwand für kleine Dateien reduziert, indem eine Vorschreibkomprimierung (Bin-Packung) durchgeführt wird, wodurch weniger, größere Dateien generiert werden. Mit diesem Ansatz werden speicherinterne Daten in optimal dimensionierte Container sortiert, bevor Spark die Parquet-Dateien schreibt, wodurch das Potenzial für die Generierung entsprechend angepasster Dateien maximiert wird, ohne dass sofort nach dem Schreiben Bereinigungsoperationen erforderlich sind.

Verwenden Sie die Optimierung des Schreibvorgangs selektiv. Das Shuffling kann in einigen Schreibpfaden unnötige Verarbeitungszeit verursachen. Das Optimieren von Schreibvorgängen ist besonders vorteilhaft, wenn Schreibvorgänge andernfalls viele kleine Dateien erstellen würden, die später eine Komprimierung erfordern.

Das Optimieren von Schreibvorgängen ist in der Regel von Vorteil für:

• Partitionierte Tabellen
• Tabellen mit häufigen kleinen Einfügungen
• Vorgänge, die wahrscheinlich viele Dateien berühren (MERGE, UPDATEund DELETE)

Bei selektiver Anwendung auf bestimmten Tabellen deaktivieren Sie die Sitzungskonfiguration, und aktivieren Sie die Tabelleneigenschaft einzeln. Auf diese Weise kann jede Tabelle steuern, ob die Schreiboptimierung angewendet wird.

1. Optimierung für Schreiben deaktivieren

   spark.conf.unset("spark.databricks.delta.optimizeWrite.enabled")
   

2. Aktivieren in einer einzelnen Tabelle

   ALTER TABLE dbo.table_name
   SET TBLPROPERTIES ('delta.autoOptimize.optimizeWrite' = 'true')
   

Um die Schreiboptimierung für Schreibvorgänge in alle partitionierten Tabellen in einer Spark-Sitzung zu aktivieren, stellen Sie sicher, dass die Sitzungskonfiguration nicht festgelegt ist, und legen Sie dann folgendes fest spark.microsoft.delta.optimizeWrite.partitioned.enabled:

SET spark.microsoft.delta.optimizeWrite.partitioned.enabled = TRUE

spark.conf.set('spark.microsoft.delta.optimizeWrite.partitioned.enabled', True)

spark.conf.set("spark.microsoft.delta.optimizeWrite.partitioned.enabled", "true")

Über die spark.databricks.delta.optimizeWrite.binSize Konfiguration kann die durch die Optimierung generierte Dateigröße angepasst werden.

Zieldateigröße konsequent festlegen

Verwenden Sie die delta.targetFileSize Tabelleneigenschaft, um das Festlegen separater minimaler und maximaler Sitzungskonfigurationen für Dateigrößen bei der Optimierung, automatischen Komprimierung und Optimierung des Schreibvorgangs zu vermeiden. Diese Eigenschaft vereinheitlicht das Dateigrößenverhalten auf Tabellenebene. Geben Sie den Wert als Bytezeichenfolge an (zum Beispiel 1073741824b, 1048576k, 1024m, 1g). Bei Festlegung hat sie Vorrang vor Sitzungskonfigurationen und adaptiver Zieldateigröße.

ALTER TABLE dbo.table_name
SET TBLPROPERTIES ('delta.targetFileSize' = '256m')

Größe der adaptiven Zieldatei

Microsoft Fabric bietet adaptive Zieldateigröße, um die Komplexität im Zusammenhang mit der manuellen Optimierung der Zieldateigröße aller Tabellen in einer Sitzung oder einzelnen Tabellen über die delta.targetFileSize Table-Eigenschaft zu beseitigen. Die Größe der adaptiven Zieldatei verwendet Delta-Tabellen heuristiken wie z. B. die Tabellengröße, um die ideale Zieldatei zu schätzen und das Ziel automatisch zu aktualisieren, wenn sich die Bedingungen ändern, um eine optimale Leistung ohne manuelle Eingriffe oder Wartungsaufwand sicherzustellen.

Adaptive Zieldateigröße aktivieren

Aktivieren Sie die Größe der adaptiven Zieldatei für Tabellen, die in einer Spark-Sitzung erstellt oder geändert wurden, indem Sie die folgende Spark-Sitzungskonfiguration festlegen:

SET spark.microsoft.delta.targetFileSize.adaptive.enabled = TRUE

spark.conf.set('spark.microsoft.delta.targetFileSize.adaptive.enabled', True)

spark.conf.set("spark.microsoft.delta.targetFileSize.adaptive.enabled", "true")

Verstehen des Auswertungsverhaltens

Wenn diese Option aktiviert ist, wird die Größe der adaptiven Zieldatei ausgewertet und in den folgenden Szenarien festgelegt:

• CREATE TABLE AS SELECT und CREATE OR REPLACE TABLE AS SELECT Operationen
• Überschreibt Schreibvorgänge (z. B. DataFrame.write.mode("overwrite") oder INSERT OVERWRITE)
• Schreibt beim Erstellen einer neuen Tabelle im ErrorIfExists-, Append- oder Ignore-Modus.
• Am Anfang des OPTIMIZE Befehls

Nach der Festlegung wird die ideale Größe zu Beginn jedes OPTIMIZE Vorgangs erneut ausgewertet, um sicherzustellen, dass aktuelle Heuristiken die neueste Datenverteilung und Tabellenwachstum widerspiegeln. Durch diesen adaptiven Ansatz wird die Zieldatei im Laufe der Zeit automatisch aktualisiert, wodurch die Notwendigkeit für manuelle Anpassungen entfällt und die Abfrage- und Schreibleistung erhalten bleibt, während Ihre Daten wachsen. Wenn Sie eine bestimmte Größe sperren müssen, z. B. in Hyperoptimierungs- oder Testanwendungsfällen, können Sie die adaptive Einstellung außer Kraft setzen, indem Sie die benutzerdefinierte delta.targetFileSize Tabelleneigenschaft explizit festlegen.

Anpassen der Grenzen der adaptiven Dateigröße

Die Größe der adaptiven Zieldatei kann mithilfe der folgenden Spark-Sitzungskonfigurationen weiter konfiguriert werden:

Überprüfen der ausgewerteten Zielgröße

Sie können die evaluierte adaptive Zieldateigröße überprüfen, indem Sie Tabellendetails und Eigenschaften aus DESCRIBE DETAIL oder DESCRIBE EXTENDED prüfen. Der ausgewertete Wert wird als Bytezeichenfolge in der delta.targetFileSize.adaptive Tabelleneigenschaft geschrieben.

Dieser Wert wird als Zielgröße (oder max.) zum Optimieren, Automatischen Komprimieren und Optimieren des Schreibvorgangs verwendet. Der zugehörige Mindestwert wird als die Hälfte von delta.targetFileSize.adaptive berechnet.

Verstehen der Leistungsbeeinträchtigung

Das folgende Diagramm veranschaulicht die Beziehung zwischen der Tabellengröße und der optimalen Parquet-Datei-Größe. Bei Tabellen unter 10 GB wertet die Fabric Spark Runtime die Zieldateigröße auf 128 MB aus. Wenn die Tabellengröße wächst, wird die Zieldatei linear skaliert und erreicht bis zu 1 GB für Tabellen, die 10 TB überschreiten.

Indem man mit 128 MB anfängt und die Größe der Parquet-Dateien dann skaliert, wenn eine Tabelle größer wird, hat vielfältige Vorteile:

• Verbessertes Überspringen von Delta-Dateien: Dateien mit richtiger Größe unterstützen optimale Datenclustering und Überspringen, sodass das Protokoll zum Überspringen von Delta-Dateien während der Abfrageausführung irrelevantere Dateien beseitigen kann. Eine Tabelle mit Dateien von 128 MB statt 1 GB ermöglicht das achtfache Überspringen von Dateien.

• Reduzierte Updatekosten: MERGE und UPDATE Vorgänge schreiben nur betroffene Dateien neu. Dateien mit der rechten Größe minimieren die Anzahl der pro Vorgang berührten Dateien, wodurch die Menge der neu geschriebenen Daten reduziert wird. Mit aktivierten Löschvektoren wird die ordnungsgemäße Dateigröße kritisch: Tombstones auf Zeilenebene in überdimensionierten Dateien führen zu erheblichen Bereinigungskosten bei Komprimierungs- oder Bereinigungsvorgängen.

• Optimierte Parallelität: Dateien mit der richtigen Größe ermöglichen Spark, eine ideale Task-Parallelität zu erzielen. Zu viele kleine Dateien überwältigen den Zeitplan; zu wenige große Dateien unterlasten Ihren Spark-Pool. Optimale Größenanpassung maximiert den Lese- und Schreibdurchsatz.

Die Größe der adaptiven Zieldatei kann die Komprimierungsleistung und die Abfrage-/Schreiblatenz verbessern, wenn sie eine bessere Größe als die Standardkonfiguration auswählt. Wenn die adaptive Auswertung dieselbe Größe wie die Standardkonfiguration der Spark-Sitzung erzeugt, wird keine messbare Verbesserung erwartet.

Zusammenfassung der bewährten Methoden

Verwenden Sie diese Empfehlungen, um Schreibkosten, Leseleistung und Wartungsaufwand auszugleichen, wenn Tabellen wachsen.

• Automatische Verdichtung aktivieren für Datenaufnahme-Pipelines mit häufigen, kleinen Schreibvorgängen (Streaming oder Mikrobatching), damit die Dateigesundheit ohne manuelle Zeitplanung beibehalten wird.
• Verwenden Sie die automatische Komprimierung selektiv für andere Schreibmuster , wenn Ihre Ziele auf Dienstebene gelegentlich Schreiblatenzspitzen tolerieren können.
• Aktivieren Sie die adaptive Zieldateigröße, um die manuelle Optimierung zu reduzieren und die Zielgrößen mit dem Tabellenwachstum auszurichten.
• Verwenden Sie optimize write in kontrollierten Aufnahmepfaden (Batchaufträge, die Shuffle-, partitionierte Schreibvorgänge oder häufige kleine Schreibvorgänge tolerieren können), um den nachgeschalteten Komprimierungsdruck zu reduzieren.
• Planen Sie die vollständige Tabelle OPTIMIZE während ruhiger Fenster , wenn Sie viele Partitionen neu schreiben oder Z-Order anwenden müssen.
• Aktivieren Sie die schnelle Optimierung, um die Schreibverstärkung zu reduzieren und OPTIMIZE idempotenter zu machen. Schnelle Optimierung anzeigen.
• Verwenden Sie delta.targetFileSize oder konsistente adaptive Zieldateigröße, damit Optimierung, automatische Komprimierung und Optimierung von Schreibvorgängen kompatible Dateigrößenziele erreichen.
• Aktivieren Sie die Komprimierungsziele auf Dateiebene , um unnötige Neukompilierung zu reduzieren, da die Zieldateigrößen im Laufe der Zeit steigen.

Verwandte Inhalte

• Arbeitsauslastungsübergreifende Tabellenwartung und Optimierung
• Delta Lake-Tabellenoptimierung und V-Order
• Tabellenkomprimierung
• Lakehouse-Tabellenwartung