Komprimering av Delta-tabeller

Delta-tabellfiler blir fragmentert over tid. Fragmentering øker filoperasjonsoverhead, reduserer komprimeringseffektiviteten og kan begrense leserens parallellisme. Kompaktering omskriver mange små filer til færre filer i riktig størrelse slik at Spark kan lese og behandle data mer effektivt.

Kommandoen OPTIMIZE er den primære komprimeringsoperasjonen. Den grupperer små filer i mapper som retter seg mot en ideell filstørrelse, og skriver dem deretter om til storage.

For veiledning på tvers av arbeidsbelastninger om komprimeringsstrategier på tvers av SQL Analytics Endpoint, Power BI Direct Lake og Spark, se vedlikehold og optimalisering av tverrarbeidsbelastningstabeller.

Komprimeringsmetoder

Microsoft Fabric tilbyr flere tilnærminger for å opprettholde optimale filstørrelser i Delta-tabeller:

OPTIMIZE kommando

Kommandoen OPTIMIZE er den grunnleggende operasjonen for å komprimere Delta-tabeller. Den omskriver små filer til større filer for å forbedre dataoppsettet i Delta-tabeller.

OPTIMIZE dbo.table_name

from delta.tables import *
deltaTable = DeltaTable.forName(spark, "dbo.table_name")
deltaTable.optimize().executeCompaction()

import io.delta.tables._
val deltaTable = DeltaTable.forName(spark, "dbo.table_name")
deltaTable.optimize().executeCompaction() 

OPTIMIZE er idempotent, men en oversized minFileSize kan øke skriveforsterkningen. For eksempel, med minFileSize satt til 1 GB, kan en 900 MB-fil bli omskrevet etter en liten ekstra skriving. For automatisk veiledning for filstørrelseshåndtering, se adaptiv målfilstørrelse.

OPTIMIZE med Z-Order

Når du bruker klausulen ZORDER BY , OPTIMIZE omskriver den aktive filer slik at rader med lignende verdier er samlokalisert i de samme filene. Dette forbedrer filhopp for selektive filtre. Bruk Z-Order når:

• Spørringene filtreres ofte på to eller flere kolonner sammen (for eksempel dato + customer_id), og
• Disse predikatene er selektive nok til at hopping på filnivå reduserer antall filer som skannes.

OPTIMIZE dbo.table_name ZORDER BY (column1, column2)

OPTIMIZE med V-Order

Setningen VORDER resulterer i at filene som er begrenset for komprimering, har V-Order-optimaliseringen brukt. For mer informasjon om V-Order, se den detaljerte dokumentasjonen.

OPTIMIZE dbo.table_name VORDER

OPTIMIZE med væskeklynger

Væskeklynger er spesifisert som et tabellalternativ; Se Aktiver væskeklynger for mer informasjon. Når flytende klynger er aktivert, OPTIMIZE utfører den fysiske omskrivingen som bruker klyngepolicyen.

Rask optimalisering

Rask optimalisering analyserer Delta-tabellfiler på en intelligent måte og hopper over komprimeringsoperasjoner som sannsynligvis ikke vil forbedre ytelsen på en meningsfull måte.

I stedet for å blindt komprimere filer når det finnes små filer, evaluerer rask optimalisering om hver kandidathylle (gruppe med små filer) oppfyller konfigurerbare komprimeringsmål for beste praksis. Fast Optimize kjører bare komprimering på en hylle med filer hvis sammenslåing av dem sannsynligvis vil nå minimumsmålstørrelsen, eller hvis det er for mange små filer. Ellers hopper den over den gruppen eller reduserer hvor mange filer den komprimerer.

SET spark.microsoft.delta.optimize.fast.enabled = TRUE

spark.conf.set('spark.microsoft.delta.optimize.fast.enabled', True)

spark.conf.set("spark.microsoft.delta.optimize.fast.enabled", "true")

Rask optimalisering kan finjusteres basert på dine komprimeringsforventninger:

Slik fungerer det

Rask optimalisering introduserer ekstra kontroller før søppelkasser komprimeres. For hver kandidathylle evaluerer rask optimalisering:

• Den estimerte mengden rådata i hyllen (summen av små filstørrelser)
• Om kombinasjonen av de små filene anslås å produsere en fil som oppfyller den konfigurerte minimumsmålstørrelsen
• Om hyllen inneholder minst det konfigurerte minimumsantallet små filer

Rask optimalisering evaluerer hver hylle med små filer og komprimerer bare de små filene som sannsynligvis vil nå minimumsmålstørrelsen eller overskride minimumsantallet filer. Hyller som ikke oppfyller disse tersklene, hoppes over eller komprimeres delvis. Å hoppe over suboptimale hyller reduserer unødvendige omskrivinger, reduserer skriveforsterkning og gjør OPTIMIZE-jobber mer idempotente.

Rask optimalisering kan redusere omskrevet data over en Delta-tabell livssyklus. Som vist i diagrammet nedenfor, hopper rask optimalisering over suboptimale bins, noe som resulterer i raskere og mer idempotente OPTIMIZE jobber med mindre skriveforsterkning.

Begrensninger

• Gjelder ikke for væskeklynger og Z-ordreoperasjoner
• Rask optimalisering endrer ikke virkemåten til automatisk komprimering

Komprimeringsmål på filnivå

For å unngå omskriving av data som tidligere ble ansett som komprimerte (store nok) basert på endring av mål for komprimering av min. og maks filstørrelse, spark.microsoft.delta.optimize.fileLevelTarget.enabled kan aktiveres for å forhindre omkomprimering av allerede komprimerte filer. Når den er aktivert, komprimeres ikke filer på nytt hvis de tidligere oppfylte minst halvparten av målfilstørrelsen på komprimeringstidspunktet. Å opprettholde filnivåmål minimerer skriveforsterkning ettersom kompakteringsmålstørrelsen endres over tid (for eksempel fra adaptiv målfilstørrelse, evaluere og sette et større mål). Hvis den er aktivert, legges koden OPTIMIZE_TARGET_SIZE til i nye filer når OPTIMIZE kjøres, eller for en skriveoperasjon hvis egenskapen delta.targetFileSize eller delta.targetFileSize.adaptive table er angitt.

SET spark.microsoft.delta.optimize.fileLevelTarget.enabled = TRUE

spark.conf.set('spark.microsoft.delta.optimize.fileLevelTarget.enabled', True)

spark.conf.set("spark.microsoft.delta.optimize.fileLevelTarget.enabled", "true")

Automatisk komprimering

Automatisk komprimering evaluerer partisjonstilstanden etter hver skriveoperasjon. Når den oppdager overdreven filfragmentering (for mange små filer) i en partisjon, utløser den en synkron OPTIMIZE operasjon umiddelbart etter at skrivingen er utført. Denne forfatterdrevne tilnærmingen til filvedlikehold er optimal fordi komprimering bare utføres når det er programmatisk fastslått å være fordelaktig.

Aktiver på sesjonsnivå

Satt spark.databricks.delta.autoCompact.enabled på sesjonsnivå for å aktivere automatisk komprimering for nye tabeller opprettet i den Spark-økten:

SET spark.databricks.delta.autoCompact.enabled = TRUE

spark.conf.set('spark.databricks.delta.autoCompact.enabled', True)

spark.conf.set("spark.databricks.delta.autoCompact.enabled", "true")

Aktiver på tabellnivå

Sett tabellegenskap delta.autoOptimize.autoCompact for å aktivere automatisk komprimering for spesifikke tabeller:

CREATE TABLE dbo.table_name
TBLPROPERTIES ('delta.autoOptimize.autoCompact' = 'true')

Bruk DataFrameWriter-alternativet delta.autoOptimize.autoCompact for å aktivere automatisk komprimering når du oppretter en tabell:

df.write.option('delta.autoOptimize.autoCompact', 'true').saveAsTable('dbo.table_name')

Aktiver samme tabellegenskap på en eksisterende tabell:

ALTER TABLE dbo.table_name
SET TBLPROPERTIES ('delta.autoOptimize.autoCompact' = 'true')

Juster automatisk komprimeringsgrenser

Juster automatisk komprimeringsoppførsel ved å sette disse Spark-sesjonskonfigurasjonene:

Velg mellom automatisk komprimering og planlagt OPTIMIZE

Microsoft anbefaler automatisk komprimering som standardstrategi for de fleste inntastingsarbeidsbelastninger. Den overgår vanligvis faste tidsplaner og reduserer den operative belastningen ved å vedlikeholde OPTIMIZE jobber.

Hvis latensmålene dine er strenge, kan det være bedre å planlegge OPTIMIZE på en separat Spark-pool fordi automatisk komprimering kjører synkront etter skriving.

Bruk kompaktering sammen med småfilforebyggingsfunksjoner som optimaliser, skriv. For veiledning, se Optimaliser skriv.

Vedlikehold av Lakehouse-bord

Du kan utføre ad hoc-vedlikeholdsoperasjoner, for eksempel OPTIMIZE fra Lakehouse Explorer. For mer informasjon, se vedlikehold av Lakehouse-tabellen.

Sammendrag av anbefalte fremgangsmåter

Bruk disse anbefalingene for å balansere skrivekostnader, leseytelse og vedlikeholdsoverhead for Delta-tabellkomprimering.

• Aktiver automatisk komprimering for inntak pipelines med hyppige små skrivinger (streaming eller mikrobatch) for å redusere manuell planlegging.
• Bruk automatisk komprimering selektivt for andre skrivemønstre når dine servicenivåmål tåler sporadiske topper i skrive-latens.
• Planlegg full tabell OPTIMIZE under stille vinduer når du må skrive om mange partisjoner eller bruke Z-Order.
• Aktiver rask optimalisering for å redusere skriveforsterkning og lage OPTIMIZE mer idempotent.
• Slå til filnivå-komprimeringsmål for å redusere unødvendig omkompresjon etter hvert som målfilstørrelser øker over tid.
• Bruk optimalisering av skriving i egnede inntastingsstier fordi forhåndskomprimering ofte er rimeligere enn etterskriving komprimering. For veiledning, se Optimaliser skriv.

Beslektet innhold

• Vedlikehold og optimalisering av kryss-arbeidsbelastningstabeller
• Tabelloptimalisering for Delta Lake og V-order
• Juster filstørrelse
• Vedlikehold av Lakehouse-bord