Databricks Runtime 10.2 (EoL)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.2 und Databricks Runtime 10.2 Photon, unterstützt von Apache Spark 3.2.0. Diese Version wurde von Databricks im Dezember 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

• Verwenden von Dateien in Repositorys mit Spark Streaming
• Databricks Utilities fügt einen Befehl zum Aktualisieren der Einbindung hinzu
• Delta Lake unterstützt das Umbenennen von Spalten (Public Preview)
• Die Delta Lake-Tabellenhistorie fügt Versionsinformationen zur Databricks Runtime hinzu
• Databricks Utilities fügt Informationen über die letzte Änderungszeit hinzu, wenn Verzeichnisse aufgelistet werden
• Spark SQL fügt eine approx_top_k-Funktion hinzu, die die obersten Elemente und deren Anzahl zurückgibt
• Trigger.AvailableNow jetzt verfügbar in Python sowie in Scala
• Autoloader unterstützt jetzt die Schemaentwicklung für Avro (Public Preview).

Dateien in Repositorien mit Spark Streaming verwenden

Sie können jetzt über Spark Streaming auf Dateien in Repositorys zugreifen.

Databricks Utilities fügt einen Befehl zum Aktualisieren der Einbindung hinzu

Der neue dbutils.fs.updateMount-Befehl ist ähnlich wie dbutils.fs.mount, aber dieser neue Befehl aktualisiert einen bestehenden Bereitstellungspunkt, anstatt einen neuen zu erstellen. Weitere Informationen finden Sie unter updateMount-Befehl (dbutils.fs.updateMount).

Delta Lake unterstützt das Umbenennen von Spalten (Public Preview)

Delta Lake unterstützt jetzt das Umbenennen von Spalten. Um die Spalte einer Delta-Tabelle umzubenennen, müssen Sie die Version der Delta-Tabelle aktualisieren und dann den Spaltenzuordnungsmodus auf die Namenszuordnung festlegen. Weitere Informationen finden Sie unter Rename and drop columns with Delta Lake column mapping (Umbenennen und Löschen von Spalten mit Delta Lake-Spaltenzuordnung).

Der Delta Lake-Tabellenverlauf fügt der Databricks Runtime Versionsinformationen hinzu

Wenn jetzt ein Schreibvorgang in eine Delta-Tabelle erfolgt, werden auch Informationen zur Databricks Runtime-Version aufgezeichnet, die den Schreibvorgang durchgeführt hat. Führen Sie zum Abrufen der Versionsinformationen den DESCRIBE HISTORY-Befehl für die Tabelle aus, und sehen Sie sich dann die engineInfo-Spalte in der Ausgabe an. Siehe DESCRIBE HISTORY und Arbeiten mit Tabellenverlauf.

Databricks Utilities fügt Informationen über die letzte Änderungszeit hinzu, wenn Verzeichnisse aufgelistet werden

Der dbutils.fs.ls-Befehl zum Auflisten des Inhalts eines Verzeichnisses gibt jetzt ein modificationTime-Feld aus. Dieses Feld enthält die letzte Änderungszeit für jede aufgelistete Datei oder jedes Verzeichnis. Siehe ls-Befehl (dbutils.fs.ls).

Spark SQL fügt eine approx_top_k-Funktion hinzu, die die obersten Elemente und deren Anzahl zurückgibt

Die neue approx_top_k-Funktion gibt die am häufigsten vorkommenden Elementwerte zusammen mit der ungefähren Anzahl für den angegebenen Ausdruck zurück. Beispiele hierfür sind:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Das Ergebnis der Ausführung eines der beiden Beispiele ist:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Siehe approx_top_k Aggregatfunktion.

Trigger.AvailableNow ist jetzt sowohl in Python als auch in Scala verfügbar.

Diese Änderung unterstützt die Delta-Quellstreamingabfragen Trigger.AvailableNow in Python genauso wie in Scala. Databricks Runtime 10.1 hat diesen Trigger in Scala eingeführt. Databricks Runtime 10.2 unterstützt diesen Trigger nun auch in Python. Details zu Trigger.AvailableNow finden Sie unter Was ist Auto Loader?.

Autoloader unterstützt jetzt die Schemaentwicklung für Avro (Public Preview).

Siehe Schemainferenz und -evolution in Auto Loader konfigurieren.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.3.1 auf 3.4.0
  • plotly von 5.3.0 auf 5.3.1
• Aktualisierte R-Bibliotheken:
  • Basis aktualisieren von 4.1.1 auf 4.1.2
  • compiler von 4.1.1 auf 4.1.2
  • Datensätze von 4.1.1 bis 4.1.2
  • Graphics von 4.1.1 bis 4.1.2
  • grDevices von 4.1.1 auf 4.1.2
  • grid von 4.1.1 bis 4.1.2
  • Methoden von 4.1.1 bis 4.1.2
  • parallel von 4.1.1 auf 4.1.2
  • Rserve von 1.8-8 auf 1.8-10
  • splines von 4.1.1 auf 4.1.2
  • Statistiken von 4.1.1 auf 4.1.2
  • stats4 von 4.1.1 auf 4.1.2
  • tcltk von 4.1.1 auf 4.1.2
  • Werkzeuge von 4.1.1 auf 4.1.2
  • utils von 4.1.1 auf 4.1.2
  • Backports von 1.2.1 bis 1.4.0
  • broom von 0.7.9 auf 0.7.10
  • cli von 3.0.1 auf 3.1.0
  • cpp11 von 0.4.0 auf 0.4.1
  • crayon von 1.4.1 auf 1.4.2
  • Zugangsdaten von 1.3.1 auf 1.3.2
  • future von 1.22.1 auf 1.23.0
  • aktualisiert von 1.4.1 auf 1.4.3
  • glmnet von 4.1-2 auf 4.1-3
  • glue von 1.4.2 auf 1.5.0
  • memoise von 2.0.0 auf 2.0.1
  • parallel von 1.28.1 auf 1.29.0
  • readr von 2.0.2 auf 2.1.0
  • Sessioninfo von 1.1.1 auf 1.2.1
  • stringi von 1.7.5 auf 1.7.6
  • tibble von 3.1.5 auf 3.1.6
  • tinytex von 0.34 auf 0.35
  • tzdb von 0.1.2 auf 0.2.0
  • usethis von 2.1.2 auf 2.1.3
  • uuid von 0.1-4 auf 1.0-3
  • vroom von 1.5.5 auf 1.5.6
  • xfun von 0.27 auf 0.28
• Aktualisierte Java-Bibliotheken:
  • com.fasterxml.jackson von 2.12.2 auf 2.12.3
  • io.airlift.aircompressor von 0.19 auf 0.21
  • Aktualisierung von io.netty.netty-all von Version 4.1.63.Final auf Version 4.1.68.Final.
  • joda-time.joda-time von 2.10.5 auf 2.10.10
  • org.apache.commons.commons-compress von 1.20 auf 1.21
  • org.apache.orc von 1.6.10 auf 1.6.12
  • org.eclipse.jetty von 9.4.40.v20210413 auf 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 von 1.0 auf 1.2
  • org.scalanlp.breeze_2.12 von 1.0 auf 1.2
  • org.org.typelevel.algebra_2.12 von 2.0.0 auf 2.0.1
  • org.typelevel.cats-kernel_2.12 von 2.0.0 auf 2.0.1

Apache Spark

Databricks Runtime 10.2 enthält Apache Spark 3.2.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 10.1 (EoL) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() Ergebnis in einem Lazy Val
• [SPARK-37468] [SQL] Unterstützung von ANSI-Intervallen und TimestampNTZ für UnionEstimation
• [SPARK-37464] [SQL] SCHEMA und DATABASE sollten einfach Aliase von NAMESPACE sein
• [SPARK-37452] [SQL] Char und Varchar unterbrechen die Abwärtskompatibilität zwischen v3.1 und v2
• [SPARK-36861] [SQL] yyyy-MM-dd als Datumsmuster bei der Partitionserkennung verwenden
• [SPARK-37456] [SQL] CREATE NAMESPACE sollte den Speicherort für den v2-Befehl qualifizieren
• [SPARK-37357] [SQL] Kleinen Partitionsfaktor für die erneute Verteilung von Partitionen hinzufügen
• [SPARK-37446] [SQL] Reflexion für getWithoutRegisterFns verwenden, um verschiedene Hive-Versionen für das Kompilieren zu ermöglichen
• [SPARK-37444] [SQL] NAMESPACE ändern ... SET LOCATION sollte einen leeren Speicherort konsistent über v1- und v2-Befehl hinweg behandeln.
• [SPARK-36357] [SQL] Unterstützung von Pushdown Timestamp ohne Zeitzone für ORC
• [SPARK-36346] [SQL] Unterstützung des TimestampNTZ-Typs in der Orc-Dateiquelle
• [SPARK-36646] [SQL] Pushdown der Gruppe nach Partitionsspalte für Aggregat
• [SPARK-34960] [SQL] Aggregat-Pushdown für ORC
• [SPARK-37386] [SQL] OptimizeSkewedJoin vereinfachen, damit die Kostenauswertung nicht ausgeführt wird
• [SPARK-36073] [SQL] Korrekturen und Verbesserungen für EquivalentExpressions
• [SPARK-35352] [SQL] Code-Generierung für vollständigen äußeren Sort-Merge-Join hinzufügen
• [SPARK-37292] [SQL] Entfernt den äußeren Join, wenn er sich nur auf der gestreamten Seite mit DISTINCT und Alias befindet
• [SPARK-37371] [SQL] UnionExec sollte columnar unterstützen, wenn alle untergeordneten Elemente columnar unterstützen
• [SPARK-36645] [SQL] Pushdown von Aggregationen (Min/Max/Count) für Parquet
• [SPARK-37379] [SQL] Baummusterbeschneiden zur CTE-Substitution Regel hinzufügen
• [SPARK-37332] [SQL] ANSI-Intervalle in ALTER TABLE .. ADD COLUMNS zulassen
• [SPARK-37224] [SS] Schreibpfad des RocksDB-Zustandsspeicheranbieters optimieren
• [SPARK-37304] [SQL] ANSI-Intervalle in v2 ALTER TABLE .. REPLACE COLUMNS zulassen
• [SPARK-36924] [SQL] CAST zwischen ANSI-Intervallen und IntegralType
• [SPARK-37289] [SQL] partitionSchemaOption-Funktion entfernen
• [SPARK-37270] [SQL] Einfügen von zusammenklappbaren Elementen in CaseWhen-Branches korrigieren, wenn elseValue leer ist
• [SPARK-35345] [SQL] Parquet-Tests zu BloomFilterBenchmark hinzufügen
• [SPARK-37341] [SQL] Unnötige Puffer und Kopien im vollständigen äußeren Sort-Merge-Join vermeiden
• [SPARK-37266] [SQL] Ansichtstext kann nur Abfragen sein SELECT
• [SPARK-37288] [PYTHON][3.2] Zurückportierung seit der Aktualisierung der Anmerkungen
• [SPARK-37262] [SQL] Leere Aggregat- und Group-By-Operationen nicht im JDBCScan protokollieren.
• [SPARK-37283] [SQL] Versuchen Sie nicht, eine V1-Tabelle zu speichern, die ANSI-Intervalle im hive-kompatiblen Format enthält.
• [SPARK-37221] [SQL] Die collect-ähnliche API in SparkPlan sollte die spaltenbasierte Ausgabe unterstützen
• [SPARK-37202] [SQL] AnalysisContext zum Nachverfolgen von temporären Funktionen verwenden, auf die verwiesen wird
• [SPARK-37023] [CORE] Vermeiden Sie das Abrufen des Merge-Status, wenn shuffleMergeEnabled für eine shuffleDependency während eines Retries deaktiviert ist.
• [SPARK-37307] [CORE] Rufen Sie keine JDBC-Verbindung für leere Partitionen ab.
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions-Unterstützung optimiert Nicht-Stammknoten
• [SPARK-36799] [SQL] queryExecution-Name in CLI übergeben
• [SPARK-37261] [SQL] Hinzufügen von Partitionen mit ANSI-Intervallen in DSv2 zulassen
• [SPARK-37203] [SQL] Korrektur von NotSerializableException bei Beobachtung mit TypedImperativeAggregate
• [SPARK-37199] [SQL] Deterministisches Feld zu QueryPlan hinzufügen
• [SPARK-37253] [PYTHON] try_simplify_traceback sollte nicht fehlschlagen, wenn tb_frame.f_lineno None ist
• [SPARK-37214] [SQL] Analyse der Abfrage bei ungültigen Bezeichnern früher abbrechen
• [SPARK-37240] [SQL] ANSI-Intervalle durch ColumnVectorUtils.populate() verarbeiten
• [SPARK-35437] [SQL] Ausdrücke verwenden, um Hive-Partitionen auf der Clientseite zu filtern
• [SPARK-32940] [SQL] „Collect“, „First“ und „Last“ sollten deterministische Aggregatfunktionen sein
• [SPARK-37231] [SQL] Dynamische Schreib-/Lesevorgänge von ANSI-Intervallpartitionen
• [SPARK-37038] [SQL] DSV2 Sample Push Down
• [SPARK-36665] [SQL] Weitere Vereinfachungen für NOT-Operator hinzufügen
• [SPARK-37150] [SQL] DESCRIBE NAMESPACE migrieren, um standardmäßig den V2-Befehl zu verwenden
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale konnte Null nicht zurückgeben
• [SPARK-37212] [SQL] Implementierung des Aggregatpushdowns verbessern
• [SPARK-37190] [SQL] Fehlermeldungen für Cast im ANSI-Modus verbessern
• [SPARK-37161] [SQL] RowToColumnConverter-Unterstützung von AnsiIntervalType
• [SPARK-37160] [SQL] Konfiguration zur optionalen Deaktivierung von Auffüllungen für den Typ „char“ hinzufügen
• [SPARK-36554] [SQL][python] make_date-Ausdruck in functions.scala freigeben.
• [SPARK-37200] [SQL] Unterstützung von DROP INDEX für Datenquelle V2
• [SPARK-37179] [SQL] ANSI-Modus: Konfiguration hinzufügen, die die Umwandlung zwischen „Datetime“ und „Numeric“ gestattet
• [SPARK-37168] [SQL] Fehlermeldungen für SQL-Funktionen und -Operatoren im ANSI-Modus verbessern
• [SPARK-36935] [SQL] ParquetSchemaConverter erweitern, um das Parquet-Repetitionsniveau und Definitionsniveau zu berechnen
• [SPARK-37066] [SQL] Fehlermeldung verbessern, um den Dateipfad anzuzeigen, wenn die nächste Datei nicht gelesen werden kann
• [SPARK-32567] [SQL] Codegenerierung für vollständigen äußeren geshuffelten Hashjoin hinzufügen
• [SPARK-37176] [SQL] Abgleich der Logik zur Ausnahmebehandlung der Methode JsonInferSchema#infer mit der Methode JacksonParser#parse
• [SPARK-37149] [SQL] Fehlermeldungen für arithmetische Überlaufausnahmen im ANSI-Modus verbessern
• [SPARK-37136] [SQL] Code über die integrierte Hive-Funktion entfernen, aber nicht in Spark implementieren
• [SPARK-16280][SPARK-37082] [SQL] Implementierung der Aggregationsfunktion histogram_numeric, die eine partielle Aggregation unterstützt
• [SPARK-36975] [SQL] Korrigieren der Metriken der Hive-Client-Aufrufe in HiveClientImpl

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.2 Wartungsaktualisierung.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden vom Microsoft CRAN-Snapshot vom 30.11.2021 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)