Databricks Runtime 10.3 (EoL)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.3 und Databricks Runtime 10.3 Photon, unterstützt von Apache Spark 3.2.1. Photon ist als Public Preview verfügbar. Diese Version wurde von Databricks im Februar 2022 veröffentlicht.

Neue Features und Verbesserungen

• Parquet- und Avro-Writer verwenden jetzt die Sitzungszeitzone beim Rebasing von Zeitstempeln in Parquet-Datenquellen
• Neue Funktionen in Spark SQL
• Low Shuffle Merge ist jetzt allgemein verfügbar
• Neue COPY INTO Features: Überprüfungsmodus und Schemaentwicklung
• Identitätsspalten werden jetzt in Delta-Tabellen unterstützt (Public Preview).

Parquet- und Avro-Writer verwenden jetzt die Sitzungszeitzone beim Rebasing von Zeitstempeln in Parquet-Datenquellen

Parquet- und Avro-Writer verwenden jetzt die Sitzungszeitzone beim Rebasing von Zeitstempel im legacy-Modus, anstatt die JVM-Standardzeitzone zu verwenden. Die Sitzungszeitzone ist standardmäßig auf die JVM-Zeitzone festgelegt.

Neue Funktionen in Spark SQL

Die folgenden Spark SQL-Funktionen werden jetzt in dieser Version unterstützt:

• aes_decrypt: Entschlüsselt Eingaben mithilfe von AES.
• aes_encrypt: Verschlüsselt Eingaben mithilfe von AES.
• contains: Erkennt, ob ein Ausdruck einen anderen Ausdruck enthält.
• endswith: Erkennt, ob ein Ausdruck mit einem anderen Ausdruck endet.
• percentile_cont: Gibt einen Perzentilwert zurück.
• startswith: Bestimmt, ob ein Ausdruck mit einem anderen Ausdruck beginnt.

Low Shuffle Merge ist jetzt allgemein verfügbar

Der Delta-MERGE INTO-Befehl verwendet eine Technik namens Low Shuffle Merge, die das Shuffling nicht geänderter Zeilen reduziert. Dies verbessert die Leistung des Befehls und hilft dabei, vorhandene Cluster in der Tabelle beizubehalten, z. B. Z-Sortierung. Diese Funktionalität wurde in Databricks Runtime 9.0 als Public Preview eingeführt und ist jetzt allgemein verfügbar. Um das "Low Shuffle Merge" zu aktivieren, setzen Sie spark.databricks.delta.merge.enableLowShuffle auf true. Siehe Zusammenführung mit geringem Shuffle in Azure Databricks.

Neue COPY INTO Features: Überprüfungsmodus und Schemaentwicklung

Überprüfungsmodus: COPY INTO unterstützt jetzt einen VALIDATE-Modus, in dem die Daten, die in eine Tabelle geladen werden sollen, überprüft, aber nicht in die Tabelle geschrieben werden. Diese Validierungen umfassen:

• Ob die Daten analysiert werden können
• Ob das Schema dem der Tabelle entspricht oder ob das Schema weiterentwickelt werden muss
• Ob alle NULL-Zulässigkeits- und Überprüfungs-Einschränkungen erfüllt sind.

Beispielverwendung:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

Standardmäßig werden alle Daten überprüft, die geladen werden sollen. Sie können eine Anzahl von Zeilen angeben, die mit dem ROWS-Schlüsselwort überprüft werden sollen, z. B. VALIDATE 15 ROWS. Die COPY INTO-Anweisung gibt eine Vorschau der Daten aus 50 Zeilen oder weniger zurück, wenn eine kleinere Zahl als 50 mit dem ROWS-Schlüsselwort verwendet wird.

Schemaentwicklung: COPY INTO unterstützt jetzt die Schemaentwicklung mit der mergeSchema-Option in COPY_OPTIONS. Um das Schema einer Tabelle weiterentwickeln zu können, müssen Sie über OWN-Berechtigungen für die Tabelle verfügen.

Beispielverwendung:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Siehe COPY INTO.

Identitätsspalten werden jetzt in Delta-Tabellen unterstützt (Public Preview).

Delta Lake unterstützt jetzt Identitätsspalten. Wenn Sie in eine Delta-Tabelle schreiben, die eine Identitätsspalte definiert, und Sie keine Werte für diese Spalte bereitstellen, weist Delta jetzt automatisch einen eindeutigen und statistisch zu- oder abnehmenden Wert zu. Siehe CREATE TABLE [USING].

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • distlib von 0.3.3 auf 0.3.4
  • filelock von 3.4.0 auf 3.4.2
  • numpy von 1.19.2 auf 1.20.1
  • Plotly von 5.3.1 auf 5.5.0
• Aktualisierte R-Bibliotheken:
  • Rückportierungen von 1.4.0 auf 1.4.1
  • brio von 1.1.2 auf 1.1.3
  • Aktualisierung von broom von Version 0.7.10 auf 0.7.11
  • Klasse von 7.3-19 bis 7.3-20
  • cpp11 von 0.4.1 auf 0.4.2
  • DBI von 1.1.1 auf 1.1.2
  • devtools von 2.4.2 auf 2.4.3
  • digest von Version 0.6.28 bis Version 0.6.29
  • dtplyr von 1.1.0 auf 1.2.0
  • fansi von 0.5.0 auf 1.0.2
  • Wechsel von Version 0.8-81 auf 0.8-82
  • fs von 1.5.0 auf 1.5.2
  • gert von 1.4.3 auf 1.5.0
  • glue von Version 1.5.0 auf Version 1.6.0 aktualisieren
  • httpuv von 1.6.3 auf 1.6.5
  • jsonlite von 1.7.2 auf 1.7.3
  • knitr Update von Version 1.36 auf 1.37
  • MASS von 7.3-54 auf 7.3-55
  • Matrix von 1.3-4 auf 1.4-0
  • nlme von 3.1-152 auf 3.1-155
  • nnet frm 7.3-16 auf 7.3-17
  • openssl von 1.4.5 auf 1.4.6
  • parallel von 1.29.0 auf 1.30.0
  • pkgbuild von 1.2.0 auf 1.3.1
  • pkgload von Version 1.2.3 auf Version 1.2.4
  • progressr von 0.9.0 auf 0.10.0
  • Rcpp von 1.0.7 auf 1.0.8
  • readr von 2.1.0 auf 2.1.1
  • remotes von 2.4.1 auf 2.4.2
  • RSQLite von 2.2.8 auf 2.2.9
  • sessioninfo von 1.2.1 auf 1.2.2
  • Aktualisierung von sparklyr von Version 1.7.2 auf Version 1.7.4
  • testthat von 3.1.0 auf 3.1.1
  • tinytex von 0,35 auf 0,36
  • usethis von 2.1.3 auf 2.1.5
  • vroom von 1.5.6 auf 1.5.7
  • withr von Version 2.4.2 auf Version 2.4.3
  • xfun von 0.28 auf 0.29
  • xml2 von 1.3.2 auf 1.3.3
• Aktualisierte Java-Bibliotheken:
  • dev.ludovic.netlib.arpack von 1.3.2 auf 2.2.1
  • dev.ludovic.netlib.blas von Version 1.3.2 bis Version 2.2.1
  • dev.ludovic.netlib.lapack von 1.3.2 auf 2.2.1
  • io.delta.delta-sharing-spark_2.12 von 0.2.0 auf 0.3.0

Apache Spark

Databricks Runtime 10.3 enthält Apache Spark 3.2.1. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 10.2 (EoL) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-37896] [SQL] Implementierung eines ConstantColumnVector und Verbesserung der Leistung der ausgeblendeten Dateimetadaten
• [SPARK-37924] [ SQL] Sortieren von Tabelleneigenschaften nach Schlüssel in SHOW CREATE TABLE VIEW (v1)
• [SPARK-37636] [SQL] Migrieren von CREATE NAMESPACE für standardmäßige Verwendung des V2-Befehls
• [SPARK-37381] [SQL] Unify v1- und v2-Tests SHOW CREATE TABLE
• [SPARK-37876] [ CORE][sql] Wechseln SpecificParquetRecordReaderBase.listDirectory zu TestUtils
• [SPARK-37854] [CORE] Ersetzen der Typüberprüfung durch Musterabgleich im Spark-Code
• [SPARK-36967] [CORE] Bei einer Schieflage die exakte Shuffle-Block-Größe genau berichten.
• [SPARK-37864] [SQL] Unterstützung vektorisierter boolescher Lesewerte verwenden RLE-Codierung mit Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator sollte die Überprüfung der Ausrichtung mit nicht ausgerichteten Plattformen schnell überspringen
• [SPARK-37855] [SQL] IllegalStateException beim Transformieren eines Arrays innerhalb einer verschachtelten Struktur
• [SPARK-37858] [SQL] Auslösen von SparkRuntimeException mit Fehlerklassen von AES-Funktionen
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker sollte nicht versuchen, den Status einer übersprungenen Datei abzurufen
• [SPARK-37860] [UI] Korrektur des Taskindex in der Aufgabenereignis-Zeitachse der Phasen-Seite
• [SPARK-36879] [SQL] Unterstützung der Parquet v2-Datenseitencodierung (DELTA_BINARY_PACKED) für den vektorisierten Pfad
• [SPARK-37828] [SQL] Filter-Pushdown durch RebalancePartitions
• [SPARK-37802] [SQL][3.2] Zusammengesetzter Feldname sollte mit Aggregat-Pushdown funktionieren
• [SPARK-37826] [SQL] Verwendung des zstd-Codecnamens in ORC-Dateinamen für hive orc impl
• [SPARK-37820] [SQL] Ersetzen von ApacheCommonBase64 durch JavaBase64 für Zeichenfolgen-Funktionen
• [SPARK-37832] [SQL] Orc-Strukturkonverter sollte ein Array verwenden, um Feldkonverter anstelle einer verknüpften Liste zu suchen
• [SPARK-37786] [ SQL] StreamingQueryListener-Unterstützung verwenden SQLConf.get, um die SQLConf des entsprechenden SessionState abzurufen
• [SPARK-37527] [SQL] Übersetzen weiterer Standardaggregatfunktionen für Pushdown
• [SPARK-37777] [SQL] Aktualisieren der SQL-Syntax von SHOW FUNCTIONS
• [SPARK-8582] [CORE] Prüfpunkt umgehend bei einer echten Anfrage durchführen.
• [SPARK-37822] [SQL] StringSplit sollte ein Array für Nicht-NULL-Elemente zurückgeben
• [SPARK-37812] [SQL] Beim Deserialisieren einer Orc-Struktur sollte die Ergebniszeile nach Möglichkeit wiederverwendet werden
• [SPARK-37367] [SQL] Ausnahmeprüfung in der DDLParserSuite-Funktion 'CREATE VIEW' - einfach reaktivieren.
• [SPARK-37796] [SQL] Bei ByteArrayMethods sollte arrayEquals die Überprüfung der Ausrichtung mit nicht ausgerichteten Plattformen schnell überspringen.
• [SPARK-37817] [SQL][minor] Entfernen nicht erreichbarer Code in complexTypeExtractors.scala
• [SPARK-37807] [SQL] Korrektur eines Tippfehlers in der HttpAuthenticationException-Nachricht
• [SPARK-37750] [SQL] ANSI-Modus: optionale Rückgabe eines NULL-Ergebnisses, falls ein Element nicht in einem Array/einer Map vorhanden ist.
• [SPARK-37789] [SQL] Hinzufügen einer Klasse zur Darstellung allgemeiner Aggregatfunktionen in DS V2
• [SPARK-37785] [SQL][core] Utils.isInRunningSparkTask hinzufügen
• [SPARK-37780] [SQL] QueryExecutionListener unterstützt die Verwendung von SQLConf.get, um den entsprechenden SQLConf von SessionState zu erhalten.
• [SPARK-37783] [ SS][sql][CORE] Ermöglichen der Tail-Rekursion nach Möglichkeit
• [SPARK-37726] [SQL] Hinzufügen von Metriken der Überlaufgröße für Sort Merge Join
• [SPARK-37800] [SQL] TreeNode.argString formatiert Argumente vom Typ Set[_] falsch
• [SPARK-37716] [SQL] Verbesserung von Fehlermeldungen, wenn ein LateralJoin nicht deterministische Ausdrücke aufweist
• [SPARK-37779] [SQL] Ermöglicht die Kanonisierung des ColumnarToRowExec-Plans nach der (De-)Serialisierung.
• [SPARK-37578] [SQL] Aktualisieren von Taskmetriken aus benutzerdefinierten ds v2-Metriken
• [SPARK-37676] [SQL] Unterstützung von ANSI-Aggregationsfunktion: percentile_cont
• [SPARK-37724] [SQL] ANSI-Modus: ANSI-reservierte Schlüsselwörter standardmäßig deaktivieren
• [SPARK-37705] [SQL][3.2] Rebasing von Zeitstempeln in der Sitzungszeitzone, die in Parquet/Avro-Metadaten gespeichert ist
• [SPARK-34755] [SQL] Unterstützung der Hilfsfunktionen zur Umwandlung von Zahlenformaten
• [SPARK-36703] [SQL] Entfernen Sie das Sortieren, wenn es ein untergeordnetes Element von RepartitionByExpression ist
• [SPARK-37369] [SQL] Vermeidung von redundantem ColumnarToRow-Übergang auf InMemoryTableScan
• [SPARK-37450] [SQL] Löschen unnötiger Felder aus Generate
• [SPARK-37728] [SQL] Lesen verschachtelter Spalten mit ORC vectorized reader kann ArrayIndexOutOfBoundsException auslösen
• [SPARK-37564] [SQL] Hinzufügen von Code-Gen für das Sortieren und Aggregieren ohne Gruppierung von Schlüsseln
• [SPARK-37659] [UI][3.2] Behebung der FsHistoryProvider-Racebedingung zwischen dem Auflisten und Löschen von Protokollinformationen
• [SPARK-37727] [SQL] Anzeigen ignorierter Konfigurationen und Warnungen für Konfigurationen verbergen, die bereits in SparkSession.builder.getOrCreate festgelegt wurden
• [SPARK-37391] [SQL] JdbcConnectionProvider teilt mit, ob der Sicherheitskontext geändert wird
• [SPARK-37273] [SQL] Unterstützung ausgeblendeter Dateimetadatenspalten in Spark SQL
• [SPARK-36876] [SQL] Unterstützung der dynamischen Partitionsbereinigung für HiveTableScanExec
• [SPARK-37546] [SQL] V2 ReplaceTableAsSelect-Befehl sollte Ort qualifizieren
• [SPARK-37545] [SQL] V2 CreateTableAsSelect-Befehl sollte Ort qualifizieren
• [SPARK-37707] [SQL] Speicherzuweisung und implizite Umwandlung zwischen datetime-Typen zulassen
• [SPARK-37644] [SQL] Unterstützung für vollständiges Aggregate-Pushdown von Datasource V2
• [SPARK-37695] [CORE][shuffle] Diagnose von zusammengeführten Blöcken im push-basierten Shuffle überspringen
• [SPARK-35295] [ML] Vollständiges Ersetzen von com.github.fommil.netlib durch dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Löschen von Ressourcen in spark sql cli nicht zulassen
• [SPARK-37330] [SQL] „ReplaceTableStatement“ zu v2-Befehl migrieren
• [SPARK-27974] [SQL] Unterstützung von ANSI-Aggregatfunktion: array_agg
• [SPARK-36902] [SQL] Migrieren von „CreateTableAsSelectStatement“ zu v2-Befehl
• [SPARK-37678] [PYTHON] Korrektur der Signatur „_cleanup_and_return“
• [SPARK-37613] [SQL] Unterstützung von ANSI-Aggregatfunktion: regr_count
• [SPARK-37689] [SQL] Erweitern sollte in PropagateEmptyRelation unterstützt werden
• [SPARK-37654] [SQL] Behebung von NpE in Row.getSeq, wenn das Feld NULL ist
• [SPARK-37496] [SQL] Migrieren von „ReplaceTableAsSelectStatement“ zu v2-Befehl
• [SPARK-37483] [SQL] Unterstützung für das Pushdown der Top-N-Abfragen zur JDBC-Datenquelle V2
• [SPARK-37577] [SQL] Behebung von ClassCastException: ArrayType kann nicht in StructType für die Generierung von Pruning-Bedingungen konvertiert werden
• [SPARK-37310] [SQL] Migrieren von ALTER NAMESPACE ... SET EIGENSCHAFTEN für die Standardmäßige Verwendung des V2-Befehls
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE sollte den Speicherort für v2-Befehl qualifizieren
• [SPARK-37343] [SQL] Implementieren von createIndex, IndexExists und dropIndex in JDBC (Postgres-Dialekt)
• [SPARK-37060] [CORE][3.2] Behandeln der Treiberstatusantwort von Sicherungsmastern
• [SPARK-37629] [SQL] Beschleunigung von Expression.canonicalized
• [SPARK-37633] [SQL] Entfernen der Umwandlung sollte übersprungen werden, wenn Downcast fehlgeschlagen ist...
• [SPARK-37631] [SQL] Codebereinigung bei Heraufstufung von Zeichenfolgen zu doppeltem Typ in mathematischen Funktionen
• [SPARK-37569] [SQL] Markieren Sie keine geschachtelten Ansichtsfelder als Nullwerte
• [SPARK-37557] [SQL] Ersetze Objekthash durch Sortieraggregation, wenn das untergeordnete Element bereits sortiert ist.
• [SPARK-36850] [SQL] Migration des „CreateTableStatement“ zum v2-Befehlsframework
• [SPARK-37592] [SQL] Verbesserung der Leistung vonJoinSelection
• [SPARK-37217] [SQL] Die Anzahl dynamischer Partitionen sollte beim Schreiben in externe Tabellen frühzeitig überprüft werden
• [SPARK-37584] [SQL] Neue SQL-Funktion: map_contains_key
• [SPARK-37455] [SQL] Hash durch Sortieraggregation ersetzen, wenn die Ausgangsdaten bereits sortiert sind
• [SPARK-34735] [SQL][Ui] Hinzufügen geänderter Konfigurationen für die SQL-Ausführung in der Benutzeroberfläche
• [SPARK-37540] [SQL] Weitere nicht unterstützte Zeitreisen erkennen
• [SPARK-37376] [SQL] Einführung einer neuen Datenquellen-V2-Schnittstelle „HasPartitionKey“
• [SPARK-37666] [SQL] GCM als Standardmodus in aes_encrypt()/aes_decrypt()festgelegt
• [SPARK-37573] [SQL] IsolatedClientLoader sollte verwandte Version als Fallback verwenden, nicht immer hadoop-2.7.4
• [SPARK-37561] [SQL] Vermeiden Sie das Laden aller Funktionen beim Abrufen des Hive-DelegationTokens
• [SPARK-37370] [SQL] SQL-Konfigurationen hinzufügen, um die neu hinzugekommene Code-Generierung für Join-Vorgänge in 3.3 zu kontrollieren
• [SPARK-37311] [SQL] Migrieren von ALTER NAMESPACE ... SET LOCATION für die Standardmäßige Verwendung des V2-Befehls
• [SPARK-37192] [SQL] Migrieren SHOW TBLPROPERTIES zu V2-Befehl standardmäßig
• [SPARK-37219] [SQL] Unterstützung der AS OF-Syntax hinzufügen
• [SPARK-37316] [SQL] Code-Generierung für Existence-Sort-Merge-Join hinzufügen
• [SPARK-37591] [SQL] Unterstützung für GCM-Modus durch aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Hinzufügen von Argumenten mode und padding zu aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Hinzufügen von integrierten aes_encrypt- und aes_decrypt-Funktionen
• [SPARK-37392] [SQL] Behebung des Leistungsfehlers beim Inferenz von Einschränkungen für Generate
• [SPARK-37481] [ Core][webui] Beheben des Verschwindens übersprungener Phasen nach dem Wiederholen
• [SPARK-37533] [SQL] Neue SQL-Funktion: try_element_at
• [SPARK-37451] [SQL] Korrektur der Umwandlung des Zeichenfolgentyps in einen Dezimaltyp, wenn spark.sql.legacy.allowNegativeScaleOfDecimal aktiviert ist.
• [SPARK-37062] [SS] Einführung einer neuen Datenquelle für die Bereitstellung konsistenter Zeilen pro Microbatch
• [SPARK-37552] [SQL] Hinzufügen der convert_timezone()-Funktion
• [SPARK-37555] [SQL] spark-sql sollte letzten nicht geschlossenen Kommentar an Back-End weitergeben
• [SPARK-37286] [SQL] Verschieben von compileAggregates von JDBCRDD nach JdbcDialect
• [SPARK-37485] [ CORE][sql] Ersetzen Sie map durch Ausdrücke, die kein Ergebnis liefern mit foreach
• [SPARK-37556] [SQL] Deser-Void-Fehler bei Java-Serialisierung
• [SPARK-37520] [SQL] Hinzufügen der Zeichenfolgenfunktionen startswith() und endswith()
• [SPARK-37471] [SQL] Unterstützung von spark-sql bei Kommentaren mit verschachtelten Klammern
• [SPARK-37360] [SQL] Unterstützung von TimestampNTZ in der JSON-Datenquelle
• [SPARK-37508] [SQL] Hinzufügen von Contains()-Zeichenfolgenfunktion
• [SPARK-37494] [SQL] Vereinheitlichung von v1- and v2-Optionsausgabe des SHOW CREATE TABLE-Befehls
• [SPARK-37524] [SQL] Wir sollten nach dem Testen der dynamischen Partitionsbereinigung alle Tabellen löschen.
• [SPARK-37389] [SQL] Nicht geschlossene Kommentare in Klammern überprüfen
• [SPARK-37220] [SQL] Eingabedateien für den Parquet-Reader bei Aggregat-Pushdown nicht teilen
• [SPARK-37326] [SQL] Unterstützung von TimestampNTZ in der CSV-Datenquelle
• [SPARK-35867] [SQL] Aktivieren von vektorisiertem Lesemodus für VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [ CORE][sql] Ersetzen get und getOrElse durch getOrElse
• [SPARK-37492] [SQL] Optimieren von Orc-Testcode mit withAllNativeOrcReaders
• [SPARK-37458] [SS] Unnötiges SerializeFromObject aus dem Plan von foreachBatch entfernen

Wartungsupdates

Weitere Informationen finden Sie in den Wartungsupdates für Databricks Runtime 10.3.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem Microsoft CRAN-Snapshot vom 19. Januar 2022 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)