Databricks Runtime 7.5 (EoL)

Diese Version wurde von Databricks im Dezember 2020 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 7.5, unterstützt von Apache Spark 3.0.

Neue Funktionen

Delta Lake-Features und -Verbesserungen

In diesem Release sind die folgenden Delta Lake-Features und -Verbesserungen enthalten:

• Asynchrone Prüfpunktausführung eliminiert Spitzen bei der Dauer des Mikrobatchstreamings
• Neueste Tabelleninformationen werden jetzt an die Kataloge weitergegeben
• Der Vorgang MERGE INTO unterstützt jetzt die Schema-Evolution für geschachtelte Spalten
• MERGE INTOVorgang verwendet jetzt automatisch optimierte Schreibvorgänge
• MERGE INTO- und UPDATE-Vorgänge lösen jetzt geschachtelte Strukturspalten nach Namen auf
• CLONE ist allgemein verfügbar und Sie können jetzt Tabelleneigenschaften überschreiben
• RESTORE ist allgemein verfügbar
• Implizite Scala-Funktionen vereinfachen die Lese- und Schreib-APIs von Spark
• Verbessern des Streamingdurchsatzes mit der fetchParallelism-Connectoroption
• Nachverfolgen des Streamfortschritts mit neuen Autoloader-Metriken

Asynchrone Prüfpunktausführung eliminiert Spitzen bei der Dauer des Mikrobatchstreamings

Delta Lake führt standardmäßig für alle 10 Commits Prüfpunkte aus. Bei Streamingworkloads kann die Prüfpunktausführung zu geringfügigen Spitzen bei der Mikrobatchdauer nach jeweils 10 Commits führen. Durch die asynchrone Prüfpunktausführung werden diese Spitzen beseitigt.

Die asynchrone Prüfpunktausführung ist standardmäßig für alle Streamingworkloads aktiviert, die nicht nur einmalig ausgelöst werden. Mit asynchroner Prüfpunkterstellung schreiben Streamingautoren auch erweiterte Prüfpunkte, sodass Sie sich nicht explizit für erweiterte Prüfpunkte anmelden müssen.

Um die asynchrone Prüfpunktausführung zu deaktivieren, legen Sie die SQL-Konfiguration spark.databricks.delta.checkpoint.async.enabled false fest.

Batchworkloads schreiben Prüfpunkte weiterhin synchron und wir empfehlen, die asynchrone Prüfpunktausführung für Batchworkloads nicht zu aktivieren.

Neueste Tabelleninformationen werden jetzt an die Kataloge weitergegeben

Delta Lake überträgt jetzt auf einer Best-Effort-Basis die neuesten Tabelleninformationen, wie Schema- und Tabelleneigenschaften, auf Kataloge wie den Hive-Metastore. Solche Informationen können Ihnen helfen, Katalogisierungstools zu nutzen, um das Schema Ihrer Delta-Tabellen zu verstehen.

Delta Lake verlässt sich intern nicht auf diese Informationen, versucht aber, sie auf dem neuesten Stand zu halten. Darüber hinaus speichert Delta Lake die Tabelleneigenschaften delta.lastUpdateVersion und delta.lastCommitTimestamp, um die Version und den Zeitstempel des Commits anzugeben, der eine Änderung zuletzt per Push in den Metastore übertragen hat. Der Metastore wird nur aktualisiert, wenn das Schema der Tabelle oder die Eigenschaften in der Tabelle nicht übereinstimmen. Daher spiegeln die oben genannten Tabelleneigenschaften nicht unbedingt die neueste Version der Tabelle wider.

Wenn die Tabelleninformationen und die Informationen im Metastore nicht synchron sind, können Sie einen Befehl wie DESCRIBE <table> ausführen, um den Metastore zu aktualisieren.

MERGE INTO-Vorgang unterstützt jetzt die Schemaentwicklung von geschachtelten Spalten

Die Schemaentwicklung von geschachtelten Spalten weist jetzt die gleiche Semantik wie bei Spalten der obersten Ebene auf. Beispielsweise können einer StructType-Spalte automatisch neue geschachtelte Spalten hinzugefügt werden. Details finden Sie unter Automatische Schemaentwicklung bei der Zusammenführung.

MERGE INTO-Vorgang verwendet jetzt automatisch optimierte Schreibvorgänge

Optimierte Schreibvorgänge können standardmäßig eine wesentlich bessere Leistung für MERGE INTO bieten, insbesondere für MERGE INTO bei partitionierten Tabellen. Um optimierte Schreibvorgänge zu deaktivieren, legen Sie die Spark-Konfiguration spark.databricks.delta.optimizeWrite.enabled auf false fest.

MERGE INTO- und UPDATE-Vorgänge lösen jetzt geschachtelte Strukturspalten nach Namen auf.

Aktualisierungsvorgänge und die Befehle UPDATE und MERGE INTO lösen jetzt geschachtelte Strukturspalten nach Namen auf. Das heißt, beim Vergleichen oder Zuweisen von Spalten des Typs „StructType“ spielt die Reihenfolge der geschachtelten Spalten keine Rolle (genauso wie die Reihenfolge der Spalten der obersten Ebene). Legen Sie die Spark-Konfiguration spark.databricks.delta.resolveMergeUpdateStructsByName.enabled auf false fest, um die Auflösung nach Position wiederherzustellen.

CLONE ist GA, und Sie können jetzt Tabelleneigenschaften überschreiben

Der Befehl CLONE ist jetzt allgemein verfügbar. Siehe CREATE TABLE CLONE. Darüber hinaus können Sie jetzt Außerkraftsetzungen von Tabelleneigenschaften angeben, wenn Sie CLONE verwenden. Beispiele finden Sie unter Klonen einer Tabelle in Azure Databricks.

RESTORE ist GA

Der Befehl RESTORE ist jetzt allgemein verfügbar. Siehe RESTORE.

Implizite Scala-Funktionen vereinfachen die Lese- und Schreib-APIs von Spark

Sie können io.delta.implicits._ importieren, um die delta-Methode mit Spark-Lese- und -Schreib-APIs zu verwenden.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Verbessern des Streamingdurchsatzes mit der fetchParallelism-Connectoroption

Der AQS-Connector unterstützt jetzt eine neue Option fetchParallelism zum Angeben der Parallelität zum Abrufen von Nachrichten aus dem Warteschlangendienst.

Nachverfolgen des Streamfortschritts mit neuen Autoloader-Metriken

Autoloader meldet jetzt nach jedem Batch, wie viele Dateien sich im Backlog befinden und wie groß der Backlog ist. Sie können diese Metriken zum Nachverfolgen des Datenstromfortschritts verwenden. Weitere Informationen zum Anzeigen der Metriken finden Sie unter Autoloader.

Verbesserungen

Umfassendere Unterstützung für notebookspezifische Bibliotheken mithilfe von %pip- und %conda-Magic Commands

Sie können jetzt notebookspezifische Bibliotheken mithilfe der Magie-Befehle %pip und %conda auf Hochkonkurrenz-Clustern installieren, bei denen entweder Tabellen-ACLs oder Berechtigungsweitergabe aktiviert ist.

Präzise Spark SQL-Anzeige DECIMAL

Der Datentyp Spark SQL DECIMAL wird jetzt in Tabellen ohne Verlust von Genauigkeit und Skalierung angezeigt.

ADLS Gen 2-Speicherconnector basierend auf Hadoop 3.3 für ABFS

Eine aktualisierte Version des ADLS Gen 2-Speicherconnectors basiert auf Hadoop 3.3 für ABFS. Der aktualisierte Connector enthält viele Stabilitätsverbesserungen (siehe Hadoop-Stabilität) und unterstützt die SAS-Tokenauthentifizierung.

Weitere Korrekturen

Der Databricks Kafka-Connector für Spark-Streaming wurde entfernt. Verwenden Sie den Apache Spark-Connector.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • Upgrade von koalas von 1.3.0 auf 1.4.0.
• Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
• OpenJDK 8-Build aktualisiert auf Zulu 8.50.0.51-CA-linux64 (Build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 enthält Apache Spark 3.0.1. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 7.4 (EoL) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-33611] [UI] Zweimalige Codierung für den Abfrageparameter der neu generierten Proxy-URL vermeiden
• [SPARK-33587] [CORE] Executor bei verschachtelten fatalen Fehlern beenden (7.x)
• [SPARK-33140] [SQL] Code wiederherstellen, der nicht die übergebene SparkSession verwendet, um SQLConf abzurufen
• [SPARK-33472] [SQL] Reihenfolge der RemoveRedundantSorts-Regeln anpassen
• [SPARK-33422] [DOC] Korrekte Darstellung des linken Menüpunkts korrigieren
• [SPARK-27421] [SQL] Filter für int-Spalte und Werteklasse java.lang.String beim Bereinigen der Partitionsspalte beheben
• [SPARK-33483] [ INFRA][Tests] Beheben von Rattenausschlussmustern und Hinzufügen einer LIZENZ
• [SPARK-33464] [INFRA] (Nicht) notwendigen Cache hinzufügen/entfernen und GitHub Actions YAML umstrukturieren
• [SPARK-33407] [PYTHON][7.x] Vereinfachung der Ausnahmemeldungen bei Python UDFs (standardmäßig deaktiviert)
• [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE sollten Caches, die auf die Tabelle verweisen, ungültig werden.
• [SPARK-33358] [SQL] Rückgabecode, wenn ein Fehler beim Befehlsprozess aufgetreten ist
• [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala zu ALLOW_LIST.txt hinzufügen
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE sollte den Cache ungültig machen, obwohl die Tabelle selbst möglicherweise nicht zwischengespeichert wird.
• [SPARK-33140] [SQL] Delta-Kompilierung beheben
• [SPARK-33316] [SQL] Einheitstests für from_avro und to_avro mit Schema Registry und benutzerdefiniertem nullable Avro-Schema hinzufügen
• [SPARK-33404] [SQL] Falsche Ergebnisse im date_trunc-Ausdruck beheben
• [SPARK-33339] [PYTHON] Pyspark-Anwendung hängt aufgrund eines Fehlers, der keine Ausnahme ist
• [SPARK-33412] [SQL] OverwriteByExpression sollte seine Löschbedingung auf der Grundlage der Tabellenbeziehung und nicht der Eingabeabfrage auflösen
• [SPARK-33391] [SQL] element_at berücksichtigt mit CreateArray keinen auf 1 basierenden Index.
• [SPARK-33316] [SQL] Unterstützung des vom Benutzer bereitgestellten nullbaren Avro-Schemas für das nicht-nullbare Catalyst-Schema beim Schreiben in Avro
• [SPARK-33372] [SQL] InSet-Bucketbereinigung beheben
• [SPARK-33371] [PYTHON] „setup.py“ und Tests für Python 3.9 aktualisieren
• [SPARK-33140] [SQL] SQLConf und SparkSession in allen Unterklassen von Rule[QueryPlan] entfernen
• [SPARK-33338] [SQL] Für GROUP BY sollte bei der Verwendung der Literalzuordnung kein Fehler auftreten
• [SPARK-33306] [SQL] Zeitzone wird bei der Umwandlung von Datum in Zeichenfolge benötigt
• [SPARK-33284] [WEB-UI] Wenn Sie auf der Seite für die Speicherbenutzeroberfläche auf ein beliebiges Feld klicken, um die Tabelle zu sortieren, geht der Headerinhalt verloren
• [SPARK-33362] [SQL] skipSchemaResolution sollte weiterhin die Auflösung der Abfrage erfordern
• [SPARK-32257] [SQL] meldet explizite Fehler für die ungültige Verwendung des Befehls SET/RESET
• [SPARK-32406] [SQL] Festlegen, dass die RESET-Syntax das Zurücksetzen einer einzelnen Konfiguration unterstützt
• [SPARK-32376] [SQL] Festlegen, dass das unionByName-Verhalten beim Auffüllen mit Nullen mit struct-Spalten funktioniert
• [SPARK-32308] [SQL] „Move by-name“-Auflösungslogik von unionByName vom API-Code in die Analysephase verschieben
• [SPARK-20044] [UI] Unterstützung der Spark-Benutzeroberfläche hinter dem Front-End-Reverseproxy mithilfe einer Pfadpräfix-Revert-Proxy-URL
• [SPARK-33268] [SQL][python] Beheben von Fehlern beim Umwandeln von Daten aus/in PythonUserDefinedType
• [SPARK-33292] [SQL] String-Darstellung von Literal ArrayBasedMapData eindeutig machen.
• [SPARK-33183] [SQL] Optimiererregel EliminateSorts beheben und eine physische Regel hinzufügen, um redundante Sortierungen zu entfernen
• [SPARK-33272] [SQL] Attributzuordnung in QueryPlan.transformUpWithNewOutput bereinigen
• [SPARK-32090] [SQL] UserDefinedType.equal() verbessern, damit es symmetrisch ist
• [SPARK-33267] [SQL] Beheben des NPE-Problems im Filter "In", wenn einer der Werte NULL enthält
• [SPARK-33208] [SQL] Dokument von SparkSession#sql aktualisieren
• [SPARK-33260] [SQL] Falsche Ergebnisse von SortExec beheben, wenn sortOrder auf „Stream“ steht.
• [SPARK-33230] [SQL] Hadoop-Committer zum Abrufen der eindeutigen Auftrags-ID in „spark.sql.sources.writeJobUUID“ verwenden
• [SPARK-33197] [SQL] Änderungen an spark.sql.analyzer.maxIterations vornehmen, die zur Laufzeit wirksam werden
• [SPARK-33228] [SQL] Zwischenspeicherung der Daten nicht aufheben, wenn eine Ansicht durch denselben logischen Plan ersetzt wird.
• [SPARK-32557] [CORE] Protokollierung und Ignorieren der Ausnahme pro Eintrag im Verlaufsserver
• [SPARK-32436] [CORE] „numNonEmptyBlocks“ in HighlyCompressedMapStatus.readExternal initialisieren
• [SPARK-33131] [SQL] Korrektur: Gruppierungssets mit HAVING-Klausel können qualifizierte Spaltennamen nicht auflösen.
• [SPARK-32761] [SQL] Aggregation mehrerer faltbarer distinkter Ausdrücke zulassen
• [SPARK-33094] [SQL] Veranlassen, dass das ORC-Format die Hadoop-Konfiguration von DS-Optionen an das zugrunde liegende HDFS-Dateisystem verteilt

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 7.5-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (Build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.7.5
• R: R-Version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 2.11.2020 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)