Databricks Runtime 7.4 (EoL)

Diese Version wurde von Databricks im November 2020 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 7.4, unterstützt von Apache Spark 3.0.

Neue Funktionen

Inhalt dieses Abschnitts:

• Delta Lake-Features und -Verbesserungen
• Autoloader unterstützt jetzt das Delegieren des Setups von Dateibenachrichtigungsressourcen an Administratoren
• Neue USAGE-Berechtigungen ermöglichen Administratoren mehr Kontrolle über Datenzugriffsberechtigungen
• DBFS FUSE ist jetzt für Passthrough-fähige Cluster aktiviert

Delta Lake-Features und -Verbesserungen

In diesem Release sind die folgenden Delta Lake-Features und -Verbesserungen enthalten:

• Mit der neuen API kann Delta Lake überprüfen, ob zu einer Tabelle hinzugefügte Daten Einschränkungen erfüllen
• Mit der neuen API können Sie ein Rollback für eine Delta-Tabelle auf eine ältere Version der Tabelle ausführen
• Die neue Startversion ermöglicht, ausschließlich die neuesten Änderungen in einer Delta Lake-Streamingquelle zurückzugeben
• Verbesserte Stabilität von OPTIMIZE

Mit der neuen API kann Delta Lake überprüfen, ob zu einer Tabelle hinzugefügte Daten Einschränkungen erfüllen.

Delta Lake unterstützt jetzt CHECK-Einschränkungen. Wenn diese Angabe erfolgt, überprüft Delta Lake automatisch, ob einer Tabelle hinzugefügte Daten den angegebenen Ausdruck erfüllen. Verwenden Sie zum Hinzufügen von CHECK-Einschränkungen den Befehl ALTER TABLE ADD CONSTRAINTS. Einzelheiten finden Sie unter Einschränkungen für Azure Databricks.

Mit der neuen API können Sie ein Rollback für eine Delta-Tabelle auf eine ältere Version der Tabelle ausführen.

Sie können jetzt ein Rollback für Ihre Delta-Tabellen auf ältere Versionen ausführen, indem Sie den Befehl RESTORE verwenden:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE erstellt einen neuen Commit, der ein Rollback für alle Änderungen an der Tabelle seit der Version ausführt, die Sie wiederherstellen möchten. Alle vorhandenen Daten und Metadaten werden wiederhergestellt, einschließlich Schema, Einschränkungen, Streamingtransaktions-IDs, COPY INTO-Metadaten und der Tabellenprotokollversion. Weitere Informationen finden Sie unter Wiederherstellen einer Delta-Tabelle.

Die neue Startversion ermöglicht, ausschließlich die neuesten Änderungen in einer Delta Lake-Streamingquelle zurückzugeben

Um nur die neuesten Änderungen zurückzugeben, geben Sie startingVersion als latest an. Weitere Informationen finden Sie unter Angeben der Anfangsposition.

Verbesserte Stabilität von OPTIMIZE

OPTIMIZE (ohne Partitionsprädikate) kann zur Ausführung für Tabellen mit Dutzenden Millionen kleiner Dateien skaliert werden. Zuvor konnte der Apache Spark-Treiber nicht mehr genügend Arbeitsspeicher haben und OPTIMIZE würde nicht abgeschlossen. OPTIMIZE verarbeitet jetzt sehr große Tabellen mit Dutzenden Millionen von Dateien.

Auto Loader unterstützt jetzt das Delegieren der Einrichtung von Benachrichtigungsressourcen für Dateien an Administratoren.

Mit einer neuen Scala-API können Administratoren Dateibenachrichtigungsressourcen für den Autoloader einrichten. Technische Fachkräfte für Daten können jetzt ihre Autoloader-Datenströme mit weniger Berechtigungen betreiben, indem sie die anfängliche Ressourceneinrichtung an ihre Administratoren delegieren. Siehe Manuelles Konfigurieren oder Verwalten von Dateibenachrichtigungsressourcen.

Neue USAGE-Berechtigungen ermöglichen Administratoren mehr Kontrolle über Datenzugriffsberechtigungen

Um eine Aktion für ein Objekt in einer Datenbank durchzuführen, müssen Sie nun zusätzlich zu den Berechtigungen, die zum Ausführen der Aktion erforderlich sind, die USAGE-Berechtigung für diese Datenbank erhalten. Die USAGE-Berechtigung wird für eine Datenbank oder einen Katalog gewährt. Mit der Einführung der USAGE-Berechtigung kann ein Tabellenbesitzer nicht mehr einseitig entscheiden, die Tabelle für einen anderen Benutzer frei zu geben. Der Benutzer muss auch über die USAGE-Berechtigung für die Datenbank verfügen, die die Tabelle enthält.

In Arbeitsbereichen mit aktivierter Tabellenzugriffssteuerung verfügt die users-Gruppe automatisch über die USAGE-Berechtigung für den Stamm CATALOG.

Ausführliche Informationen finden Sie unter USAGE "Berechtigungen".

DBFS FUSE ist jetzt für Passthrough-fähige Cluster aktiviert

Sie können nun aus DBFS lesen und schreiben, indem Sie die FUSE-Einhängung unter /dbfs/ verwenden, wenn Sie einen Clustertyp mit hoher Parallelität nutzen, der für die Anmeldeweitergabe aktiviert ist. Normale Einbindungen werden unterstützt. Bereitstellungen, die Passthrough-Anmeldeinformationen erfordern, werden nicht unterstützt.

Verbesserungen

Spark SQL unterstützt IFF und CHARINDEX als Synonyme für IF und POSITION

In Databricks Runtime ist IF() ein Synonym für CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Databricks Runtime unterstützt jetzt IFF() als Synonym für IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX ist ein alternativer Name für die POSITION-Funktion. CHARINDEX sucht die Position des ersten Vorkommens einer Zeichenfolge innerhalb einer anderen Zeichenfolge mit einem optionalen Startindex.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Standardmäßig sind mehrere Ausgaben pro Zelle für Python-Notebooks aktiviert.

Mit Databricks Runtime 7.1 wurde die Unterstützung mehrerer Ausgaben pro Zelle in Python-Notebooks (und %python-Zellen in Nicht-Python-Notebooks) eingeführt, aber Sie mussten das Feature für Ihr Notebook aktivieren. In Databricks Runtime 7.4 ist dieses Feature standardmäßig aktiviert. Siehe Anzeigen mehrerer Ausgaben pro Zelle.

Verbesserungen der Autovervollständigung für Python-Notebooks

AutoVervollständigen für Python zeigt zusätzliche Typinformationen an, die aus der statischen Analyse des Codes mithilfe der Jedi-Bibliothek generiert wurden. Sie können die TAB-TASTE drücken, um eine Liste der Optionen zu sehen.

Verbessertes display von Spark-ML-Vektoren in Spark DataFrame-Vorschau

Das display-Format zeigt jetzt Bezeichnungen für Vektortyp (geringe oder hohe Dichte), Länge, Indizes (für Vektoren mit geringer Dichte) und Werte an.

Weitere Korrekturen

• Ein Pickling-Problem mit collections.namedtuple in Notebooks wurde behoben.
• Ein Pickling-Problem bei interaktiv definierten Klassen und Methoden wurde behoben.
• Ein Bug wurde behoben, der dazu führte, dass bei Aufrufen von mlflow.start_run() ein Fehler bei Passthrough oder bei Clustern mit aktivierter Tabellenzugriffssteuerung auftrat.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • jedi aktualisiert von 0.14.1 auf 0.17.2.
  • koalas aktualisiert von 1.2.0 auf 1.3.0.
  • parso aktualisiert von 0.5.2 auf 0.7.0.
• Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.

Apache Spark

Databricks Runtime 7.4 enthält Apache Spark 3.0.1. Diese Version enthält alle Spark Fixes und Verbesserungen, die in Databricks Runtime 7.3 LTS (EoL) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-33170] [SQL] Hinzufügen der SQL-Konfiguration, um das Verhalten bei plötzlichem Ausfall in FileFormatWriter zu steuern
• [SPARK-33136] [SQL] Korrektur des fälschlicherweise ausgetauschten Parameters in V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Zurückgeben von Teilergebnissen nur für JSON-Stammobjekte
• [SPARK-33038] [SQL] Kombinieren von anfänglichen und aktuellen AQE-Plänen...
• [SPARK-33118] [SQL] Fehler bei CREATE TEMPORARY TABLE mit Speicherort
• [SPARK-33101] [ML] Veranlassen, dass das LibSVM-Format die Hadoop-Konfiguration von DS-Optionen an das zugrunde liegende HDFS-Dateisystem verteilt
• [SPARK-33035] [SQL] Aktualisiert die veralteten Einträge der Attributzuordnung in QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Vermeidung der Verwendung von „map“ anstelle von „foreach“, um potenzielle Nebeneffekte bei Aufrufern von OrcUtils.readCatalystSchema zu vermeiden
• [SPARK-33073] [PYTHON] Verbesserung der Fehlerbehandlung bei Pandas-zu-Arrow-Konvertierungsfehlern
• [SPARK-33043] [ML] Behandlung von spark.driver.maxResultSize=0 bei der heuristischen Berechnung von RowMatrix
• [SPARK-29358] [SQL] Veranlassen, dass unionByName optional fehlende Spalten mit NULL-Werten füllt
• [SPARK-32996] [WEB-UI] Verarbeitung von leeren ExecutorMetrics in ExecutorMetricsJsonSerializer
• [SPARK-32585] [SQL] Unterstützung der Scala-Enumeration in ScalaReflection
• [SPARK-33019] [CORE] Verwenden Sie standardmäßig spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1
• [SPARK-33018] [SQL] Behandlung des Problems mit der Schätzungsstatistik, wenn untergeordnete Objekte 0 Bytes enthalten
• [SPARK-32901] [CORE] Beim Auslagern von UnsafeExternalSorter keinen Speicher zuweisen
• [SPARK-33015] [SQL] Verwenden von millisToDays() in der ComputeCurrentTime-Regel
• [SPARK-33015] [SQL] Aktuelles Datum nur einmal berechnen
• de-DE: [SPARK-32999] [SQL] Verwenden Sie Utils.getSimpleName, um einen fehlerhaft formatierten Klassennamen in TreeNode zu vermeiden
• [SPARK-32659] [SQL] Array anstelle von Set in InSubqueryExec übertragen
• [SPARK-32718] [SQL] Entfernen unnötiger Schlüsselwörter für Intervalleinheiten
• [SPARK-32886] [WEBUI] 'undefined'-Link in der Ereigniszeitachsenansicht fixen
• [SPARK-32898] [CORE] Korrektur der falschen executorRunTime, wenn die Aufgabe vor dem eigentlichen Start beendet wird
• [SPARK-32635] [SQL] Hinzufügen eines neuen Testfalls in einem Katalysatormodul
• [SPARK-32930] [CORE] Ersetzen der veralteten isFile/isDirectory-Methoden
• [SPARK-32906] [SQL] Strukturfeldnamen sollten sich nach dem Normalisieren von Gleitkommawerten nicht ändern
• [SPARK-24994] [SQL] Hinzufügen des UnwrapCastInBinaryComparison-Optimierers zur Vereinfachung von Integralliteralen
• [SPARK-32635] [SQL] Korrektur der zusammenklappbaren Weitergabe
• [SPARK-32738] [CORE] Die Anzahl aktiver Threads Sollte reduziert werden, wenn ein schwerwiegender Fehler in Inbox.process auftritt
• [SPARK-32900] [CORE] Zulassen, dass UnsafeExternalSorter auslagert, wenn NULL-Werte enthalten sind.
• [SPARK-32897] [PYTHON] Zeigen Sie bei SparkSession.builder.getOrCreate keine Veraltungswarnung an.
• [SPARK-32715] [CORE] Behebung von Speicherauslaufen, wenn Teile der Übertragung nicht gespeichert werden können
• [SPARK-32715] [CORE] Behebung eines Speicherlecks, wenn Teile der Ausstrahlung nicht gespeichert werden konnten
• [SPARK-32872] [CORE] Verhindern, dass BytesToBytesMap bei MAX_CAPACITY Zuwachsschwellenwert überschreitet
• [SPARK-32876] [SQL] Ändern der Standardfallbackversionen in HiveExternalCatalogVersionsSuite in 3.0.1 und 2.4.7
• [SPARK-32840] [SQL] Ungültiger Intervallwert kann direkt an der Einheit haften
• [SPARK-32819] [SQL] IgnoreNullability-Parameter sollte rekursiv wirksam sein
• [SPARK-32832] [SS] Verwenden von CaseInsensitiveMap für DataStreamReader- bzw. Writer-Optionen
• [SPARK-32794] [SS] Korrektur des seltenen Fehlers in der Microbatch-Engine mit einigen zustandsbehafteten Abfragen + No-Data-Batches + V1-Quellen
• [SPARK-32813] [SQL] Abrufen der Standardkonfiguration des vektorisierten ParquetSource-Lesers, wenn keine SparkSession aktiv ist
• [SPARK-32823] [WEB UI] Korrektur der Berichterstattung der Master UI-Ressourcen
• [SPARK-32824] [CORE] Verbesserung der Fehlermeldung, wenn der Benutzer „.amount“ in einer Ressourcenkonfiguration vergisst
• [SPARK-32614] [SQL] Wenden Sie keine Kommentarverarbeitung an, wenn "Comment" für CSV nicht festgelegt ist.
• [SPARK-32638] [SQL] Korrigiert Verweise beim Hinzufügen von Aliasen in WidenSetOperationTypes
• [SPARK-32810] [SQL] CSV/JSON-Datenquellen sollten beim Ableiten eines Schemas vermeiden, Platzhalter für Pfade anzugeben
• [SPARK-32815] [ML] Fehlerkorrektur beim Laden der LibSVM-Datenquelle aus Dateipfaden mit Glob-Metazeichen.
• [SPARK-32753] [SQL] Tags nur auf Knoten ohne Tags kopieren
• [SPARK-32785] [SQL] Intervall mit verwaisten Teilen sollte nicht NULL ergeben
• [SPARK-32764] [SQL] -0.0 sollte gleich 0.0 sein
• [SPARK-32810] [SQL] CSV/JSON-Datenquellen sollten beim Ableiten eines Schemas vermeiden, Platzhalter für Pfade anzugeben
• [SPARK-32779] [SQL] Vermeiden der Verwendung der synchronisierten API von SessionCatalog in withClient-Flow; Dies führt zu DeadLock
• [SPARK-32791] [SQL] Die Metrik für nicht partitionierte Tabellen sollte keine Dynamische Partitionsbereinigungszeit haben
• [SPARK-32767] [SQL] Bucketjoin sollte funktionieren, wenn spark.sql.shuffle.partitions größer als die Bucketnummer ist
• [SPARK-32788] [SQL] Der nicht partitionierte Tabellenscan sollte keinen Partitionsfilter enthalten
• [SPARK-32776] [SS] Grenzwert beim Streaming-Prozess sollte nicht wegoptimiert werden durch PropagateEmptyRelation
• [SPARK-32624] [SQL] Korrektur der Regression in CodegenContext.addReferenceObj für geschachtelte Scala-Typen
• [SPARK-32659] [SQL] Test zur Verbesserung des Beschneidens von DPP auf einem nicht-atomaren Typ
• [SPARK-31511] [SQL] BytesToBytesMap-Iteratoren threadsicher machen
• [SPARK-32693] [SQL] Vergleichen zweier Datenrahmen mit demselben Schema außer der Nullable-Eigenschaft
• [SPARK-28612] [SQL] Korrektes Methodendokument von DataFrameWriterV2.replace()

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 7.4-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (Build 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R-Version 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus Microsoft CRAN-Momentaufnahme am XXXX-XX-XX installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)