Databricks Runtime 8.2 (EoL)

Databricks a publié cette version en avril 2021.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.2, avec Apache Spark 3.1.1.

Améliorations et nouvelles fonctionnalités

• Les nouvelles options de chargeur automatique permettent une évolution plus facile du schéma
• Afficher VACUUM les métriques (préversion publique)
• Comprenez facilement la quantité de données de Delta Lake qui ont été clonées ou récupérées
• Ajuster la taille des fichiers dans les tables delta en fonction des besoins de vos charges de travail
• Ingestion incrémentielle des mises à jour et des suppressions dans les tables Delta à l’aide d’un flux de données modifiées (aperçu public)
• extraire des données de chaînes JSON à l’aide d’opérateurs de SQL (GA)

Les nouvelles options de chargeur automatique permettent une évolution plus facile du schéma

Le chargeur automatique n’exige plus que vous spécifiiez une entrée de schéma pour commencer à recevoir des données JSON. En outre, le chargeur automatique peut détecter l’introduction de nouvelles colonnes à vos données et redémarrer, afin que vous ne perdiez plus de données. Le chargeur automatique va également « récupérer » les données inattendues (par exemple, de différents types de données) dans une colonne BLOB JSON, que vous pouvez choisir d’accéder ultérieurement à l’aide des API d’accès aux données semi-structurées. Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Afficher les métriques VACUUM (aperçu public)

VACUUM les validations dans le journal des transactions Delta contiennent désormais des informations sur les fichiers supprimés et les répertoires sous vide. Consultez les informations d’audit et les détails du tableau De révision avec les détails décrits.

Il est facile de comprendre combien de données du Delta Lake ont été clonées ou récupérées.

Delta Lake CLONE et RESTORE les commandes retournent désormais des mesures lorsqu’elles se terminent. vous pouvez donc facilement comprendre la quantité de données clonées ou récupérées à la suite de ces opérations. Consultez Clone Metrics et Restore Metrics.

Ajuster la taille des fichiers dans les tables delta en fonction des besoins de vos charges de travail

Vous pouvez maintenant définir une propriété de table pour que Delta Lake sélectionne des tailles de fichier adaptées aux tables avec des opérations fréquentes MERGE, par exemple, mise à jour des données de modification dans les tables. Le runtime peut également détecter le moment où les tables sont MERGE intensives et ajuste automatiquement la taille des fichiers. Pour une optimisation plus fine, vous pouvez définir la taille cible en tant que propriété, et toutes les opérations d’optimisation de la présentation des données (par exemple, optimiser, les écritures optimisées et le compactage automatique) feront l’affaire d’une tentative optimale pour générer des fichiers de cette taille. Consultez la taille du fichier de données Control.

Ingestez de manière incrémentielle les mises à jour et les suppressions dans les tables Delta avec un flux de données modifiées (version préliminaire publique)

Le flux de données modifiées d’une table Delta représente les modifications au niveau des lignes entre les différentes versions de la table. Lorsqu’il est activé, le runtime enregistre des informations supplémentaires concernant les modifications au niveau des lignes pour chaque opération d’écriture sur la table. Vous pouvez interroger ces modifications via SQL et les lecteurs DataFrame et DataStream. Le flux active les éléments suivants :

• Consommation en aval efficace de la fusion, des mises à jour et des suppressions. Obtenir les lignes mises à jour, insérées ou supprimées améliore considérablement les performances de la tâche en aval qui utilise les résultats de l'intégration, car il n'est plus nécessaire de traiter et dédupliquer les fichiers entiers.
• Maintien de la synchronisation entre les réplicas de deux tables différentes représentant les mêmes données. Il est courant de gérer deux versions de la même table: une comme référence principale et une table plus étendue avec des données supplémentaires. Les modifications peuvent être appliquées efficacement à partir de la table étroite à la table plus large.

Pour plus d’informations, consultez Utiliser le flux des changements de données Delta Lake sur Azure Databricks.

Extraire des données de chaînes JSON à l’aide d’opérateurs de SQL (GA)

les opérateurs de SQL, :: et : , qui vous permettent d’extraire facilement des données à partir de chaînes JSON sont désormais mis à la disposition générale. Consultez Requêtes des chaînes JSON.

Mises à niveau de la bibliothèque

• Bibliothèque Python mise à niveau :
  • koalas mise à niveau de 1.6.0 vers 1.7.0.
• Bibliothèque Java mise à niveau :
  • univocity-parsers de 2.9.0 à 2.9.1.

Apache Spark

Databricks Runtime 8.2 comprend Apache Spark 3.1.1. Cette version inclut tous les correctifs et améliorations Spark inclus dans Databricks Runtime 8.1 (EoL), ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-34614][SQL] Mode ANSI : Le cast d’une chaîne de caractères en booléen devrait déclencher une exception en cas d’erreur d’analyse
• [SPARK-33794] [SQL] Mode ANSI : L'expression NextDay lève une IllegalArgumentException lors de l'exécution en recevant une entrée non valide
• [SPARK-34833] [SQL] gérer les références externes dans tous les emplacements
• [SPARK-34742] [SQL] mode ANSI : Abs lève une exception si l’entrée est hors plage
• [SPARK-34833] [SQL] Appliquer correctement le remplissage à droite pour les sous-requêtes corrélées
• [SPARK-34719] [SQL][3.1] Résolution correcte de la requête d’affichage avec des noms de colonnes dupliqués
• [SPARK-34392][SQL] Prise en charge de ZoneOffset +h:mm dans DateTimeUtils. getZoneId
• [SPARK-34436][SQL] DPP prend en charge l’expression LIKE ANY/ALL
• [SPARK-34497] [SQL] Correction des fournisseurs de connexion JDBC intégrés afin de restaurer les modifications du contexte de sécurité JVM
• [SPARK-34543][SQL] Respect de la configuration spark.sql.caseSensitive lors de la résolution des spécifications de partition dans version 1SET LOCATION
• [SPARK-34550] [SQL] Ignorer la valeur null lors du filtrage appliqué au metastore Hive
• [SPARK-34531] [CORE] Suppression de la balise d’API expérimentale dans PrometheusServlet
• [SPARK-34515] [SQL] Corriger le NPE si InSet contient une valeur null lors du processus getPartitionsByFilter
• [Spark-34490] la table peut être résolue en tant que vue si la table est supprimée
• [SPARK-34613] Correction de la vue qui ne capture pas la configuration de l'indice de désactivation
• [Spark-34504] Éviter la résolution des affichages inutiles et supprimer l' performCheck indicateur
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext peut se bloquer avec un problème de course
• [SPARK-34421] [SQL] Résoudre les fonctions temporaires et les vues dans les vues avec des CTEs
• [SPARK-34713] [SQL] Correction du groupe par CreateStruct avec ExtractValue
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists ne doit pas échouer si la base de données n’existe pas
• [SPARK-34681][SQL] Corrige le bogue lié à une jointure hachée aléatoire externe complète lors de la création du côté gauche avec une condition non égale

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 8.2.

Environnement du système

• Système d’exploitation : Ubuntu 18.04.5 LTS
• Java : Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala : 2.12.10
• Python : 3.8.8 (mis à jour à partir de la version 3.8.6 dans la mise à jour de maintenance du 26 mai 2021)
• R : R version 4.0.4 (15/02/2021)
• Delta Lake : 0.8.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané de Microsoft CRAN du 02/11/2020.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)