Databricks Runtime 10.0 (EoL)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 10.0 et Databricks Runtime 10.0 Photon, avec Apache Spark 3.2.0. Databricks a publié cette version en octobre 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

• Nouvelle version de Apache Spark
• SELECT l’instruction prend désormais en charge la clause QUALIFY pour filtrer les résultats de la fonction de fenêtre
• Support de cluster pour JDK 11 (aperçu public)
• Auto Loader traite désormais les schémas comme pouvant accepter la valeur null

Nouvelle version d’Apache Spark

Databricks Runtime 10.0 et Databricks Runtime 10.0 Photon incluent Apache Spark 3.2.0. Pour plus d’informations, consultez Apache Spark.

SELECT l'instruction prend désormais en charge la clause QUALIFY pour filtrer les résultats des fonctions de fenêtre

L’instruction SELECT prend désormais en charge la clause QUALIFY. La clause QUALIFY peut être utilisée pour filtrer les résultats de fonctions de fenêtre. Une ou plusieurs fonctions de fenêtre doivent être présentes dans la liste SELECT ou la condition QUALIFY. Par exemple :

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Prise en charge des clusters pour JDK 11 (aperçu public)

Databricks fournit désormais la prise en charge des clusters pour le kit de développement Java (JDK) 11.

Lorsque vous créez un cluster, vous pouvez spécifier que celui-ci utilise JDK 11 (tant pour le pilote que pour l’exécuteur). Pour ce faire, ajoutez la variable d’environnement suivante à Options avancées > Spark > Variables d’environnement :

JNAME=zulu11-ca-amd64

Auto Loader traite désormais les schémas comme nullables

Auto Loader traite désormais par défaut tous les schémas inférés et fournis par l’utilisateur comme pouvant accepter la valeur null. Cela permet d’éviter une éventuelle altération des données quand celles-ci contiennent des champs null pour des colonnes ne pouvant pas accepter la valeur null. Une nouvelle configuration est introduite pour suivre ce comportement, spark.databricks.cloudFiles.schema.forceNullable. Par défaut, cette configuration contient le paramètre spark.sql.streaming.fileSource.schema.forceNullable que la FileStreamSource dans Apache Spark utilise et qui a la valeur true par défaut.

Changements cassants

Changements cassants pour tous les utilisateurs de Spark SQL

• Nouvelle configuration de spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled : si la valeur est définie sur true, autorise un sous-ensemble de prédicats d’égalité corrélés quand une sous-requête est agrégée. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled : si la valeur est définie sur true, bloque les alias générés automatiquement lors de la création d’affichages. La valeur par défaut est true.
• Nouvelle configuration de spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled : si la valeur est définie sur true, interdit CREATE TABLE AS SELECT avec un emplacement non vide. La valeur par défaut est true. Notez que quand spark.sql.legacy.allowNonEmptyLocationInCTAS est également défini sur true, cette configuration est sans effet, et CREATE TABLE AS SELECT avec un emplacement non vide est toujours autorisé.

Modifications majeures pour les utilisateurs de Spark SQL qui activent le mode ANSI

Pour plus d’informations sur le mode ANSI, consultez Conformité ANSI dans Databricks Runtime.

• Nouvelle configuration de spark.databricks.behaviorChange.SC83587NextDayDOW.enabled : lorsqu'elle est définie sur true, un argument dayOfWeek non valide pour la fonction next_day génère une exception IllegalArgumentException en mode ANSI ; sinon, elle retourne null. La valeur par défaut est true.

• Nouvelle configuration de spark.databricks.behaviorChange.SC83796CanCast.enabled : si la valeur est définie sur true, active de nouvelles règles de syntaxe de cast explicite en mode ANSI. La valeur par défaut est true.

• Nouvelle configuration de spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled : si la valeur est définie sur true, une exception d'erreur de parsing est déclenchée lors de la conversion d’une chaîne en valeur booléenne ; sinon, retourne null. La valeur par défaut est true.

• Nouvelle configuration de spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled : si la valeur est définie sur true, la fonction abs lève une exception si l’entrée est hors limites. La valeur par défaut est true.

Changements cassants pour tous les utilisateurs de Python

• L’API Python delta.tables.DeltaTable.convertToDelta retourne désormais l’objet Python DeltaTable correct qui peut être utilisé pour exécuter des commandes Delta Lake. Auparavant, elle retournait un objet interne qui ne pouvait pas être appelé directement.

Mises à niveau de la bibliothèque

Mise à niveau d’Apache Hadoop 3

• Databricks Runtime 10.0 met à niveau la dépendance Hadoop de Hadoop 2.7.4 vers Hadoop 3.3.1.

Changements de comportement

• Hadoop 3 utilise les bibliothèques hadoop-client-api et hadoop-client-runtime au lieu de la bibliothèque hadoop-common qui ombre certaines dépendances tierces qui pourraient être utilisées dans des API ou extensions publiques Hadoop.
• Les options de configuration de Hadoop 3 ont changé par rapport à Hadoop 2. Pour les options de Hadoop 3.3.1, consultez core-default.xml.
• Databricks a mis à jour certaines configurations par défaut pour Hadoop 3 de façon à ce qu’elles soient cohérentes avec Hadoop 2, pour s’assurer que les connecteurs de stockage aient par défaut les mêmes paramètres d’authentification et niveaux de performances :
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• Le connecteur Google Cloud Stockage (GCS) a été mis à niveau de 2.1.6 à 2.2.2.
• Le connecteur Amazon Redshift utilise désormais le schéma s3a://. Le schéma s3n:// est déconseillé.
• Gère les noms de classes OSS pour l’API Amazon S3 MetadataStore en plus des classes ombrées. Cela permet de traiter des configurations OSS sans exiger des noms de classe ombrées.
  • Par exemple, vous pouvez spécifier la classe org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore dans la configuration d’Hadoop.
• Rend new Configuration() et sparkContext.hadoopConfiguration uniformes.
  • Désormais, chaque fois qu’une nouvelle configuration d’Hadoop est créée, elle est cohérente avec la configuration d’Hadoop prédéfinie dans sparkContext.hadoopConfiguration dans le Databricks Runtime, y compris avec les schémas du système de fichiers et leur configuration par défaut.
• Bien que les connecteurs de stockage Hadoop inclus dans les Databricks Runtime soient entièrement compatibles avec Hadoop 3.3.1, il n’est pas garanti qu’ils soient synchronisés avec les connecteurs OSS Hadoop 3.3.1 et ils pourraient présenter un comportement différent.
  • Le connecteur Amazon S3 autorise toujours (bien qu’avec un avertissement) l’authentification par user:secret dans les URL S3, au contraire de HADOOP-14833 qui la supprime.
• globStatus retourne désormais toujours des résultats triés (HADOOP-10798)
• Ajout de fs.s3a.endpoint si non défini et la région fs.s3a.endpoint est nulle (SPARK-35878)
  • La résolution automatique de la région Amazon S3 fournie par Databricks pourrait ne pas être déclenchée dans certains cas, en raison du fait que le point de terminaison global est défini. Ce n’est pas un problème, car le Kit de développement logiciel (SDK) AWS peut résoudre la région correctement.
• Ajouter fs.s3a.downgrade.syncable.exceptions si non défini (SPARK-35868)
• Les codecs LZ4 et Snappy ne reposent pas sur la bibliothèque Hadoop native (Hadoop-17125)

Problèmes connus

• SPARK-36681 L’utilisation de SnappyCodec pour écrire un fichier de séquence échoue avec l’erreur UnsatisfiedLinkError en raison d’un problème connu dans Hadoop 3.3.1 (Hadoop-17891)

Apache Spark

Databricks Runtime 10.0 inclut Apache Spark 3.2.0.

Dans cette section :

• Points forts
• Core et Spark SQL
• Diffusion en continu structurée
• PySpark
• MLlib
• Désapprobations et suppressions

Points forts

• Prise en charge de la couche API Pandas sur PySpark (SPARK-34849)
• Sessionisation basée sur EventTime (fenêtre de session) (SPARK-10816)
• Prise en charge des types ANSI SQL INTERVAL (SPARK-27790)
• Mode ANSI en disponibilité générale (SPARK-35030)
• Standardisation des messages d’exception dans Spark (SPARK-33539)

Core et Spark SQL

Améliorations de la compatibilité ANSI SQL

• Prise en charge des types ANSI SQL INTERVAL (SPARK-27790)
• Nouvelles règles de syntaxe de coercion de type en mode ANSI (SPARK-34246)

Une amélioration du niveau de performance

• Optimisation des requêtes
  • Suppression des agrégats redondants dans l’Optimiseur (SPARK-33122)
  • Appliquer la limite via Project avec Join (SPARK-34622)
  • Estimation de la cardinalité de l’opérateur union, sort et range (SPARK-33411)
  • Prise en charge du prédicat In/InSet par UnwrapCastInBinaryComparison (SPARK-35316)
  • Conservation des statistiques nécessaires après nettoyage de partition (SPARK-34119)
• Exécution d’une requête
  • Activation du pool de mémoires tampons Zstandard par défaut (SPARK-34340, SPARK-34390)
  • Ajouter la génération de code pour tous les types de jointures de la jointure fusion par tri (SPARK-34705)
  • Amélioration de la jointure de boucle imbriquée de transmission (SPARK-34706)
  • Prendre en charge deux niveaux de hash maps pour l'agrégation finale de hachage (SPARK-35141)
  • Autoriser des rédacteurs simultanés pour l’écriture de partitions dynamiques et de table en compartiments (SPARK-26164)
  • Amélioration des performances de traitement de FETCH_PRIOR dans Thriftserver (SPARK-33655)

Améliorations des connecteurs

• Parquet
  • Mise à niveau de Parquet vers 1.12.1 (SPARK-36726)
  • Lecture des types non signés Parquet qui sont stockés en tant que type physique Int32 dans Parquet (SPARK-34817)
  • Lecture de type logique Int64 non signé Parquet stocké en tant que type physique Int64 signé au format décimal (20, 0) (SPARK-34786)
  • Améliorer Parquet dans le filtrage par pushdown (SPARK-32792)
• ORC
  • Mise à niveau d’ORC vers la version 1.6.11 (SPARK-36482)
  • Prise en charge de l'évolution forcée du positionnement ORC (SPARK-32864)
  • Prise en charge des colonnes imbriquées dans le lecteur vectorisé ORC (SPARK-34862)
  • Prise en charge de la compression ZSTD et LZ4 dans la source de données ORC (SPARK-33978, SPARK-35612)
• Avro
  • Mise à niveau d’Avro vers la version 1.10.2 (SPARK-34778)
  • Prise en charge de l’évolution du schéma Avro pour les tables Hive partitionnées avec « avro.schema.literal » (SPARK-26836)
  • Ajouter de nouvelles options de source de données Avro pour contrôler le rebasage de date-heure lors de la lecture (SPARK-34404)
  • Ajout de la prise en charge de l’URL de schéma fournie par l’utilisateur dans Avro (SPARK-34416)
  • Ajout de la prise en charge de la correspondance positionnelle des schémas Catalyst-to-Avro (SPARK-34365)
• JSON
  • Mise à niveau de Jackson vers la version 2.12.3 (SPARK-35550)
  • Autorisation aux sources de données Json d’écrire des caractères non-ascii sous la forme de points de code (SPARK-35047)
• JDBC
  • Calculer un stride de partition plus précis dans JDBCRelation (SPARK-34843)
• Prise en charge du filtrage du metastore Hive par not-in (SPARK-34538)

Améliorations de la fonctionnalité

• Sous-requête
  • Amélioration des sous-requêtes corrélées (SPARK-35553)
• Nouvelles fonctions intégrées
  • ilike (SPARK-36674, SPARK-36736)
  • current_user (SPARK-21957)
  • product (SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add (SPARK-35162)
  • try_divide (SPARK-35162)
  • bit_get (SPARK-33245)
• Utilisation d’Apache Hadoop 3.3.1 par défaut (SPARK-29250)
• Ajout de somme de contrôle pour les blocs de shuffle (SPARK-35275)
• Activation de spark.storage.replication.proactive par défaut (SPARK-33870)
• Prise en charge du nettoyage du stockage de secours lors de l’arrêt de SparkContext (SPARK-34142)
• Prise en charge des énumérations Java à partir de l’API Scala DataSet (SPARK-23862)
• ADD JAR avec les coordonnées Ivy doit être compatible avec le comportement transitif de Hive (SPARK-34506)
• Prise en charge ADD ARCHIVE et LIST ARCHIVEcommandeS (SPARK-34603)
• Soutien de plusieurs chemins d'accès pour les commandes ADD FILE/JAR/ARCHIVE(SPARK-35105)
• Prendre en charge les fichiers d’archivage en tant que ressources pour CREATE FUNCTION à l'aide de la syntaxe USING (SPARK-35236)
• Chargement de SparkSessionExtensions à partir de ServiceLoader (SPARK-35380)
• Ajout de la fonction sentences à {scala,py} dans les fonctions (SPARK-35418)
• Application de spark.sql.hive.metastorePartitionPruning pour les tables non Hive qui utilisent le metastore Hive pour la gestion des partitions (SPARK-36128)
• Propagation de la raison de la perte de processus à l'interface utilisateur web (SPARK-34764)
• Éviter l'incorporation des CTE non déterministes (SPARK-36447)
• Prise en charge de l’analyse de toutes les tables dans une base de données spécifique (SPARK-33687)
• Standardisation des messages d’exception dans Spark (SPARK-33539)
• Support des valeurs NULL (IGNORE | RESPECT) pour LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Autres changements notables

• Surveiller
  • Nouvelles métriques pour ExternalShuffleService (SPARK-35258)
  • Ajout de nouveaux paramètres et API REST au niveau de la phase (SPARK-26399)
  • Prise en charge des distributions des métriques des tâches et des exécuteurs dans l’API REST (SPARK-34488)
  • Ajout de métriques de secours pour l’agrégat de hachage (SPARK-35529)
• Ajout de count_distinct en tant qu’option à Dataset#summary (SPARK-34165)
• Implémentation de ScriptTransform dans sql/core (SPARK-31936)
• Rendre le délai d'expiration du battement de coeur du pilote BlockManagerMaster configurable (SPARK-34278)
• Rendre configurable le nom du service de shuffle côté client et permettre le remplacement de la configuration basée sur le classpath au niveau du serveur (SPARK-34828)
• ExecutorMetricsPoller doit conserver l’entrée intermédiaire dans stageTCMP jusqu’à ce qu’une pulsation se produise (SPARK-34779)
• Remplacer if par une clause filter dans RewriteDistinctAggregates (SPARK-34882)
• Corriger l’échec lors de l’application de CostBasedJoinReorder sur une auto-jointure (SPARK-34354)
• CREATE TABLE LIKE doit respecter les propriétés de table réservées (SPARK-34935)
• Envoi du fichier ivySettings au pilote en mode cluster YARN (SPARK-34472)
• Résoudre les colonnes communes dupliquées de USING/NATURAL JOIN(SPARK-34527)
• Masquage des propriétés d’affichage interne pour la commande DESCRIBE TABLE (SPARK-35318)
• Prise en charge de la résolution d’attributs manquants pour indicateur distribution/cluster by/repartition (SPARK-35331)
• Ignorer l’erreur lors de la vérification du chemin d’accès dans FileStreamSink.hasMetadata (SPARK-34526)
• Améliorer la prise en charge du committer magique s3a en déduisant les configurations manquantes (SPARK-35383)
• Autorisation d’omission de : dans la chaîne de type STRUCT (Spark-35706)
• Ajout d’un nouvel opérateur pour déterminer si AQE peut optimiser en toute sécurité (SPARK-35786)
• Ajouter des nouveaux champs de structure imbriqués au lieu de trier pour unionByName avec remplissage avec des valeurs nulles (SPARK-35290)
• ArraysZip devrait conserver les noms de champs afin d’éviter qu’ils soient réécrits par l’analyseur/optimiseur (SPARK-35876)
• Utilisez Void comme nom de type NullType (SPARK-36224)
• Introduction d’une nouvelle API pour que FileCommitProtocol autorise le nommage de fichier flexible (SPARK-33298)

Changements de comportement

Consultez les guides de migration pour chaque composant : Spark Core.

Diffusion Structurée

Fonctionnalités majeures

• Sessionisation basée sur EventTime (fenêtre de session) (SPARK-10816)
• Mise à niveau du client Kafka vers 2.8.0 (SPARK-33913)
• Trigger.AvailableNow pour l’exécution de requêtes de streaming comme Trigger.Once dans plusieurs lots dans Scala (SPARK-36533)

Autres changements notables

• Introduction d’une nouvelle option dans la source Kafka pour spécifier un nombre minimal d’enregistrements à lire par déclencheur (SPARK-35312)
• Ajout des derniers décalages à la progression de la source (SPARK-33955)

PySpark

Project Zen

• API Pandas sur Spark (SPARK-34849)
  • Activation de mypy pour pandas-on-Spark (SPARK-34941)
  • Implémentation de la prise en charge de CategoricalDtype (SPARK-35997, SPARK-36185)
  • Accomplissement des opérations de base des séries et des index (SPARK-36103, SPARK-36104, SPARK-36192)
  • Mise en correspondance des comportements avec 1.3 pandas (SPARK-36367)
  • Mettre en correspondance les comportements de série avec NaN à pandas'(SPARK-36031, SPARK-36310)
  • Implémenter l'opérateur unaire 'invert' pour les Series et Index intégrales (SPARK-36003)
  • Implémentation de CategoricalIndex.map et DatetimeIndex.map (SPARK-36470)
  • Implémentation de Index.map (SPARK-36469)
• Prise en charge du gestionnaire de défauts pour le worker Python qui a planté (SPARK-36062)
• Utiliser la règle de nommage en serpent sur les API de fonction (SPARK-34306)
• Activation de spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled par défaut (SPARK-35419)
• Support de l'inférence des dictionnaires imbriqués en tant que structures lors de la création d'un DataFrame (SPARK-35929)

Autres changements notables

• Activation du mode thread épinglé par défaut (SPARK-35303)
• Ajouter le support de NullType pour les exécutions Arrow (SPARK-33489)
• Ajout de la fonctionnalité self_destruct d'Arrow pour la méthode toPandas (SPARK-32953)
• Ajout de l'API de wrapper cible de thread pour PySpark en mode thread épinglé (SPARK-35498)

Changements de comportement

Consultez les guides de migration.

MLlib

Optimisation des performances

• Optimisation de la transformation BucketedRandomProjectionLSH (SPARK-34220)
• Optimisation de w2v findSynonyms (SPARK-34189)
• Optimisation de GEMM épars en ignorant la vérification des limites (SPARK-35707)
• Amélioration des performances de ML ALS recommendForAll par GEMV (SPARK-33518)

Améliorations de l’apprentissage du modèle

• Refactorisation de l’agrégateur logistique - Prise en charge du centrage virtuel (SPARK-34797)
• Régression logistique binaire avec centrage de support d’interception (SPARK-34858, SPARK-34448)
• Régression logistique multinomiale avec centrage de support d’interception (SPARK-34860)

Améliorations de BLAS

• Remplacement entier de com.github.fommil.netlib par dev.ludovic.netlib:2.0 (SPARK-35295)
• Ajout d’une implémentation de BLAS vectorisée (SPARK-33882)
• Accélérez le BLAS de repli avec dev.ludovic.netlib (SPARK-35150)

Autres changements notables

• Transformation OVR corrigeant un conflit de colonne potentiel (SPARK-34356)

Désapprobations et suppressions

• Désapprobation de spark.launcher.childConnectionTimeout (SPARK-33717)
• désapprouver GROUP BY ... GROUPING SETS (...) et promouvoir GROUP BY GROUPING SETS (...)(SPARK-34932)
• Obsolescence de l’API ps.broadcast (SPARK-35810)
• Dépréciation de l’argument num_files (SPARK-35807)
• Déprécier DataFrame.to_spark_io (SPARK-35811)

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 10.0.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.3 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.8.10
• R : 4.1.1
• Delta Lake : 1.0.0

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de la version instantanée de CRAN fournie par Microsoft, datant du 21/09/2021.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)