Databricks Runtime 11.1 (EoS)

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 11.1 optimisé par Apache Spark 3.3.0. Databricks a publié cette version en juillet 2022.

Améliorations et nouvelles fonctionnalités

• Photon est en disponibilité générale
• Photon : Types d’instances pris en charge
• Le flux des changements de données peut désormais gérer automatiquement les horodatages hors plage
• Les fonctions SQL de description et d’affichage affichent désormais les noms Unity Catalog dans leur sortie (préversion publique)
• Inférence et évolution du schéma pour les fichiers Parquet dans Auto Loader (préversion publique)
• Auto Loader prend désormais en charge l’évolution du schéma pour Avro (disponibilité générale)
• Prise en charge de Delta Lake pour les remplacements de partition dynamique
• Prise en charge du schéma d’informations pour les objets créés dans Unity Catalog
• Contraintes informatives sur les tables Delta Lake avec Unity Catalog (aperçu public)
• Unity Catalog est en disponibilité générale
• Delta Sharing est en disponibilité générale

Photon est en disponibilité générale (GA)

Photon est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Photon est le moteur de requête vectorisé natif sur Azure Databricks, écrit pour être compatible avec les API Apache Spark, de sorte qu’il fonctionne avec votre code existant. Photon est développé en C++ pour tirer parti du matériel moderne, et il utilise les dernières techniques du traitement des requêtes vectorisées pour tirer parti du parallélisme au niveau des données et des instructions dans les processeurs, améliorant ainsi les performances sur les données et les applications réelles, tout ceci en mode natif sur votre Data Lake.

Photon fait partie d’un runtime hautes performances qui exécute vos appels d’API SQL et tableau existants plus rapidement et réduit le coût total par charge de travail. Photon est utilisé par défaut dans les entrepôts Databricks SQL.

Voici les améliorations et nouvelles fonctionnalités :

• Nouvel opérateur de tri vectorisé
• Nouvelles fonctions de fenêtre vectorisées
• Nouveaux types et tailles d’instance dans tous les clouds

Limites :

• Les UDF Scala/Python ne sont pas pris en charge par Photon
• RDD n’est pas pris en charge par Photon
• Structured Streaming n’est pas pris en charge par Photon

Pour plus d’informations, consultez les annonces Photon suivantes.

Photon : Nouvel opérateur de tri vectorisé

Photon prend désormais en charge un tri vectorisé lorsqu’une requête contient SORT_BY, CLUSTER_BY ou une fonction de fenêtre avec un ORDER BY.

Limitations : Photon ne prend pas en charge une clause ORDER BY globale. Les tris pour l’évaluation des fenêtres se photonisent, mais le tri global continue à s’exécuter dans Spark.

Photon : Nouvelles fonctions de fenêtre vectorisées

Photon prend désormais en charge l’évaluation des fonctions de fenêtre vectorisées pour de nombreux types de cadres et fonctions. Les nouvelles fonctions de fenêtre incluent row_number, rank, dense_rank, lag, lead, percent_rank, ntile et nth_value. Types de trames de fenêtre pris en charge : en cours (UNBOUNDED PRECEDING AND CURRENT ROW), illimité (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), croissant (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) et réducteur (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Limites :

• Photon ne prend en charge que les versions ROWS de tous les types de trames.
• Photon ne prend pas encore en charge le type de trame glissant (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon : Types d’instances pris en charge

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Le flux des changements de données peut désormais gérer automatiquement les horodatages hors plage

Le flux de données modifiées (CDF) dispose désormais d’un nouveau mode pour fournir des horodatages ou des versions au-delà de la version la plus récente d’un commit sans générer d’erreurs. Ce mode est désactivé par défaut. Vous pouvez l’activer en définissant la configuration spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled sur true.

Les fonctions SQL de description et d’affichage affichent désormais les noms Unity Catalog dans leur sortie (préversion publique)

Les commandes DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAIN et SHOW CREATE TABLE affichent maintenant toujours le nom du catalogue dans leur sortie.

Inférence et évolution de schéma pour les fichiers Parquet dans Auto Loader (aperçu public)

Auto Loader prend désormais en charge l'inférence du schéma et son évolution pour les fichiers Parquet. Tout comme les formats JSON, CSV et Avro, vous pouvez désormais utiliser la colonne de données sauvée pour sauver des données inattendues qui peuvent apparaître dans vos fichiers Parquet. Cela inclut les données qui ne peuvent pas être analysées dans le type de données attendu, les colonnes qui ont une casse différente ou des colonnes supplémentaires qui ne font pas partie du schéma attendu. Vous pouvez configurer Auto Loader de façon à faire évoluer automatiquement le schéma lors de l’ajout de nouvelles colonnes dans les données entrantes. Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Auto Loader prend désormais en charge l’évolution du schéma pour Avro (disponibilité générale)

Consultez Configurer l’inférence et l’évolution du schéma dans Auto Loader.

Prise en charge de Delta Lake pour les remplacements de partition dynamique

Delta Lake active désormais le mode de remplacement de partition dynamique afin de remplacer toutes les données existantes dans chaque partition logique pour laquelle l’écriture validera de nouvelles données. Consultez Remplacer de manière sélective les données avec Delta Lake.

Prise en charge du schéma d’informations pour les objets créés dans Unity Catalog

Le schéma d’informations fournit une API autodescriptive basée sur SQL pour les métadonnées de différents objets de base de données, y compris les tables et les vues, les contraintes et les routines. Dans le schéma d'information, vous trouverez un ensemble de vues décrivant les objets connus du catalogue du schéma que vous êtes autorisé à voir. Le schéma d’informations du catalogue SYSTEM retourne des informations sur les objets dans tous les catalogues du metastore. Consultez Schéma d’informations.

Contraintes informatives sur les tables Delta Lake avec Unity Catalog (aperçu public)

Vous pouvez maintenant définir des contraintes de clé primaire d’information et de clé étrangère sur les tables Delta Lake avec Unity Catalog. Les contraintes d’information ne sont pas imposées. Consultez la clause CONSTRAINT.

Unity Catalog est en GA

Unity Catalog est désormais en disponibilité générale, à compter de Databricks Runtime 11.1. Consultez Qu’est-ce que Unity Catalog ?.

Delta Sharing est en disponibilité générale

Delta Sharing est désormais en disponibilité générale, à compter de Databricks Runtime 11.1.

Databricks vers Databricks Delta Sharing est entièrement managé sans avoir besoin d’échanger des jetons. Vous pouvez créer et gérer des fournisseurs, des destinataires et des partages dans l’interface utilisateur ou avec des API SQL et REST.

Certaines fonctionnalités incluent la restriction de l’accès des destinataires, l’interrogation de données avec des listes d’accès IP et des restrictions de région, ainsi que la délégation de la gestion de Delta Sharing aux non-administrateurs. Vous pouvez également interroger les modifications apportées aux données ou partager des versions incrémentielles avec des flux de données modifiées. Consultez Qu’est-ce que le Delta Sharing ?.

Changements de comportement

Édition des propriétés sensibles pour DESCRIBE TABLE et SHOW TABLE PROPERTIES

Les propriétés sensibles sont caviardées dans les DataFrames et dans la sortie des commandes DESCRIBE TABLE et SHOW TABLE PROPERTIES.

Les clusters de travail sont par défaut en mode d’accès mono-utilisateur avec Databricks Runtime 11.1 et versions ultérieures

Pour être compatibles avec Unity Catalog, les clusters de travail utilisant Databricks Runtime 11.1 et versions ultérieures créés via l’interface utilisateur des travaux ou l’API de travaux sont par défaut en mode d’accès mono-utilisateur. Le mode d'accès utilisateur unique prend en charge la plupart des langages de programmation, des fonctionnalités de cluster et des fonctionnalités de gouvernance des données. Vous pouvez toujours configurer le mode d’accès standard (anciennement mode d’accès partagé) via l’interface utilisateur ou l’API, mais les langues ou fonctionnalités peuvent être limitées.

Mises à niveau de la bibliothèque

• Bibliothèques Python mises à niveau :
  • filelock de la version 3.6.0 vers la version 3.7.1
  • plotly mise à jour de la version 5.6.0 à la version 5.8.2
  • protobuf de la version 3.20.1 vers la version 4.21.2
• Bibliothèques R mises à niveau :
  • chron de 2.3-56 à 2.3-57
  • DBI de la version 1.1.2 vers la version 1.1.3
  • dbplyr de la version 2.1.1 vers la version 2.2.0
  • e1071 de la version 1.7-9 vers la version 1.7-11
  • future de la version 1.25.0 vers la version 1.26.1
  • globals de 0.14.0 à 0.15.1
  • hardhat de la version 0.2.0 vers la version 1.1.0
  • ipred de la version 0.9-12 vers la version 0.9-13
  • OpenSSL de la version 2.0.0 vers la version 2.0.2
  • parallèlement de 1.31.1 à 1.32.0
  • processx de la version 3.5.3 vers la version 3.6.1
  • progressr de la version 0.10.0 vers la version 0.10.1
  • proxy de la version 0.4-26 vers la version 0.4-27
  • ps de la version 1.7.0 vers la version 1.7.1
  • randomForest de la version 4.7-1 vers la version 4.7-1.1
  • roxygen2 de la version 7.1.2 vers la version 7.2.0
  • Rserve de la version 1.8-10 vers la version 1.8-11
  • RSQLite de la version 2.2.13 vers la version 2.2.14
  • sparklyr de la version 1.7.5 vers la version 1.7.7
  • tinytex de la version 0.38 vers la version 0.40
  • usethis de la version 2.1.5 vers la version 2.1.6
  • xfun de la version 0.30 vers la version 0.31
• Bibliothèques Java mises à niveau :
  • io.delta.delta-sharing-spark_2.12 de la version 0.4.0 vers la version 0.5.0

Apache Spark

Databricks Runtime 11.2 comprend Apache Spark 3.3.0. Cette version inclut tous les correctifs et améliorations Spark figurant dans Databricks Runtime 11.1 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

• [SPARK-40054] [SQL] Restaurer la syntaxe de gestion des erreurs de try_cast()
• [SPARK-39489] [CORE] Améliorer les performances de JsonProtocol pour la journalisation des événements en utilisant Jackson au lieu de Json4s
• [SPARK-39319] [CORE][sql] Créer des contextes de requête dans le cadre de SparkThrowable
• [SPARK-40085] [SQL] Utilisation de la classe d’erreur INTERNAL_ERROR au lieu d’IllegalStateException pour indiquer les bogues
• [SPARK-40001] [SQL] Les valeurs NULL dans les colonnes JSON DEFAULT sont stockées sous forme de « null » dans le stockage
• [SPARK-39635] [SQL] Support des metrics du pilote dans l’API de métriques personnalisées DS v2
• [SPARK-39184] [SQL] Gestion des tableaux de résultats sous-dimensionnés dans les séquences de date et d’horodatage
• [SPARK-40019] [ SQL] Refactoriser le commentaire concernant le champ 'containsNull' d'ArrayType et revoir les logiques erronées dans l'expression de collectionOperator concernant containsNull
• [SPARK-39989] [SQL] Prise en charge des statistiques de colonne d’estimation s’il s’agit d’une expression pliable
• [SPARK-39926] [SQL] Correction d’un bogue dans le support des DEFAULT de colonne pour les analyses Parquet non vectorisées.
• [SPARK-40052] [SQL] Gestion des tampons d’octets directs dans VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Correction du type d’intervalle cible dans les erreurs de dépassement de cast
• [SPARK-39835] [SQL] Correction d’EliminateSorts pour résoudre le problème de tri global placé sous le tri local
• [SPARK-40002] [ SQL] Ne pas pousser la limite à travers la fenêtre à l’aide de ntile
• [SPARK-39976] [SQL] ArrayIntersect doit correctement gérer la valeur null dans l’expression gauche
• [SPARK-39985] [SQL] Activation des valeurs de colonne DEFAULT implicites dans les insertions à partir de DataFrames
• [SPARK-39776] [SQL] La chaîne détaillée JOIN doit ajouter un type de jointure
• [SPARK-38901] [SQL] DS V2 prend en charge les fonctions diverses de pushdown
• [SPARK-40028] [SQL][followup] Améliorer les exemples de fonctions de chaîne
• [SPARK-39983] [CORE][sql] Non mises en cache des relations de diffusion non sérialisées sur le pilote
• [SPARK-39812] [SQL] Simplification du code pour construire AggregateExpression avec toAggregateExpression
• [SPARK-40028] [SQL] Ajout d’exemples binaires pour les expressions de chaîne
• [SPARK-39981] [SQL] Levée de l’exception QueryExecutionErrors.castCauseOverflowErrorInsert dans Cast
• [SPARK-40007] [PYTHON][sql] Ajouter « mode » aux fonctions
• [SPARK-40008] [SQL] Prise en charge de la conversion d’intégrales en intervalles ANSI
• [SPARK-40003] [PYTHON][sql] Ajouter « médiane » aux fonctions
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand doit recacher la relation de résultat
• [SPARK-39951] [SQL] Mise à jour de la vérification des colonnes Parquet V2 pour les champs imbriqués
• [SPARK-39775] [CORE][avro] Désactiver la validation des valeurs par défaut lors de l’analyse des schémas Avro
• [SPARK-33236] [ shuffle] Backport to Databricks Runtime 11.x: activer le service de shuffle à base de push pour stocker l’état dans la base de données au niveau NM pour préserver l'état de travail lors du redémarrage
• [SPARK-39836] [SQL] Simplification de V2ExpressionBuilder par extraction de la méthode courante.
• [SPARK-39867] [SQL] La limite globale ne doit pas hériter de orderPreservingUnaryNode
• [SPARK-39873] [SQL] Suppression de OptimizeLimitZero et fusion dans EliminateLimits
• [SPARK-39961] [SQL] Traduire le Cast du push-down DS V2 si la conversion est sûre
• [SPARK-39872] [SQL] Changer pour utiliser BytePackerForLong#unpack8Values avec l'API d'entrée de tableau dans VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Suppression inutile de AliasHelper ou PredicateHelper pour certaines règles
• [SPARK-39962] [WARMFIX][es-393486][PYTHON][sql] Appliquer la projection lorsque les attributs de groupe sont vides
• [SPARK-39900] [SQL] Traiter les conditions partielles ou négatives dans le pushdown des prédicats du format binaire
• [SPARK-39904] [SQL] Renommage de inferDate par prefersDate et clarification de la sémantique de l’option dans la source de données CSV
• [SPARK-39958] [SQL] Ajout d’un journal d’avertissement en cas d’impossibilité de charger un objet de métrique personnalisé
• [SPARK-39936] [SQL] Stockage du schéma dans les propriétés pour les vues Spark
• [SPARK-39932] [SQL] WindowExec doit effacer la mémoire tampon de la partition finale
• [SPARK-37194] [SQL] Éviter le tri inutile en écriture v1 s’il ne s’agit pas d’une partition dynamique
• [SPARK-39902] [SQL] Ajouter les détails de scan au nœud de scan de plan Spark dans SparkUI
• [SPARK-39865] [SQL] Afficher des messages d’erreur précis pour les erreurs de débordement lors de l’insertion de table
• [SPARK-39940] [SS] Actualisation de la table de catalogue sur la requête de streaming avec le récepteur DSv1
• [SPARK-39827] [SQL] Utilisation de la classe d’erreur ARITHMETIC_OVERFLOW en cas de dépassement int dans add_months()
• [SPARK-39914] [SQL] Ajout d’un filtre DS V2 à la conversion de filtre V1
• [SPARK-39857] [SQL] Rétroportage manuel du Databricks Runtime 11.x : V2ExpressionBuilder utilise un type de données LiteralValue incorrect pour le prédicat IN #43454
• [SPARK-39840] [SQL][python] Factorisation de PythonArrowInput comme symétrie de PythonArrowOutput
• [SPARK-39651] [SQL] Élaguer la condition de filtre si la comparaison avec rand est déterministe
• [SPARK-39877] [PYTHON] Ajouter unpivot à l’API DataFrame PySpark
• [SPARK-39847] [WARMFIX][ss] Correction de la condition de concurrence dans RocksDBLoader.loadLibrary() si le thread appelant est interrompu
• [SPARK-39909] [SQL] Organisation de la vérification des informations push pour JDBCV2Suite
• [SPARK-39834] [SQL][ss] Inclure les statistiques d’origine et les contraintes pour LogicalRDD s’il provient de DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) remplit les nouvelles colonnes manquantes avec la valeur Null
• [SPARK-39860] [SQL] D’autres expressions doivent étendre Predicate
• [SPARK-39823] [SQL][python] Renommer Dataset.as en tant que Dataset.to et ajouter DataFrame.to dans PySpark
• [SPARK-39918] [SQL][mineur] Remplacer le libellé « non comparable » par « incomparable » dans le message d’erreur
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder utilise un type de données LiteralValue erroné pour le prédicat In
• [SPARK-39862] [SQL] Rétroportage manuel pour PR 43654 ciblant Databricks Runtime 11.x : Mettre à jour SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS pour autoriser/refuser ALTER TABLE ... Ajoutez les commandes COLUMN séparément.
• [SPARK-39844] [ SQL] Rétroportage manuel pour PR 43652 ciblant Databricks Runtime 11.x
• [SPARK-39899] [SQL] Correction du passage des paramètres de message à InvalidUDFClassException
• [SPARK-39890] [SQL] Faire en sorte que Make TakeOrderedAndProjectExec hérite de AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Prise en charge de CharType dans PySpark
• [SPARK-38864] [SQL] Ajout de unpivot / melt au jeu de données
• [SPARK-39864] [SQL] Inscription en différé de ExecutionListenerBus
• [SPARK-39808] [SQL] Support de la fonction d'agrégat MODE
• [SPARK-39839] [SQL] Gestion du cas spécial de la décimale à longueur variable nulle avec offsetAndSize autre que zéro dans la vérification de l'intégrité structurelle d'UnsafeRow
• [SPARK-39875] [SQL] Modification de la méthode protected dans la classe finale par private ou package-visible
• [SPARK-39731] [SQL] Correction du problème dans les sources de données CSV et JSON lors de l’analyse des dates au format « aaaaMMjj » avec une stratégie d’analyseur de temps CORRIGÉE
• [SPARK-39805] [SS] Déprécier Trigger.Once et promouvoir Trigger.AvailableNow
• [SPARK-39784] [SQL] Placer des valeurs littérales sur le côté droit du filtre de source de données après avoir traduit l’expression Catalyst en filtre de source de données
• [SPARK-39672] [SQL][3.1] Correction de la suppression de projet avant le filtre avec sous-requête corrélée
• [SPARK-39552] [SQL] Unify v1 et v2 DESCRIBE TABLE
• [SPARK-39806] [SQL] L’accès à _metadata dans la table partitionnée peut bloquer une requête
• [SPARK-39810] [SQL] Catalog.tableExists doit gérer l’espace de noms imbriqué
• [SPARK-37287] [SQL] Extraction de la partition dynamique et tri du compartiment à partir de FileFormatWriter
• [SPARK-39469] [SQL] Déduction du type de date pour l’inférence de schéma CSV
• [SPARK-39148] [SQL] Le pushdown d’agrégation DS V2 peut utiliser OFFSET ou LIMIT
• [SPARK-39818] [SQL] Correction d’un bogue dans les types ARRAY, STRUCT, MAP avec les valeurs DEFAULT avec champ(s) NULL
• [SPARK-39792] [SQL] Ajout de DecimalDivideWithOverflowCheck pour la moyenne décimale
• [SPARK-39798] [SQL] Remplacement de toSeq.toArray par .toArray[Any] dans le constructeur de GenericArrayData
• [SPARK-39759] [SQL] Implémentation de listIndexes dans JDBC (dialecte H2)
• [SPARK-39385] [SQL] Prise en charge de la fonctionnalité de "push down" REGR_AVGX et REGR_AVGY
• [SPARK-39787] [SQL] Utiliser la classe d’erreur dans l’erreur de parsing de la fonction to_timestamp
• [SPARK-39760] [PYTHON] Prise en charge de Varchar dans PySpark
• [SPARK-39557] [ SQL] Backport manuel vers Databricks Runtime 11.x : supporte les types « ARRAY », « STRUCT », « MAP » en tant que valeurs par défaut
• [SPARK-39758] [SQL][3.3] Correction de NPE à partir de fonctions regexp sur les modèles non valides
• [SPARK-39749] [SQL] Mode SQL ANSI : utilisation d’une représentation sous forme de chaîne brute lors du cast de Decimal sur String
• [SPARK-39704] [SQL] Implémentation de createIndex, dropIndex et indexExists dans JDBC (dialecte H2)
• [SPARK-39803] [SQL] Utilisation de LevenshteinDistance à la place de StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Prise en charge du type TimestampNTZ dans la source de données JDBC
• [SPARK-39781] [SS] Ajout de la prise en charge de max_open_files pour le fournisseur de stockage d'état rocksdb
• [SPARK-39719] [R] Implémentation de databaseExists/getDatabase dans la prise en charge SparkR de l’espace de noms 3L
• [SPARK-39751] [SQL] Renommage de la métrique des sondes de clé d’agrégation de hachage
• [SPARK-39772] [SQL] Le namespace doit être null lorsque la base de données est null dans les anciens constructeurs.
• [SPARK-39625] [SPARK-38904][sql] Ajout de Dataset.as(StructType)
• [SPARK-39384] [SQL] Compilation des fonctions d’agrégation de régression linéaire intégrées pour le dialecte JDBC
• [SPARK-39720] [R] Implémentation de tableExists/getTable dans SparkR pour l’espace de noms 3L
• [SPARK-39744] [SQL] Ajout de la fonction REGEXP_INSTR
• [SPARK-39716] [R] Faire en sorte que currentDatabase/setCurrentDatabase/listCatalogs dans SparkR prennent en charge l'espace de noms 3L
• [SPARK-39788] [SQL] Renommage de catalogName par dialectName pour JdbcUtils
• [SPARK-39647] [CORE] Inscrire l’exécuteur auprès d’ESS avant d’inscrire le BlockManager
• [SPARK-39754] [CORE][sql] Supprimer les éléments inutilisés import ou inutiles {}
• [SPARK-39706] [SQL] Définition de la colonne manquante avec defaultValue comme constante dans ParquetColumnVector
• [SPARK-39699] [SQL] Rendre CollapseProject plus intelligent sur les expressions de création de collection
• [SPARK-39737] [SQL] PERCENTILE_CONT et PERCENTILE_DISC doivent prendre en charge le filtre d’agrégation
• [SPARK-39579] [SQL][python][R] Make ListFunctions/getFunctions/functionExists compatible avec l’espace de noms de couche 3
• [SPARK-39627] [SQL] Le pushdown JDBC V2 doit unifier l’API de compilation
• [SPARK-39748] [SQL][ss] Inclure le plan logique d’origine pour LogicalRDD s’il provient de DataFrame
• [SPARK-39385] [SQL] Translation des fonctions d’agrégation de régression linéaire pour pushdown
• [SPARK-39695] [SQL] Ajout de la fonction REGEXP_SUBSTR
• [SPARK-39667] [SQL] Ajout d’une autre solution de contournement lorsqu’il n’y a pas suffisamment de mémoire pour générer et diffuser la table
• [SPARK-39666] [ES-337834][sql] Utiliser UnsafeProjection.create pour respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
• [SPARK-39643] [SQL] Interdire les expressions de sous-requête dans les valeurs DEFAULT
• [SPARK-38647] [SQL] Ajout du mix-in SupportsReportOrdering à l’interface pour Scan (DataSourceV2)
• [SPARK-39497] [SQL] Améliorer l’exception d’analyse de la colonne clé de carte manquante
• [SPARK-39661] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
• [SPARK-39713] [SQL] Mode ANSI : ajout d’une suggestion d’utilisation de try_element_at pour l’erreur INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 prend en charge le pushdown des fonctions de date et heure
• [SPARK-39638] [SQL] Modification de l’utilisation de ConstantColumnVector pour stocker les colonnes de partition dans OrcColumnarBatchReader
• [SPARK-39653] [SQL] Nettoyage de ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) à partir de ColumnVectorUtils
• [SPARK-39231] [SQL] Utilisation de ConstantColumnVector à la place de On/OffHeapColumnVector pour stocker les colonnes de partition dans VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog ne doit pas lever d’exception NoSuchDatabaseException dans loadNamspaceMetadata
• [SPARK-39447] [SQL] Éviter AssertionError dans AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Retravail de MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec doit respecter l’ordre de sortie de l'enfant
• [SPARK-39606] [SQL] Utilisation des statistiques des sous-ensembles pour estimer l'opération de tri
• [SPARK-39611] [PYTHON][ps] Corriger les alias incorrects dans array_ufunc
• [SPARK-39656] [SQL][3.3] Correction de l'erreur d'espace de noms dans DescribeNamespaceExec
• [SPARK-39675] [SQL] Basculer la configuration « spark.sql.codegen.factoryMode » de l’objectif de test à l’objectif interne
• [SPARK-39139] [SQL] DS V2 prend en charge la poussée du DS V2 UDF
• [SPARK-39434] [SQL] Fournir le contexte de requête d’erreur du runtime lorsque l’index de tableau est hors limite
• [SPARK-39479] [SQL] DS V2 prend en charge l'optimisation des fonctions mathématiques (non ANSI)
• [SPARK-39618] [SQL] Ajout de la fonction REGEXP_COUNT
• [SPARK-39553] [CORE] La désinscription multithread ne doit pas lever une exception NPE lors de l'utilisation de Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Ajout d’un fichier pour résoudre les fonctions générales manquantes de pandas
• [SPARK-39444] [SQL] Ajout de OptimizeSubqueries à la liste nonExcludableRules
• [SPARK-39316] [SQL] Fusion de PromotePrecision et CheckOverflow en arithmétique binaire décimale
• [SPARK-39505] [UI] Contenu du journal d’échappement affiché dans l’interface utilisateur
• [SPARK-39448] [SQL] Ajout de ReplaceCTERefWithRepartition à la liste nonExcludableRules
• [SPARK-37961] [SQL] Remplacement de maxRows/maxRowsPerPartition pour des opérateurs logiques spécifiques
• [SPARK-35223] Annuler l’ajout de IssueNavigationLink
• [SPARK-39633] [SQL] Prise en charge de l’horodatage en secondes pour TimeTravel à l’aide des options de DataFrame
• [SPARK-38796] [SQL] Mise à jour de la documentation concernant les chaînes de format numérique avec les fonctions {try_}to_number
• [SPARK-39650] [SS] Correction d’un schéma de valeur incorrect dans la déduplication de streaming avec compatibilité descendante
• [SPARK-39636] [CORE][ui] Correction de plusieurs bogues dans JsonProtocol, impactant les tas StorageLevels et Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Retourne ELEMENT_AT_BY_INDEX_ZERO à partir de element_at(*, 0)
• [SPARK-39349] Ajout d’une méthode CheckError centralisée pour l’AQ du chemin d’erreur
• [SPARK-39453] [SQL] DS V2 prend en charge la réduction pour les fonctions diverses non agrégées (non ANSI)
• [SPARK-38978] [SQL] DS V2 prend en charge l’opérateur OFFSET de pushdown
• [SPARK-39567] [SQL] Prise en charge des intervalles ANSI dans les fonctions de centile
• [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ALTER COLUMNS dans les sources de données V2
• [SPARK-39396] [SQL] Correction de l’exception de connexion LDAP « code d’erreur 49 - Informations d’identification non valides »
• [SPARK-39548] [SQL] La commande CreateView avec une requête contenant une clause de fenêtre a rencontré un problème de définition de fenêtre introuvable
• [SPARK-39575] [AVRO] ajouter ByteBuffer#rewind après ByteBuffer#get dans Avr…
• [SPARK-39543] L'option DataFrameWriterV2 doit être passée aux propriétés de stockage en cas de réversion vers v1.
• [SPARK-39564] [SS] Afficher les informations de la table de catalogue dans le plan logique de la requête de streaming
• [SPARK-39582] [SQL] Correction du marqueur « Depuis » pour array_agg
• [SPARK-39388] [SQL] Réutiliser orcSchema lors de la descente des prédicats Orc
• [SPARK-39511] [SQL] Amélioration de la limite locale 1 du pushdown pour le côté droit de la jointure semi/anti si la condition de jonction est vide
• [SPARK-38614] [ SQL] Ne pas pousser la limite à travers la fenêtre qui utilise percent_rank
• [SPARK-39551] [SQL] Ajout d’une vérification de plan non valide AQE
• [SPARK-39383] [SQL] Prise en charge des colonnes DEFAULT dans ALTER TABLE ADD COLUMNS dans les sources de données V2
• [SPARK-39538] [SQL] Éviter de créer un enregistreur d’événements SLF4J inutile
• [SPARK-39383] [SQL] Retour manuel vers Databricks Runtime 11.x : refactorisation de la prise en charge de la colonne DEFAULT pour éviter de faire circuler l'analyseur principal.
• [SPARK-39397] [SQL] Assouplissement de AliasAwareOutputExpression pour prendre en charge des alias avec des expressions
• [SPARK-39496] [SQL] Gestion de structure Null dans Inline.eval
• [SPARK-39545] [SQL] Substitution de la méthode concat pour ExpressionSet dans Scala 2.13 afin d’améliorer les performances
• [SPARK-39340] [SQL] Le pushdown d’agrégation DS v2 doit autoriser les points dans le nom des colonnes de niveau supérieur
• [SPARK-39488] [SQL] Simplification de la gestion de l’erreur TempResolvedColumn
• [SPARK-38846] [SQL] Ajout d’un mappage de données explicite entre le type numérique Teradata et le type décimal Spark
• [SPARK-39520] [SQL] Substitution de la méthode -- pour ExpressionSet dans Scala 2.13
• [SPARK-39470] [SQL] Prise en charge de la conversion des intervalles ANSI en décimales
• [SPARK-39477] [SQL] Suppression de l’information « Nombre de requêtes » des fichiers d’or de SQLQueryTestSuite
• [SPARK-39419] [SQL] Correction de ArraySort pour lever une exception lorsque le comparateur retourne null
• [SPARK-39061] [SQL] Définir correctement la nullabilité pour les attributs de sortie Inline
• [SPARK-39320] [SQL] Prise en charge de la fonction d’agrégation MEDIAN
• [SPARK-39261] [CORE] Amélioration de la mise en forme de nouvelle ligne pour les messages d’erreur
• [SPARK-39355] [SQL] Une colonne unique utilise des guillemets pour construire UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE doit masquer les propriétés
• [SPARK-37623] [SQL] Prise en charge de la fonction d’agrégation ANSI : regr_intercept
• [SPARK-39374] [SQL] Amélioration du message d’erreur pour la liste de colonnes spécifiée par l’utilisateur
• [SPARK-39255] [SQL][3.3] Amélioration des messages d’erreur
• [SPARK-39321] [SQL] Refactorisation de TryCast pour utiliser RuntimeReplaceable
• [SPARK-39406] [PYTHON] Acceptation du tableau NumPy dans createDataFrame
• [SPARK-39267] [SQL] Nettoyage du symbole dsl inutile
• [SPARK-39171] [SQL] Unification de l’expression Cast
• [SPARK-28330] [SQL] Prise en charge de la clause de décalage de résultat ANSI SQL dans l’expression de requête
• [SPARK-39203] [SQL] Réécriture de l’emplacement de la table en URI absolu basé sur l’URI de la base de données
• [SPARK-39313] [SQL] toCatalystOrdering doit échouer si la translation de V2Expression est impossible
• [SPARK-39301] [SQL][python] Utilisation de LocalRelation et respect de la taille des lots de flèches dans createDataFrame avec optimisation des flèches
• [SPARK-39400] [SQL] spark-sql doit supprimer ce paramètre hive resource dir dans tous les cas

Mises à jour de maintenance

Consultez Mises à jour de maintenance de Databricks Runtime 11.1.

Environnement du système

• Système d’exploitation : Ubuntu 20.04.4 LTS
• Java : Zulu 8.56.0.21-CA-linux64
• Scala : 2.12.14
• Python : 3.9.5
• R : 4.1.3
• Delta Lake : 1.2.1

Bibliothèques Python installées

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 15 août 2022.

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)