Partager via

Mises à jour de maintenance de Databricks Runtime

Cet article liste les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime. Pour ajouter une mise à jour de maintenance à un cluster existant, redémarrez le cluster. Pour connaître les mises à jour de maintenance sur les versions non prises en charge de Databricks Runtime, consultez Mises à jour de maintenance pour Databricks Runtime (archivé).

Note

Les publications sont échelonnées. Il se peut que votre compte Azure Databricks ne se mette pas à jour pendant plusieurs jours après la date de publication initiale.

Versions de Databricks Runtime

Mises à jour de maintenance par version :

Databricks Runtime 18.0

Consultez Databricks Runtime 18.0.

  • 10 mars 2026
    • [SPARK-55584] Générer une meilleure erreur sur la sous-requête scalaire sur EXEC IMMEDIATE
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55493] [SS] Ne pas mkdirs dans le répertoire d’état du point de contrôle de streaming dans StateDataSource
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Ajout de SET METADATA ON COLUMN et UNSET METADATA ON COLUMN commandes SQL pour la gestion des métadonnées sémantiques sur les colonnes de la table du catalogue Unity. Permet SET METADATA ON COLUMN d’attacher des propriétés (display_name, formatet synonyms) à des colonnes, fournissant un contexte plus riche pour les consommateurs en aval tels que Lakeview et Genie. Permet UNSET METADATA ON COLUMN de supprimer les propriétés de métadonnées précédemment définies.
    • DESCRIBE TABLE inclut désormais une quatrième metadata colonne qui affiche des métadonnées sémantiques au niveau des colonnes sous forme de chaîne JSON, ce qui facilite l’inspection des propriétés telles que display_name, formatet synonyms directement à partir de la sortie de description.
    • [SPARK-54745][PYTHON] Correction de l’erreur d’importation PySpark provoquée par l’absence de UnixStreamServer sur Windows
    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • Lors de l’inférence du schéma des fichiers Excel, les cellules de chaîne sont désormais déduites en tant que Spark StringType. Cela respecte le type de cellule défini dans Excel. Auparavant, les chaînes avec des valeurs numériques étaient converties automatiquement en types plus étroits comme Long ou Decimal.
    • [SPARK-55097][SQL] Correction du problème où le nouvel ajout d'artefacts mis en cache supprime silencieusement les blocs
    • [SPARK-54887][CONNECT] Ajouter un sqlstate facultatif aux sparkthrowables
    • [SPARK-55111][SS] Détection de repartitionnement non terminée lors du redémarrage de la requête
    • Rétablir [SPARK-55111][SS] Détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util côté pilote
    • [SPARK-49110][SQL] Simplifiez SubqueryAlias.metadataOutput pour toujours propager des colonnes de métadonnées
    • [SPARK-54887][CONNECT] Toujours définir un état sql dans le client Spark Connect
    • [SPARK-55090][PYTHON][CONNECT] Implémenter DataFrame.toJSON dans le client Python
    • [SPARK-55243][CONNECT] Autoriser la définition d’en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • [SPARK-54785][SQL] Ajouter la prise en charge des agrégations de croquis binaires dans KLL (#188370) (#191095)
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.6 à 1.3.9
    • Ajout de batchSizeNumFiles, batchSizeNumBytes et des états de traitement de fichiers (numFilesProcessed, numFilesSkippedCorrupted, numFilesSkippedMissing, numFilesUnknownState) comme métriques signalées à l'Auto Loader.
    • [SPARK-54564] [SQL] Convertir QueryPlanningTracker en champ de HybridAnalyzer
    • [SPARK-54803] Prise en charge de BY NAME avec INSERT ... REMPLACER WHERE
    • [SPARK-54679][SQL] Renommez spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SDP][SPARK-54562]](https://issues.apache.org/jira/browse/SPARK-54562) Bloquer l’analyse et l’exécution précipitées au sein de la fonction de flux du côté serveur
    • [SPARK-54886] Ajouter une session de base créée dans SparkConnectService
    • [SPARK-54815][CONNECT] Ne fermez pas le chargeur de classes de l’état de session si la session est toujours en cours d’utilisation
    • [SPARK-41916] [ ML] Serveur de distribution torche : prendre en charge plusieurs processus torchrun par tâche si task.gpu.amount > 1
    • [SPARK-54620][SQL] Ajouter un contrôle de sécurité dans ObservationManager pour éviter le blocage de l’observation
    • [SPARK-55015][SS][SQL] Correction du calcul du nombre de champs de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • [SPARK-54708] Optimiser le nettoyage du cache ML avec la création de répertoires différés
    • [SPARK-54768][SS]Python Stream Data Source doit classifier l’erreur si les données retournées ne correspondent pas au schéma configuré
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • [SPARK-54581][SQL] Rendre l’option fetchsize insensible à la casse pour le connecteur Postgres
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.3 LTS

Consultez Databricks Runtime 17.3 LTS.

  • 10 mars 2026
    • [SPARK-55493] [SS] Ne pas utiliser la commande mkdirs dans le répertoire d'état du point de contrôle de streaming dans StateDataSource
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Bibliothèques Java mises à jour :
      • org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.20.4
    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • Lors de l’inférence du schéma des fichiers Excel, les cellules de chaîne sont désormais déduites en tant que Spark StringType. Cela respecte le type de cellule défini dans Excel. Auparavant, les chaînes avec des valeurs numériques étaient converties automatiquement en types plus étroits comme Long ou Decimal.
    • [SPARK-54887][CONNECT] Toujours définir un état sql dans le client Spark Connect
    • [SPARK-54887][CONNECT] Ajouter un sqlstate facultatif aux sparkthrowables
    • [SPARK-55097][SQL] Correction du réajout des artefacts mis en cache, réglant le problème de suppression silencieuse des blocs
    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util du côté du pilote
    • [SPARK-49110][SQL] Simplifiez SubqueryAlias.metadataOutput pour toujours propager des colonnes de métadonnées
    • [SPARK-55243][CONNECT] Autoriser la définition d’en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • Mises à jour de sécurité du système d’exploitation

  • 27 janvier 2026

    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.8 à 1.3.9
    • Voir ci-dessus
    • [SPARK-54768][SS]Python Stream Data Source doit classifier l’erreur si les données retournées ne correspondent pas au schéma configuré
    • [SPARK-54803] Prise en charge de BY NAME avec INSERT ... REMPLACER WHERE
    • [SPARK-53564][CORE] Éviter les sorties DAGScheduler en raison du délai d’expiration du RPC de BlockManager dans DAGSchedulerEventProcessLoop
    • [SPARK-55015][SS][SQL] Correction du calcul du nombre de champs de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Bibliothèques Python mises à jour :
      • pmdarima de 2.0.4 à 2.1.1
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.6 à 1.3.8
    • Vous pouvez désormais utiliser des fonctions de fenêtre SQL comme fonction scalaire dans les dimensions de la vue métrique et les expressions de mesure.
    • [SDP][17.3 backport][SPARK-54562] Bloquer l’analyse/l’exécution dans la fonction de flux du côté serveur
    • [SPARK-54679][SQL] Renommez spark.sql. (xml.legacyXMLParser.enabled -> legacy.useLegacyXMLParser)
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • [SPARK-53127][SQL] Correction LIMIT de TOUS pour la récursivité nonlimée avec la normalisation CTE
    • [SPARK-54708] Optimiser le nettoyage du cache ML avec la création de répertoires différés
    • [SPARK-54581][SQL] Rendre l’option fetchsize insensible à la casse pour le connecteur Postgres
    • [SPARK-41916] [ ML] Serveur de distribution torche : prendre en charge plusieurs processus torchrun par tâche si task.gpu.amount > 1
    • [SPARK-54564] [SQL] Convertir QueryPlanningTracker en champ de HybridAnalyzer
    • [SPARK-54620][SQL] Ajouter un contrôle de sécurité dans ObservationManager pour éviter le blocage de l’observation
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.3.5 à 1.3.6
    • [SPARK-50906][SQL] Correction de la vérification de la nullabilité Avro pour les champs de structures réorganisés
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • [SPARK-52762][SDP] Ajouter un message PipelineAnalysisContext pour prendre en charge l’analyse du pipeline pendant l’exécution de la requête Spark Connect
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec de conversion ProtobufOptions
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [17.3 Backport][spark-54191]](https://issues.apache.org/jira/browse/SPARK-54191)[SDP] Ajouter une fois à Defineflow Proto
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • [SPARK-46679][SQL] Correctif pour SparkUnsupportedOperationException Aucun encodeur trouvé pour le type T, lors de l’utilisation de la classe paramétrée
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • [SPARK-53794][SS] Ajouter une option pour limiter les suppressions par opération de maintenance associée au fournisseur d’état rocksdb
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 17.2

Consultez Databricks Runtime 17.2.

  • 10 mars 2026
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • [SPARK-55493] [SS] Ne pas utiliser mkdirs (créer des répertoires) dans le répertoire d’état du point de contrôle en streaming dans StateDataSource
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • Lors de l’inférence du schéma des fichiers Excel, les cellules de chaîne sont désormais déduites en tant que Spark StringType. Cela respecte le type de cellule défini dans Excel. Auparavant, les chaînes avec des valeurs numériques étaient converties automatiquement en types plus étroits comme Long ou Decimal.
    • [SPARK-55243][CONNECT] Autoriser la définition d’en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • [SCALA][SPARK-54887]](https://issues.apache.org/jira/browse/SPARK-54887)[CONNECT] Définir toujours un état sql dans le client Spark Connect
    • [SPARK-54887][CONNECT] Ajouter un sqlstate facultatif aux sparkthrowables
    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util du côté du pilote
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • [SPARK-55015][SS][SQL] Correction du calcul du nombre de champs de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • [SPARK-54768][SS]Python Stream Data Source doit classifier l’erreur si les données retournées ne correspondent pas au schéma configuré
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • [SPARK-50906][SQL] Correction de la vérification de la nullabilité Avro pour les champs de structures réorganisés
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-52515]Approx_top_k à l’aide d’Apache DataSketches
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • [SPARK-53972][SS] Correction de la régression recentProgress de requête en streaming dans pyspark classique
    • [SPARK-53908][CONNECT] Correction des observations sur Spark Connect avec le cache de plan
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 8 octobre 2025
    • [SPARK-53555] Correctif : SparkML-connect ne peut pas charger le modèle enregistré SparkML (mode hérité)
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53625][SS] Propager des colonnes de métadonnées via des projections pour traiter l’incompatibilité ApplyCharTypePadding
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53729][PYTHON][CONNECT] Correction de la sérialisation de pyspark.sql.connect.window.WindowSpec
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-53362] [ML] [CONNECT] Correction du bogue du chargeur local IDFModel
    • [SPARK-53382][SQL] Correction du bogue rCTE avec récursivité malformée
    • Backport du correctif pour test instable [SPARK-53345]
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • [SPARK-53423] [SQL] Déplacer toutes les balises de résolution à passe unique vers ResolverTag
    • [SPARK-53431][PYTHON] Correction de l’UDTF Python avec des arguments de table nommés dans l’API DataFrame
    • [SPARK-53336] [ML] [CONNECT] Réinitialiser MLCache.totalMLCacheSizeBytes quand MLCache.clear() il est appelé
    • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible doit éviter l'interruption dupliquée
    • [SPARK-53470][SQL] Les expressions ExtractValue doivent toujours effectuer la vérification de type
    • Sélection ciblée de [SPARK-53389] Améliorations pour l’API Pandas sur Spark conforme à ANSI
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 16.4 LTS

Consultez Databricks Runtime 16.4 LTS.

  • 10 mars 2026
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55493] [SS] Ne pas utiliser mkdirs (créer des répertoires) dans le répertoire d’état du point de contrôle en streaming dans StateDataSource
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util du côté du pilote
    • [SPARK-55243][CONNECT] Autoriser la définition d’en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Bibliothèques Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.9 à 1.2.10
      • (Scala 2.12 uniquement) org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.19.0
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.9 à 1.2.10
      • (Scala 2.13 uniquement) org.mlflow.mlflow-spark_2.13 de 2.9.1 à 2.19.0
    • [SPARK-55015][SS][SQL] Correction du calcul du nombre de champs de decodeRemainingKey dans PrefixKeyScanStateEncoder
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Bibliothèques Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.8 à 1.2.9
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.8 à 1.2.9
    • [SPARK-54620][SQL] Ajouter un contrôle de sécurité dans ObservationManager pour éviter le blocage de l’observation
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • [SPARK-41916] [ ML] Serveur de distribution torche : prendre en charge plusieurs processus torchrun par tâche si task.gpu.amount > 1
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • Pour le connecteur Snowflake et Snowflake Lakehouse Federation, TIMESTAMP_NTZ les littéraux (d’horodatage sans fuseau horaire) ne sont plus transférés vers Snowflake. Cette modification empêche les échecs de requête causés par la gestion des horodatages incompatibles et améliore la fiabilité des requêtes affectées.
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54099][SQL] L'analyseur XML de variantes doit revenir au type chaîne en cas d'erreurs lors de l'analyse de décimales
    • [SPARK-54015][PYTHON] Assouplir l'exigence Py4J à py4j>=0.10.9.7,<0.10.9.10
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54156][PROTOBUF] Classifier les erreurs pour l’échec de conversion ProtobufOptions
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 16.1.0 à 21.0.0
    • [SPARK-53973][Avro] Classifier les erreurs de l’AvroOptions pour l’échec de conversion en booléen.
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • [SPARK-53623][SQL] améliorer la lecture des propriétés d'une grande table...
    • [SPARK-53598][SQL] Vérifier l’existence de numParts avant de lire la propriété de table volumineuse
    • [SPARK-53549][SS] Fermez toujours l’allocateur de flèche lorsque le processus de demande d’état de liste est terminé
    • Mises à jour de sécurité du système d’exploitation
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • [SPARK-51821][CORE] Appeler interrupt() sans maintenir uninterruptibleLock pour éviter un possible blocage
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • (Scala 2.12 uniquement) io.delta.delta-sharing-client_2.12 de 1.2.7 à 1.2.8
      • (Scala 2.13 uniquement) io.delta.delta-sharing-client_2.13 de 1.2.7 à 1.2.8
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Toujours mettre en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour savoir si une tâche va être interrompue lors de la mort
    • [SPARK-52833][SQL] Correction VariantBuilder.appendFloat
    • [SPARK-51505][SQL] Afficher toujours les métriques de numéro de partition vides dans AQEShuffleReadExec
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • [SPARK-52753][SQL] Rendre le fichier binaire parseDataType compatible avec les versions précédentes
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-52553][SS] Correction de NumberFormatException lors de la lecture du journal des modifications v1
    • [SPARK-52450] Améliorer les performances du clonage intégral du schéma
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
    • [SPARK-52599][PYTHON] Prendre en charge le vidage de traceback périodique dans les workers côté pilote
    • Mises à jour de sécurité du système d’exploitation
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Correction des problèmes d’autorisation du catalogue Unity pour les requêtes sur les vues temporaires.
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • [SPARK-52195][PYTHON][SS] Correction du problème de suppression de colonne d’état initiale pour Python TWS
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Divers correctifs de bogues.
  • 7 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.13 de 1.2.3 à 1.2.7
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • [SPARK-51921][SS][PYTHON] Utilisation du type long pour la durée de vie en millisecondes dans transformWithState
    • [SPARK-51940][SS] Ajouter une interface pour gérer les métadonnées de point de contrôle de streaming
    • [SPARK-52049] Correction du bogue que les attributs XML ne peuvent pas être analysés en tant que variant
    • [SPARK-51904][SS] Suppression de la purge asynchrone des métadonnées pour StateSchemaV3 et ignorer les fichiers non-batch lors de la liste des fichiers OperatorMetadata
    • [SPARK-51869][SS] Créer une classification pour les erreurs utilisateur dans les UDF pour Scala TransformWithState
    • [SPARK-51889][PYTHON][SS] Correction d’un bogue pour MapState clear() dans Python TWS
    • [SPARK-51922] [SS] Correction de UTFDataFormatException générée par StateStoreChangelogReaderFactory pour v1
    • [SPARK-51848][SQL] Correction de l’analyse des enregistrements XML avec un schéma défini contenant des tableaux/structures/cartes de Variant
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 15.4 LTS

Consultez Databricks Runtime 15.4 LTS.

  • 10 mars 2026
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Bibliothèques Java mises à jour :
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.11.3
    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • [SPARK-55243][CONNECT] Autoriser la définition d’en-têtes binaires via le suffixe -bin dans le client Scala Connect
    • [SPARK-55282][PYTHON][CONNECT] Éviter d’utiliser worker_util du côté du pilote
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Bibliothèques Java mises à jour :
      • io.delta.sharing-client_2.12 de 1.1.9 à 1.1.10
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54620][SQL] Ajouter un contrôle de sécurité dans ObservationManager pour éviter le blocage de l’observation
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.7 à 1.1.9
    • [SPARK-54427][SQL] Autoriser ColumnarRow à appeler copy avec des types de variantes
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 14.0.0.2 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Le critère de photonisation du scan est mis à jour pour autoriser la photonisation du scan quand la vérification du checksum est requise.
      Déterminer si la vérification de checksum est requise provient désormais de la configuration Hadoop plutôt que de la configuration SQLConf.
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Le connecteur Snowflake utilise désormais la INFORMATION_SCHEMA table au lieu de la SHOW SCHEMAS commande pour répertorier les schémas. Cette modification supprime la limite de 10 000 schémas de l’approche précédente et améliore la prise en charge des bases de données avec un grand nombre de schémas.
    • [SPARK-50870][SQL] Ajouter le fuseau horaire lors de la conversion en horodatage dans V2ScanRelationPushDown
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • Corrige une erreur temporaire dans le chargeur automatique qui peut entraîner l’échec des travaux
    • [SPARK-51821][CORE] Appeler interrupt() sans maintenir uninterruptibleLock pour éviter un possible blocage
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • [SPARK-53192][CONNECT] Toujours mettre en cache une source de données dans le cache du plan Spark Connect
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • [SPARK-51011][CORE] Ajouter la journalisation pour savoir si une tâche va être interrompue lors de la mort
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation

  • 21 juillet 2025

    • Pour le calcul activé pour Photon ou utilise le processeur Arm64, mlflow-skinny est mis à niveau vers la version 2.19.0, ray est mis à niveau vers la version 2.37.0 et databricks-feature-engineering est mis à niveau vers 0.8.0.

  • 15 juillet 2025

    • Correction d’un problème de perte de données non déterministe lors de l’utilisation de Spark Structured Streaming pour diffuser des données à partir de Pulsar.
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
  • 1 juillet 2025
    • Bibliothèques Java mises à jour :
      • org.mlflow.mlflow-spark_2.12 de 2.9.1 à 2.11.3
      • Suppression de com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2
      • Suppression de org.slf4j.slf4j-simple 1.7.25
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • [SPARK-52312][SQL] Ignorer V2WriteCommand lors de la mise en cache du DataFrame
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorélation des sous-requêtes pour les opérations d'union/de regroupement lorsque `parentOuterReferences` a des références non couvertes dans `collectedChildOuterReferences`
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 41.0.3 vers 41.0.3
      • filelock de 3.13.4, 3.15.4 vers 3.13.4
      • importlib-metadata de 4.6.4, 6.0.0 vers 6.0.0
      • platformdirs de 3.10.0, 3.11.0 vers 3.10.0
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • zipp de 1.0.0, 3.11.0 vers 3.11.0
      • Ajout de pip 23.2.1
      • Ajout de setuptools 68.0.0
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.2-linux-x86_64 à 1.6.2
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • La session clonée de streaming sera désormais utilisée dans la fonction utilisateur foreachBatch sur les clusters partagés et serverless. Cela s’aligne sur le comportement dans les clusters classiques (clusters affectés).
    • Avant cette mise à jour, les espaces en début de ligne et les tabulations dans les chemins d’accès utilisés dans l’expression variant_get étaient ignorés lorsque Photon était désactivé. Par exemple, select variant_get(parse_json('{"key": "value"}'), '$['key']') ne serait pas efficace dans l’extraction de la valeur de "key". Toutefois, les utilisateurs pourront extraire ces clés maintenant.
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Bibliothèques Java mises à jour :
      • org.apache.avro.avro de 1.11.3 à 1.11.4
      • org.apache.avro.avro-ipc de 1.11.3 à 1.11.4
      • org.apache.avro.avro-mapred de 1.11.3 à 1.11.4
    • Annuler « [SPARK-47895][SQL] group by alias doit être idempotent » dans les versions 15.4, 16.0, 16.1, 16.2 et 16.3
    • [SPARK-50682][SQL] L’alias interne doit être canonique
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • (Changement comportemental) Pour appliquer des correctifs de sécurité critiques, la version python par défaut est mise à jour vers Python 3.11.11 à partir de Python 3.11.0rc1. Cette mise à jour peut avoir un impact sur certaines charges de travail s’exécutant sur Databricks Runtime 15.4 LTS, telles que les charges de travail qui utilisent la sérialisation Python pour stocker et restaurer l’état entre les exécutions ou les charges de travail qui épinglent à la version 3.11.0 python.
    • Bibliothèques Java mises à jour :
      • Suppression de io.starburst.openjson.openjson 1.8-e.12
      • Suppression de io.starburst.openx.data.json-serde 1.3.9-e.12
      • Suppression de io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12
    • [SPARK-47895][SQL] group by alias doit être idempotent
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation
  • 31 mars 2025
    • Pour le calcul non activé pour Photon, databricks-feature-engineering est mis à niveau vers la version 0.8.0. Pour le calcul Photon, databricks-feature-engineering reste à 0.6.0.

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50985][SS] Classifier l’erreur d’incompatibilité des décalages de timestamp Kafka au lieu d’affirmer et de lever une erreur pour le serveur manquant dans KafkaTokenProvider
    • [SPARK-50791][SQL] Correction de NPE dans la gestion des erreurs du Magasin d’états
    • [SPARK-50310][PYTHON] Améliorer les performances des colonnes lorsque DQC est désactivé
    • [SPARK-51222][SQL] Optimiser ReplaceCurrentLike
    • [SPARK-49525][SS][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de diffusion en continu côté serveur ListenerBus
    • [SPARK-51084][SQL] Affecter la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation

  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • Mises à jour de sécurité du système d’exploitation
    • Pour le calcul non activé pour Photon, mlflow-skinny est mis à niveau vers la version 2.19.0. Pour le calcul Photon, mlflow-skinny reste à 2.13.1.
  • 10 décembre 2024
    • L’instruction USE CATALOG prend désormais en charge la clause IDENTIFIER. Avec cette prise en charge, vous pouvez paramétrer le catalogue actuel en fonction d’une variable de chaîne ou d’un marqueur de paramètre.
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • Avec cette version, la taille du cache utilisée par un disque SSD dans un nœud de calcul Databricks s’étend dynamiquement à la taille initiale du disque SSD et diminue si nécessaire, jusqu’à la spark.databricks.io.cache.maxDiskUsage limite. Consultez Optimiser les performances avec la mise en cache sur Azure Databricks.
    • Le package pyodbc est mis à jour de la version 4.0.38 à la version 4.0.39. Cette modification est requise, car un bogue a été trouvé dans la version 4.0.38 et que cette version a été supprimée de PyPI.
    • [SPARK-50329][SQL] corriger InSet$toString
    • [SPARK-47435][SQL] Correction du problème de dépassement de capacité de MySQL UNSIGNED TINYINT
    • [SPARK-49757][SQL] Prendre en charge l’expression IDENTIFIER dans l’instruction SETCATALOG
    • [SPARK-50426][PYTHON] Éviter la recherche statique de source de données Python lors de l’utilisation de sources de données intégrées ou Java
    • [SPARK-48863][SQL] Correction de ClassCastException lors de l’analyse de JSON avec «spark.sql.json.enablePartialResults » activé
    • [SPARK-50310][PYTHON] Ajouter un indicateur pour désactiver DataFrameQueryContext pour PySpark
    • [15.3-15.4] [SPARK-50034][CORE] Corriger l’erreur de signalement des erreurs fatales en tant qu’exceptions non interceptées dans SparkUncaughtExceptionHandler
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Avec cette version, vous pouvez maintenant interroger la fonction vector_search à l’aide de query_text pour l’entrée de texte ou query_vector pour l’incorporation d’entrée.
    • Vous pouvez maintenant définir un délai d’expiration pour les requêtes Spark Connect à l’aide de la propriété de configuration Spark spark.databricks.execution.timeout. Pour les notebooks s’exécutant sur le calcul sans serveur, la valeur par défaut est 9000 (secondes). Les travaux exécutés sur le calcul serverless et le calcul avec le mode d’accès standard n’ont pas de délai d’expiration, sauf si cette propriété de configuration est définie. Une exécution qui dure plus longtemps que le délai d’expiration spécifié entraîne une erreur QUERY_EXECUTION_TIMEOUT_EXCEEDED.
    • [SPARK-50322][SQL] Correction de l’identificateur paramétrable dans une sous-requête
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • [SPARK-50124][SQL] LIMIT/OFFSET doit conserver l’ordre des données
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • (Changement majeur) Dans Databricks Runtime 15.4 LTS et versions ultérieures, la gestion des expressions régulières dans Photon est mise à jour afin d'aligner sur le comportement de la gestion des expressions régulières d'Apache Spark. Auparavant, les fonctions d’expression régulière exécutées par Photon, telles que split() et regexp_extract(), acceptaient certaines expressions régulières rejetées par l’analyseur Spark. Pour maintenir la cohérence avec Apache Spark, les requêtes Photon échouent désormais pour les expressions régulières que Spark considère non valides. En raison de cette modification, vous pouvez voir des erreurs si votre code Spark inclut des expressions régulières non valides. Par exemple, l’expression split(str_col, '{'), qui contient une accolade sans correspondance et qui a été précédemment acceptée par Photon, échoue désormais. Pour corriger cette expression, vous pouvez échapper au caractère d’accolades : split(str_col, '\\{'). Le comportement de Photon et Spark diffère également dans certaines correspondances d’expressions régulières de caractères non-ASCII. Ceci est également mis à jour afin que Photon corresponde au comportement d’Apache Spark.
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][PYTHON] Implémenter l'expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent OBJECT pour les objets Variant
    • [SPARK-49615] Correctif de bogue : Rendre la validation du schéma de colonne ML conforme à la configuration spark.sql.caseSensitiveSpark.
  • 22 octobre 2024
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-49867][SQL] Améliorer le message d’erreur lorsque l’index est hors limites lors de l’appel de GetColumnByOrdinal
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49443][SQL][PYTHON] Implémenter l'expression to_variant_object et faire en sorte que les expressions schema_of_variant affichent OBJECT pour les objets Variant
    • [SPARK-49615] Correctif de bogue : Rendre la validation du schéma de colonne ML conforme à la configuration spark.sql.caseSensitiveSpark.
  • 10 octobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course aux données entre l’interruption et le plan d’exécution
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49460][SQL] Suivi : corriger le risque NPE potentiel
  • 25 septembre 2024
    • [SPARK-49628][SQL] ConstantFolding doit copier l’expression avec état avant d’évaluer
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • [SPARK-49492][CONNECT] Nouvelle tentative de rattachement sur le ExecutionHolder inactif
    • [SPARK-49458][CONNECT][PYTHON] Fournir l’ID de session côté serveur via ReattachExecute
    • [SPARK-49017][SQL] L’instruction Insert échoue lorsque plusieurs paramètres sont utilisés
    • [SPARK-49451] Autorisez les clés dupliquées dans parse_json.
    • Divers correctifs de bogues.
  • 17 septembre 2024
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49526][CONNECT][HOTFIX-15.4.2] Prise en charge des chemins d’accès style Windows dans ArtifactManager
    • Rétablir « [SPARK-48482][PYTHON] dropDuplicates et dropDuplicatesWithinWatermark doivent accepter des arguments de longueur variable »
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-49366][CONNECT] Considérer le nœud Union comme une feuille dans la résolution des colonnes de dataframe
    • [SPARK-49018][SQL] Correction de approx_count_distinct qui ne fonctionne pas correctement avec le classement
    • [SPARK-49460][SQL] Supprimer cleanupResource() de EmptyRelationExec
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncation d’un message protobuf
  • 29 août 2024
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • [SPARK-48941][SPARK-48970] Corrections de rétroportage de l’enregistreur/lecteur ML
    • [SPARK-49074][SQL] Correction de la variante avec df.cache()
    • [SPARK-49263][CONNECT] Client Python Spark Connect : gérer de manière cohérente les options de lecteur de Dataframe booléen
    • [SPARK-48955][SQL] Inclure les modifications ArrayCompact dans la version 15.4
    • [SPARK-48937][SQL] Ajouter la prise en charge du classement pour les expressions de chaîne StringToMap
    • [SPARK-48929] Corriger l’erreur interne d’affichage et nettoyer le contexte d’exception de l’analyseur
    • [SPARK-49125][SQL] Autoriser les noms de colonnes dupliqués en écriture CSV
    • [SPARK-48934][SS] Types datetime Python convertis de manière incorrecte pour définir le délai d’expiration dans applyInPandasWithState
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-48981] Corriger la méthode simpleString de StringType dans pyspark pour les classements
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48725][SQL] Intégrer CollationAwareUTF8String.lowerCaseCodePoints dans des expressions de chaîne
    • [SPARK-48978][SQL] Implémentation du chemin d’accès rapide ASCII dans la prise en charge du classement pour UTF8_LCASE
    • [SPARK-49047][PYTHON][CONNECT] Tronquer le message pour la journalisation
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l’infrastructure d’erreur
    • [SPARK-48977][SQL] Optimiser la recherche de chaînes sous le classement UTF8_LCASE
    • [SPARK-48889][SS] testStream pour décharger les stores d'état avant de terminer
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • [SPARK-48954] try_mod() remplace try_remainder()
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 14.3 LTS

Consultez Databricks Runtime 14.3 LTS.

  • 10 mars 2026
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • Mises à jour de sécurité du système d’exploitation

  • 27 janvier 2026

    • Mises à jour de sécurité du système d’exploitation

  • 9 janvier 2026

    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • [SPARK-54711][PYTHON] Ajouter un délai d’expiration pour la connexion worker créée par le démon
    • Mises à jour de sécurité du système d’exploitation

  • 9 décembre 2025

    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54078][SS] Nouveau test pour StateStoreSuite SPARK-40492: maintenance before unload et suppression de l’infrastructure de l’ancien test
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 12.0.1 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • [SPARK-53568][CONNECT][PYTHON] Correction de plusieurs petits bogues dans la logique de gestion des erreurs du client Python Spark Connect
    • [SPARK-53574] Correction de l'effacement d’AnalysisContext lors de la résolution des plans imbriqués
    • Divers correctifs de bogues.
  • 16 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Correction d’un problème qui pouvait entraîner le blocage indéfini du chargeur automatique.
    • [SPARK-49872][CORE] Supprimer la limitation de longueur de chaîne JSON jackson
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.6 à 1.1.7
    • [SPARK-52482][SQL][CORE] Améliorer la gestion des exceptions pour la lecture de certains fichiers zstd endommagés
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation
  • 15 juillet 2025
    • [SPARK-52503][SQL][CONNECT] Correction drop lorsque la colonne d’entrée n’existe pas
    • Divers correctifs de bogues.
  • 1 juillet 2025
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • Prise en charge de la décompression ZStandard pour les lecteurs de sources de données de fichier (json, csv, xml et texte).
    • [SPARK-52521][SQL] Right#replacement ne doit pas accéder dynamiquement à SQLConf
    • [SPARK-52482][SQL][CORE] Prise en charge de ZStandard pour le lecteur de sources de données de fichiers
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • [SPARK-49646][SQL] corriger la décorélation des sous-requêtes pour les opérations d'union/de regroupement lorsque `parentOuterReferences` a des références non couvertes dans `collectedChildOuterReferences`
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 39.0.1 vers 39.0.1
      • platformdirs de 2.5.2, 2.6.2 vers 2.5.2
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • Ajout de pip 22.3.1
      • Ajout de setuptools 65.6.3
      • Ajout de tomli 2.0.1
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.38.4
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-tcnative-boringssl-static de 2.0.61.Final-db-r16-linux-aarch_64, 2.0.61.Final-db-r16-linux-x86_64, 2.0.61.Final-db-r16-osx-aarch_64, 2.0.61.Final-db-r16-osx-x86_64, 2.0.61.Final-db-r16-windows-x86_64 vers 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16, 2.0.61.Final-db-r16
      • io.netty.netty-transport-native-epoll de 4.1.96.Final, 4.1.96.Final-linux-aarch_64, 4.1.96.Final-linux-x86_64 vers 4.1.96.Final, 4.1.96.Final, 4.1.96.Final
      • io.netty.netty-transport-native-kqueue de 4.1.96.Final-osx-aarch_64, 4.1.96.Final-osx-x86_64 vers 4.1.96.Final, 4.1.96.Final
      • org.apache.orc.orc-core de 1.9.2-shaded-protobuf vers 1.9.2
      • org.apache.orc.orc-mapreduce de 1.9.2-shaded-protobuf vers 1.9.2
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference doit conserver l’ID de plan
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-client_2.12 de 1.1.5 à 1.1.6
    • [SPARK-51935][SQL] Corriger le comportement différé des itérateurs dans df.collect() interprété
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • Mises à jour de sécurité du système d’exploitation

  • 9 avril 2025

    • [Changement de comportement] Les opérations de vide effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de Databricks Runtime incompatibles.
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation

  • 11 mars 2025

    • Databricks Runtime 14.3 LTS et versions ultérieures incluent un correctif pour un problème qui provoquait des incompatibilités binaires avec du code qui a instancié une classe SparkListenerApplicationEnd et qui a été compilé avec Apache Spark. Cette incompatibilité a entraîné la fusion de SPARK-46399 dans Apache Spark. Cette fusion inclut une modification qui a ajouté un argument par défaut au SparkListenerApplicationEnd constructeur. Pour restaurer la compatibilité binaire, ce correctif ajoute un constructeur d’argument unique à la SparkListenerApplicationEnd classe.
    • [SPARK-50791][SQL] Correction de NPE dans la gestion des erreurs du Magasin d’états
    • [SPARK-50705][SQL] Rendre QueryPlan le verrou libre
    • [SPARK-49525][SS][CONNECT] Amélioration mineure des journaux de l’écouteur de requête de diffusion en continu côté serveur ListenerBus
    • Mises à jour de sécurité du système d’exploitation

  • 11 février 2025

    • Cette version inclut un correctif pour un problème affectant la conversion de certains types de données lors de la sérialisation de colonnes de données XML sauvées. Les types de données affectés sont des dates, des horodatages non NTZ et des décimales lorsqu’ils prefersDecimal sont activés. Pour en savoir plus sur la colonne de données sauvées, consultez Qu’est-ce que la colonne de données sauvée ?.
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • [SPARK-51084][SQL] Affecter la classe d’erreur appropriée pour negativeScaleNotAllowedError
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Cette version inclut un correctif pour un problème qui peut entraîner la suppression de la clé primaire d’une table Delta dans certains cas limites liés au compactage automatique en arrière-plan.
    • [SPARK-50329][SQL] corriger InSet$toString
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [SPARK-49863][SQL] Corriger NormalizeFloatingNumbers pour préserver la nullabilité des structures imbriquées
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • [SPARK-46632][SQL] Correction de l’élimination de sous-expression lorsque des expressions ternaires équivalentes ont des enfants différents
    • [SPARK-49782][SQL] La règle ResolveDataFrameDropColumns résout UnresolvedAttribute avec la sortie enfant
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49829] Réviser l’optimisation de l’ajout d’entrée au magasin d’états dans la jointure de flux-flux (correction de l’exactitude)
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • [BACKPORT] [SPARK-49474][SS] Classifier la classe Error pour l’erreur de fonction utilisateur FlatMapGroupsWithState
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
    • [SPARK-49688][CONNECT] Corriger une course aux données entre l’interruption et le plan d’exécution
  • 25 septembre 2024
    • [SPARK-48810][CONNECT] L’API d’arrêt de session doit être idempotente et ne pas échouer si la session est déjà fermée par le serveur
    • [SPARK-48719][SQL] Correction du bogue de calcul de « RegrS...
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • [SPARK-49628][SQL] ConstantFolding doit copier l’expression avec état avant d’évaluer
    • [SPARK-49492][CONNECT] Nouvelle tentative de rattachement sur le ExecutionHolder inactif
    • Mises à jour de sécurité du système d’exploitation
  • 17 septembre 2024
    • [SPARK-49336][CONNECT] Limiter le niveau d’imbrication lors de la troncation d’un message protobuf
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • [SPARK-49526][CONNECT] Prise en charge des chemins d’accès de style Windows dans ArtifactManager
    • [SPARK-49409][CONNECT] Ajustez la valeur par défaut de CONNECT_SESSION_PLAN_CACHE_SIZE
    • [SPARK-49366][CONNECT] Considérer le nœud Union comme une feuille dans la résolution des colonnes de dataframe
  • 29 août 2024
    • [SPARK-49146][SS] Déplacer les erreurs d’assertion liées au filigrane manquant dans les requêtes de streaming en mode Ajout vers l’infrastructure d’erreur
    • [SPARK-48862][PYTHON][CONNECT] Éviter d’appeler _proto_to_string lorsque le niveau INFO n’est pas activé
    • [SPARK-49263][CONNECT] Client Python Spark Connect : gérer de manière cohérente les options de lecteur de Dataframe booléen
  • 14 août 2024
    • [SPARK-48941][SPARK-48970] Corrections de rétroportage de l’enregistreur/lecteur ML
    • [SPARK-48706][PYTHON] L’UDF Python dans les fonctions d’ordre supérieur ne doit pas lever d’erreur interne
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48934][SS] Types datetime Python convertis de manière incorrecte pour définir le délai d’expiration dans applyInPandasWithState
  • 1er août 2024
    • Cette version inclut un correctif de bogue pour les classes ColumnVector et ColumnarArray de l’interface Java Spark. Avant ce correctif, une ArrayIndexOutOfBoundsException pouvait être levée, ou des données incorrectes pouvaient être renvoyées lorsqu’une instance de l’une de ces classes contenait des valeurs null.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • Sur le calcul configuré avec le mode d’accès partagé, les lectures et écritures par lots Kafka sont désormais soumis aux mêmes limitations que celles documentées pour Structured Streaming. Consultez les limitations de streaming.
    • La sortie d’une instruction SHOW CREATE TABLE inclut désormais tous les filtres de lignes ou masques de colonne définis sur une vue matérialisée ou une table de diffusion en continu. Voir SHOW CREATE TABLE. Pour en savoir plus sur les filtres de lignes et les masques de colonne, consultez filtres de lignes et masques de colonne.
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48889][SS] testStream pour décharger les stores d'état avant de terminer
    • [SPARK-48705][PYTHON] Utiliser explicitement worker_main lorsqu’il commence par pyspark
    • [SPARK-48047][SQL] Réduire la sollicitation de la mémoire des balises TreeNode vides
    • [SPARK-48544][SQL] Réduire la sollicitation de la mémoire des bitSets TreeNode vides
    • [SPARK-46957][CORE] Le déclassement des fichiers aléatoires migrés doit être en mesure de nettoyer à partir de l’exécuteur
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • [SPARK-47202][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
    • [SPARK-47713][SQL][CONNECT] Corriger un échec de jointure automatique
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • Le pilote JDBC Snowflake est mis à jour à la version 3.16.1.
    • Cette version inclut un correctif à un problème qui empêchait l’affichage correct de l’onglet Environnement de l’interface utilisateur Spark lors de l’exécution dans Databricks Container Services.
    • Sur le calcul serverless pour les notebooks et les travaux, le mode SQL ANSI est activé par défaut. Consultez les paramètres de configuration Spark pris en charge.
    • Pour ignorer les partitions non valides lors de la lecture des données, des sources de données basées sur des fichiers, telles que Parquet, ORC, CSV ou JSON, peuvent définir l’option de source de données ignoreInvalidPartitionPaths sur true. Par exemple : spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…). Vous pouvez également utiliser la configuration SQL spark.sql.files.ignoreInvalidPartitionPaths. Toutefois, l’option de source de données est prioritaire sur la configuration SQL. Ce paramètre est false par défaut.
    • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags est correctement threadlocal
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données de streaming
    • [SPARK-48383][SS] Générer une meilleure erreur pour les partitions décohérentes dans l'option 'startOffset' de Kafka.
    • [SPARK-48503][SQL] Correction des sous-requêtes scalaires non valides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées.
    • [SPARK-48100][SQL] Résoudre les problèmes liés à l’ignorer des champs de structure imbriqués non sélectionnés dans le schéma
    • [SPARK-48273][SQL] Correction de la réécriture tardive de PlanWithUnresolvedIdentifier
    • [SPARK-48252][SQL] Update CommonExpressionRef si nécessaire
    • [SPARK-48475][PYTHON] Optimisez _get_jvm_function dans PySpark.
    • [SPARK-48292][CORE] Rétablissement de[SPARK-39195][SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • applyInPandasWithState() est disponible sur le calcul avec le mode d’accès standard.
    • Corrige un bogue dans lequel l’optimisation de la fenêtre de classement à l’aide de Photon TopK a mal géré les partitions avec des structs.
    • [SPARK-48310][PYTHON][CONNECT] Les propriétés mises en cache doivent retourner des copies
    • [SPARK-48276][PYTHON][CONNECT] Ajouter la méthode manquante __repr__ pour SQLExpression
    • [SPARK-48294][SQL] Gestion des minuscules dans nestedTypeMissingElementTypeError
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • (Modification du comportement) dbutils.widgets.getAll() est désormais pris en charge pour obtenir toutes les valeurs de widget dans un bloc-notes.
    • Correction d’un bogue dans la fonction try_divide() où les entrées contenant des décimales ont entraîné des exceptions inattendues.
    • [SPARK-48056][CONNECT][PYTHON] Réexécutez le plan si une erreur de SESSION_NOT_FOUND est déclenchée et qu’aucune réponse partielle n’a été reçue
    • [SPARK-48146][SQL] Corriger la fonction d’agrégation dans l’assertion enfant d’expression With
    • [SPARK-47986][CONNECT][PYTHON] Impossible de créer une session lorsque la session par défaut est fermée par le serveur
    • [SPARK-48180][SQL] Améliorer l’erreur lorsque l’appel UDTF avec l’argument TABLE oublie les parenthèses autour de plusieurs expressions PARTITION/ORDER BY
    • [SPARK-48016][SQL] Correction d’un bogue dans try_divide fonction lorsqu’il s’agit de décimales
    • [SPARK-48197][SQL] Éviter l’erreur d’assertion pour la fonction lambda non valide
    • [SPARK-47994][SQL] Corriger un bogue de CASSE avec le filtre de colonne dans SQLServer
    • [SPARK-48173][SQL] CheckAnalysis doit voir l’intégralité du plan de requête
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • (Modification du comportement) applyInPandas et mapInPandas les types UDF sont désormais pris en charge sur le calcul en mode d’accès partagé exécutant Databricks Runtime 14.3 LTS et versions ultérieures.
    • [SPARK-47739][SQL] Inscrire le type avro logique
    • [SPARK-47941] [SS] [Connect] Propager aux utilisateurs les erreurs d'initialisation du worker ForeachBatch pour PySpark
    • [SPARK-48010][SQL] Éviter les appels répétés à conf.resolver dans resolveExpression
    • [SPARK-48044][PYTHON][CONNECT] Cache DataFrame.isStreaming
    • [SPARK-47956][SQL] Vérification de validité pour une référence LCA non résolue
    • [SPARK-47543][CONNECT][PYTHON] Déduire dict comme Mapype à partir de Pandas DataFrame pour permettre la création de DataFrame
    • [SPARK-47819][CONNECT][Cherry-pick-14.3] Utilisation du rappel asynchrone pour le nettoyage de l’exécution
    • [SPARK-47764][CORE][SQL] Nettoyage des dépendances de shuffle basé sur ShuffleCleanupMode
    • [SPARK-48018][SS] Correction de groupId null à l’origine d’une erreur de paramètre manquant avec levée de KafkaException.couldNotReadOffsetRange
    • [SPARK-47839][SQL] Correction du bogue d’agrégation dans RewriteWithExpression
    • [SPARK-47371] [SQL] XML : Ignorer les balises de ligne trouvées dans CDATA
    • [SPARK-47895][SQL] GROUP BY ALL doit être idempotent
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • [SPARK-47543][CONNECT][PYTHON] Inférence de dict à MapType à partir d'un DataFrame Pandas pour permettre la création de DataFrame
    • [SPARK-47694][CONNECT] Rendre la taille maximale des messages configurable côté client
    • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] Valider le nom de colonne avec le schéma mis en cache
    • [SPARK-47862][PYTHON][CONNECT]Corriger la génération de fichiers proto
    • Rétablir “[SPARK-47543][CONNECT][PYTHON] Déduire dict comme MapType à partir de Pandas DataFrame pour permettre la création de DataFrame”
    • [SPARK-47704][SQL] L’analyse JSON échoue avec « java.lang.ClassCastException » quand spark.sql.json.enablePartialResults est activé
    • [SPARK-47812][CONNECT] Prendre en charge la sérialisation de SparkSession pour le Worker ForEachBatch
    • [SPARK-47818][CONNECT][Cherry-pick-14.3] Introduire le cache de plan dans SparkConnectPlanner pour améliorer les performances des requêtes d’analyse
    • [SPARK-47828][CONNECT][PYTHON] DataFrameWriterV2.overwrite échoue avec un plan non valide
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2024
    • (Modification du comportement) Pour garantir un comportement cohérent entre les types de calcul, les UDF PySpark sur les systèmes utilisant le mode d’accès standard se comportent désormais de la même manière que sur les clusters sans isolation et affectés. Cette mise à jour inclut les modifications suivantes susceptibles d’interrompre le code existant :
      • Les fonctions définies par l’utilisateur avec un type de retour string ne convertissent plus implicitement les valeurs non string en valeurs string. Auparavant, les fonctions définies par l’utilisateur avec un type de retour str encapsulaient la valeur de retour avec une fonction str(), quel que soit le type de données réel de la valeur renvoyée.
      • Les fonctions définies par l’utilisateur avec des types de retour timestamp n’appliquent plus implicitement de conversion de timestamp avec timezone.
      • Les configurations spark.databricks.sql.externalUDF.* de cluster Spark ne s’appliquent plus aux fonctions définies par l’utilisateur PySpark sur le calcul avec le mode d’accès standard.
      • La configuration du cluster Spark spark.databricks.safespark.externalUDF.plan.limit n’affecte plus les fonctions définies par l’utilisateur PySpark, supprimant ainsi la limitation de la préversion publique de 5 fonctions définies par l’utilisateur par requête pour les fonctions définies par l’utilisateur PySpark.
      • La configuration spark.databricks.safespark.sandbox.size.default.mib du cluster Spark ne s’applique plus aux UDF PySpark sur le calcul avec le mode d’accès standard. Au lieu de cela, la mémoire disponible sur le système est utilisée. Pour limiter la mémoire des fonctions définies par l’utilisateur PySpark, utilisez spark.databricks.pyspark.udf.isolation.memoryLimit avec une valeur minimale de 100m.
    • Le type de données TimestampNTZ est désormais pris en charge en tant que colonne de clustering avec clustering liquide. Consultez Utilisation de Liquid Clustering pour les tables.
    • [SPARK-47511][SQL] Normaliser les expressions With en réattribuant des identifiants
    • [SPARK-47509][SQL] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • [SPARK-46990][SQL] Correction du chargement des fichiers Avro vides émis par event-hubs
    • [SPARK-47638][PS][CONNECT] Ignorer la validation du nom de colonne dans PS
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • [SPARK-47135][SS] Implémenter des classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47176][SQL] Avoir une fonction d’assistance ResolveAllExpressionsUpWithPruning
    • [SPARK-47145][SQL] Passer l’identificateur de table à l’exécution de l’analyse de la source de données des lignes pour la stratégie V2.
    • [SPARK-47044][SQL] Ajouter une requête exécutée pour les sources de données externes JDBC pour expliquer la sortie
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • [SPARK-47070] Corriger l’agrégation non valide après la réécriture de la sous-requête
    • [SPARK-47121][CORE] Éviter RejectedExecutionExceptions lors de l’arrêt de StandaloneSchedulerBackend
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • [SPARK-47125][SQL] Retourne la valeur Null si Univocity ne déclenche jamais l’analyse
    • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier doit inclure d’autres expressions dans l’arborescence d’expressions
    • [SPARK-47129][CONNECT][SQL] Faire en sorte que le cache ResolveRelations se connecte au plan correctement
    • [SPARK-47241][SQL] Résoudre les problèmes d’ordre des règles pour ExtractGenerator
    • [SPARK-47035][SS][CONNECT] Protocole pour auditeur Client-Side
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • [SPARK-47071][SQL] Inline Avec expression si elle contient une expression spéciale
    • [SPARK-47059][SQL] Attacher le contexte d’erreur pour la commande ALTER COLUMN v1
    • [SPARK-46993][SQL] Correction du pliage constant pour les variables de session
    • Mises à jour de sécurité du système d’exploitation
  • 3 janvier 2024
    • [SPARK-46933] Ajoutez la métrique de temps d’exécution de requête aux connecteurs qui utilisent JDBCRDD.
    • [SPARK-46763] Correction de l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • [SPARK-46954] XML : encapsuler InputStreamReader avec BufferedReader.
    • [SPARK-46655] Ignorez la capture du contexte de requête dans les DataFrame méthodes.
    • [SPARK-44815] Cache df.schema pour éviter un appel de procédure distante (RPC) supplémentaire.
    • [SPARK-46952] XML : Limitez la taille de l’enregistrement endommagé.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46736] conserver le champ de message vide dans le connecteur protobuf.
    • [SPARK-45182] Ignorer l’achèvement de la tâche de l’ancienne étape après avoir réessayé l’étape parentale indéterminée telle que déterminée par la somme de contrôle.
    • [SPARK-46414] Utilisez prependBaseUri pour afficher les importations javascript.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46954] XML : Optimiser la recherche d’index de schéma.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46644] Modifiez l’ajout et la fusion dans SQLMetric pour utiliser isZero.
    • [SPARK-46731] Gérer l’instance du fournisseur de magasin d’état par source de données d’état – lecteur.
    • [SPARK-46677] Corrigez la dataframe["*"] résolution.
    • [SPARK-46610] Créer une table doit lancer une exception lorsqu'il n'y a pas de valeur pour une clé dans les options.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • [SPARK-45433] Correction de l'inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au format d'horodatage spécifié.
    • [SPARK-46930] Ajoutez la prise en charge d’un préfixe personnalisé pour les champs de type Union dans Avro.
    • [SPARK-46227] Retour vers la version 14.3.
    • [SPARK-46822] Respectez spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 13.3 LTS

Consultez Databricks Runtime 13.3 LTS.

  • 10 mars 2026
    • [SPARK-55701]ES-1694761[SS] Correction de la condition de course dans CompactibleFileStreamLog.allFiles
    • [SPARK-55111][SS] Revérifier la détection de repartitionnement non terminée lors du redémarrage de la requête
    • Mises à jour de sécurité du système d’exploitation

  • 26 février 2026

    • Mises à jour de sécurité du système d’exploitation

  • 19 février 2026

    • Rétablir [SPARK-55111][SS] Détection de repartitionnement non terminée lors du redémarrage de la requête
    • [SPARK-55111][SS] Détection de repartitionnement non terminée lors du redémarrage de la requête
    • Mises à jour de sécurité du système d’exploitation
  • 27 janvier 2026
    • Mises à jour de sécurité du système d’exploitation
  • 9 janvier 2026
    • Les tables Delta partitionnées auront des colonnes de partition matérialisées dans des fichiers Parquet de données à l’avenir. Cela permet une meilleure synergie avec la façon dont les tables Iceberg et UniForm sont gérées et augmente la compatibilité avec les lecteurs externes non Delta.
    • Mises à jour de sécurité du système d’exploitation
  • 9 décembre 2025
    • [SPARK-54180][SQL] Redéfinir la méthode toString de BinaryFileFormat
    • [SPARK-52579][PYTHON] Définir un vidage de trace périodique pour les processus Python
    • Mises à jour de sécurité du système d’exploitation
  • 18 novembre 2025
    • [SPARK-54047][PYTHON] Utiliser une erreur de différence lors de l’expiration du délai d’inactivité
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2025
    • Bibliothèques R mises à jour :
      • flèche de 10.0.1 à 21.0.0
    • Mises à jour de sécurité du système d’exploitation
  • 21 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 7 octobre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 24 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 9 septembre 2025
    • Mises à jour de sécurité du système d’exploitation
  • 26 août 2025
    • Bibliothèques Java mises à jour :
      • io.delta.delta-sharing-spark_2.12 de 0.7.12 à 0.7.13
    • Mises à jour de sécurité du système d’exploitation
  • 14 août 2025
    • Mises à jour de sécurité du système d’exploitation
  • 29 juillet 2025
    • Mises à jour de sécurité du système d’exploitation

  • 15 juillet 2025

    • Mises à jour de sécurité du système d’exploitation

  • 1er juillet 2025

    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2025
    • Correction de la limitation selon laquelle la fonction table de valeur (TVF) cloud_files_state ne peut pas être utilisée pour lire l’état au niveau du fichier des tables de streaming entre les pipelines.
    • Mises à jour de sécurité du système d’exploitation
  • 3 juin 2025
    • Bibliothèques Python mises à jour :
      • cryptography de 3.4.8, 37.0.1 vers 37.0.1
      • platformdirs de 2.5.2, 2.6.2 vers 2.5.2
      • pyparsing de 2.4.7, 3.0.9 vers 3.0.9
      • Ajout de pip 22.2.2
      • Ajout de setuptools 63.4.1
      • Ajout de tomli 2.0.1
      • Ajout de wcwidth 0.2.5
      • Ajout de wheel 0.37.1
      • Suppression de la distribution 1.7.0
      • Suppression de distro-info 1.1+ubuntu0.2
      • Suppression de python-apt 2.4.0+ubuntu4
    • Bibliothèques Java mises à jour :
      • com.github.fommil.netlib.native_ref-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.native_system-java de 1.1, 1.1-natives vers 1.1, 1.1
      • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 de 1.1-natives vers 1.1
      • com.github.fommil.netlib.netlib-native_system-linux-x86_64 de 1.1-natives vers 1.1
      • io.netty.netty-transport-native-epoll de 4.1.87.Final, 4.1.87.Final-linux-aarch_64, 4.1.87.Final-linux-x86_64 vers 4.1.87.Final, 4.1.87.Final, 4.1.87.Final
      • io.netty.netty-transport-native-kqueue de 4.1.87.Final-osx-aarch_64, 4.1.87.Final-osx-x86_64 vers 4.1.87.Final, 4.1.87.Final
      • org.apache.orc.orc-core de 1.8.4-shaded-protobuf vers 1.8.4
      • org.apache.orc.orc-mapreduce de 1.8.4-shaded-protobuf vers 1.8.4
      • software.amazon.cryptools.AmazonCorrettoCryptoProvider de 1.6.1-linux-x86_64 à 1.6.1
    • [SPARK-52159][SQL] Gérer correctement la vérification de l’existence de la table pour les dialectes jdbc
    • Mises à jour de sécurité du système d’exploitation
  • 20 mai 2025
    • Bibliothèques Java mises à jour :
      • io.delta.sharing-spark_2.12 de 0.7.11 à 0.7.12
    • Mises à jour de sécurité du système d’exploitation
  • 22 avril 2025
    • [Changement de comportement] Les opérations de vide effectuent désormais des vérifications de protocole Writer similaires à d’autres opérations, ce qui empêche les nettoyages inattendus sur les tables avec des fonctionnalités plus récentes lorsqu’elles sont exécutées à partir d’anciennes versions de Databricks Runtime incompatibles.
    • Mises à jour de sécurité du système d’exploitation
  • 9 avril 2025
    • [SPARK-51624][SQL] Propager les métadonnées de GetStructField dans le type de données CreateNamedStruct.
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025
    • [SPARK-50492][SS] Correction de java.util.NoSuchElementException lorsque la colonne d’heure de l’événement est supprimée après dropDuplicatesWithinWatermark
    • [SPARK-45915][SQL] Traiter les décimales (x, 0) identiques à IntegralType dans PromoteStrings
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • [SPARK-49615] [ML] Rendre la validation du schéma des jeux de données de tous les transformateurs de fonctionnalités ML conforme au paramètre « spark.sql.caseSensitive ».
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • [SPARK-48843] Empêcher une boucle infinie avec BindParameters
    • [BACKPORT] [SPARK-49326][SS] Classer une classe d’erreur pour l’erreur de fonction utilisateur du récepteur Foreach
    • [SPARK-49905] Utiliser ShuffleOrigin dédié pour l’opérateur avec état pour empêcher la modification du shuffle à partir d’AQE
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • [SPARK-49743][SQL] OptimizeCsvJsonExpr ne doit pas modifier les champs de schéma lors de la réduction de GetArrayStructFields
  • 25 septembre 2024
    • [SPARK-46601] [CORE] Correction de l’erreur de journal dans handleStatusMessage
    • [SPARK-48719][SQL] Correction du bogue de calcul de RegrSlope &RegrIntercept lorsque le premier paramètre est null
    • [SPARK-43242][CORE] Correction de l’erreur « Type inattendu de BlockId » dans le diagnostic de corruption du shuffle
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • Mises à jour de sécurité du système d’exploitation
  • 17 septembre 2024
    • [SPARK-49526][CONNECT] Prise en charge des chemins d’accès de style Windows dans ArtifactManager
    • [SPARK-48463][ML] Faire en sorte que Binarizer, Bucketizer, Vector Assembleur, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor prennent en charge les colonnes d’entrée imbriquées
    • Mises à jour de sécurité du système d’exploitation
  • 29 août 2024
  • 14 août 2024
    • [SPARK-49056][SQL] ErrorClassesJsonReader ne peut pas gérer correctement null
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
    • [SPARK-48597][SQL] Introduire un marqueur pour la propriété isStreaming dans la représentation textuelle du plan logique
  • 1er août 2024
    • Cette version inclut un correctif de bogue pour les classes ColumnVector et ColumnarArray de l’interface Java Spark. Avant ce correctif, une ArrayIndexOutOfBoundsException pouvait être levée, ou des données incorrectes pouvaient être renvoyées lorsqu’une instance de l’une de ces classes contenait des valeurs null.
    • [SPARK-47202][PYTHON] Correction des datetimes de rupture de typo avec tzinfo
    • [SPARK-48896][SPARK-48909][SPARK-48883] Corrections de rétroportage de l’enregistreur ML Spark
    • [SPARK-48463] Faire en sorte que StringIndexer supporte les colonnes d’entrée imbriquées
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • (Modification du comportement) Les DataFrames mis en cache sur les sources de table Delta sont désormais invalidés si la table source est remplacée. Cette modification signifie que toutes les modifications d’état apportées aux tables Delta invalident désormais les résultats mis en cache. Utilisez .checkpoint() pour conserver un état de table tout au long de la durée de vie d’un DataFrame.
    • Cette version inclut un correctif à un problème qui empêchait l’affichage correct de l’onglet Environnement de l’interface utilisateur Spark lors de l’exécution dans Databricks Container Services.
    • [SPARK-48383][SS] Générer une meilleure erreur pour les partitions décohérentes dans l'option 'startOffset' de Kafka.
    • [SPARK-48292][CORE] Rétablissement de[SPARK-39195][SQL] Spark OutputCommitCoordinator doit abandonner l’étape lorsque le fichier validé n’est pas cohérent avec l’état de la tâche
    • [SPARK-48503][SQL] Correction des sous-requêtes scalaires non valides avec group-by sur des colonnes non équivalentes qui ont été incorrectement autorisées.
    • [SPARK-48481][SQL][SS] Ne pas appliquer OptimizeOneRowPlan à un jeu de données de streaming
    • [SPARK-48475][PYTHON] Optimisez _get_jvm_function dans PySpark.
    • [SPARK-48273][SQL] Correction de la réécriture tardive de PlanWithUnresolvedIdentifier
    • [SPARK-48445][SQL] Ne pas intégrer les UDF (fonctions définies par l’utilisateur) avec des composants enfants coûteux
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • [SPARK-48277] Améliorer le message d’erreur pour ErrorClassesJsonReader.getErrorMessage
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • (Modification du comportement) dbutils.widgets.getAll() est désormais pris en charge pour obtenir toutes les valeurs de widget dans un bloc-notes.
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • [SPARK-47994][SQL] Corriger un bogue de CASSE avec le filtre de colonne dans SQLServer
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • [SPARK-47956][SQL] Vérification de validité pour une référence LCA non résolue
    • [SPARK-46822][SQL] Respectez spark.sql.legacy.charVarcharAsString lors de la conversion du type jdbc en type catalyseur dans jdbc
    • [SPARK-47895][SQL] GROUP BY ALL doit être idempotent
    • [SPARK-48018][SS] Correction de groupId null à l’origine d’une erreur de paramètre manquant avec levée de KafkaException.couldNotReadOffsetRange
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • [SPARK-44653][SQL] Les unions de DataFrame non triviales ne doivent pas interrompre la mise en cache
    • Divers correctifs de bogues.
  • 11 avril 2024
    • [SPARK-47509][SQL] Bloquer les expressions de sous-requête dans les fonctions lambda et d’ordre supérieur
    • Mises à jour de sécurité du système d’exploitation
  • 1er avril 2024
    • [SPARK-47385] Correction des encodeurs tuples avec les entrées Option.
    • [SPARK-38708][SQL] Mettre à niveau le client metastore Hive vers la version 3.1.3 pour Hive 3.1
    • [SPARK-47200][SS] Classe d’erreurs pour l’erreur de transaction de fonction utilisateur par lot Foreach
    • [SPARK-47368][SQL] Supprimer le contrôle de configuration inferTimestampNTZ dans ParquetRowConverter
    • [SPARK-44252][SS] Définir une nouvelle classe d’erreur et appliquer pour le cas où l’état de chargement à partir de DFS échoue
    • [SPARK-47135][SS] Implémenter des classes d’erreur pour les exceptions de perte de données Kafka
    • [SPARK-47300][SQL] L’indicateur entre guillemets quoteIfNeeded doit commencer par des chiffres
    • [SPARK-47305][SQL] Correction de PruneFilters pour étiqueter correctement l’indicateur isStreaming de LocalRelation lorsque le plan présente à la fois Lot et En continu
    • [SPARK-47070] Corriger l’agrégation non valide après la réécriture de la sous-requête
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • [SPARK-47145][SQL] Passer l’identificateur de table à l’exécution de l’analyse de la source de données des lignes pour la stratégie V2.
    • [SPARK-47167][SQL] Ajouter une classe concrète pour la relation anonyme JDBC
    • [SPARK-47176][SQL] Avoir une fonction d’assistance ResolveAllExpressionsUpWithPruning
    • [SPARK-47044][SQL] Ajouter une requête exécutée pour les sources de données externes JDBC pour expliquer la sortie
    • [SPARK-47125][SQL] Retourne la valeur Null si Univocity ne déclenche jamais l’analyse
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • La création d’un schéma avec un emplacement défini nécessite désormais que l’utilisateur dispose de privilèges SELECT et MODIFY sur ANY FILE.
    • Mises à jour de sécurité du système d’exploitation
  • 8 février 2024
    • Les requêtes de flux des changements de données (CDF) sur les vues matérialisées du catalogue Unity ne sont pas prises en charge et la tentative d’exécution d’une requête CDF avec une vue matérialisée Unity Catalog retourne une erreur. Les tables de streaming Unity Catalog prennent en charge les requêtes CDF sur des tables CDC non automatiques dans Databricks Runtime 14.1 et versions ultérieures. Les requêtes CDF ne sont pas prises en charge avec les tables de streaming du catalogue Unity dans Databricks Runtime 14.0 et versions antérieures.
    • [SPARK-46794] Supprimez les sous-requêtes des contraintes LogicalRDD.
    • [SPARK-46933] Ajoutez la métrique de temps d’exécution de requête aux connecteurs qui utilisent JDBCRDD.
    • [SPARK-45582] Impossibilité d’utiliser l’instance de magasin après un appel de commit dans l’agrégation de diffusion en continu en mode sortie.
    • [SPARK-46396] L’inférence de l’horodatage ne doit pas lever d’exception.
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • [SPARK-46941] Impossible d’insérer un nœud de limite de groupe de fenêtres pour le calcul top-k s’il contient SizeBasedWindowFunction.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • [SPARK-46610] Créer une table doit lancer une exception lorsqu'il n'y a pas de valeur pour une clé dans les options.
    • [SPARK-46383] Réduire l’utilisation du tas de pilotes en réduisant la durée de vie de TaskInfo.accumulables().
    • [SPARK-46600] Déplacer du code partagé entre SqlConf et SqlApiConf vers SqlApiConfHelper.
    • [SPARK-46676] dropDuplicatesWithinWatermark ne doit pas échouer lors de la canonisation du plan.
    • [SPARK-46763] Correction de l’échec d’assertion dans ReplaceDeduplicateWithAggregate pour les attributs dupliqués.
    • Mises à jour de sécurité du système d’exploitation
  • 17 janvier 2024
    • Le nœud shuffle du plan d’explication retourné par une requête Photon est mis à jour pour ajouter l’indicateur causedBroadcastJoinBuildOOM=true quand une erreur de mémoire insuffisante se produit pendant une lecture aléatoire qui fait partie d’une jointure de diffusion.
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajoutez un indicateur distinct pour privateKeyPassword.
    • [SPARK-46173] Appel de trimAll ignoré lors de l’analyse des dates.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46370] Corrigez le bogue lors de l’interrogation à partir d’une table après avoir modifié les valeurs par défaut des colonnes.
    • [SPARK-46609] Évitez l’explosion exponentielle dans PartitioningPreservingUnaryExecNode.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
    • [SPARK-46602] Propager allowExisting lors de la création d'une vue lorsque la vue/la table n'existe pas.
    • [SPARK-46249] Exiger un verrou d’instance pour acquérir des métriques RocksDB pour empêcher la concurrence avec les opérations en arrière-plan.
    • [SPARK-46417] Plus d’échec lors de l’appel de hive.getTable et quand throwException a la valeur false.
    • [SPARK-46538] Résolution du problème de référence de colonne ambiguë dans ALSModel.transform.
    • [SPARK-46478] Inversion de SPARK-43049 pour utiliser varchar(255) d’Oracle pour la chaîne.
    • [SPARK-46250] Réalisation d’une opération « deflake » sur test_parity_listener.
    • [SPARK-46394] Résolution des problèmes de spark.catalog.listDatabases() sur les schémas avec des caractères spéciaux quand spark.sql.legacy.keepCommandOutputSchema est défini sur true.
    • [SPARK-46056] Correction du NPE de la lecture vectorisée Parquet avec la valeur par défaut byteArrayDecimalType.
    • [SPARK-46145] spark.catalog.listTables ne lève pas d’exception lorsque la table ou la vue est introuvable.
    • [SPARK-46466] Le lecteur Parquet vectorisé ne doit jamais rebaser pour timestamp ntz.
  • 14 décembre 2023
    • Correction d’un problème où les traits de soulignement en échappement dans les opérations getColumns provenant de clients JDBC ou ODBC étaient gérés incorrectement et interprétés comme des caractères génériques.
    • [SPARK-45920] Le regroupement par un ordinal doit être idempotent.
    • [SPARK-44582] Itérateur ignoré sur SMJ s’il a été nettoyé.
    • [SPARK-45433] Correction de l'inférence de schéma CSV/JSON lorsque les horodatages ne correspondent pas au format d'horodatage spécifié.
    • [SPARK-45655] Autoriser les expressions non déterministes dans AggregateFunctions dans CollectMetrics.
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • Le connecteur Spark-snowflake a été mis à niveau vers la version 2.12.0.
    • [SPARK-44846] Suppression d’expressions de regroupement complexes après RemoveRedundantAggregates.
    • [SPARK-45544] Support SSL intégré à TransportContext.
    • [SPARK-45892] Refactorisation de la validation du plan d’optimiseur pour dissocier validateSchemaOutput et validateExprIdUniqueness.
    • [SPARK-45730] Amélioration des contraintes de temps pour ReloadingX509TrustManagerSuite.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • Mises à jour de sécurité du système d’exploitation
  • 10 novembre 2023
    • Les filtres de partition sur les requêtes de streaming de Delta Lake font désormais l’objet d’un pushdown avant la limitation de débit pour avoir une meilleure utilisation.
    • Requêtes de flux de données modifiées sur les tables de streaming du catalogue Unity et les vues matérialisées pour afficher les messages d’erreur.
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45584] Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45427] Ajout des paramètres RPC SSL à SSLOptions et SparkTransportConf.
    • [SPARK-45541] Ajout SSLFactory.
    • [SPARK-45430]FramelessOffsetWindowFunction ne échoue plus quand IGNORE NULLS et offset > rowCount.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-44219] Ajout de validations supplémentaires par règle pour les réécritures d’optimisation.
    • [SPARK-45543] Correction d’un problème où InferWindowGroupLimit posait un problème lorsque les autres fonctions de fenêtre n’avaient pas le même cadre de fenêtre que les fonctions de classement.
    • Mises à jour de sécurité du système d’exploitation
  • 23 octobre 2023
    • [SPARK-45256] Correction d’un problème d’échec lors DurationWriter de l’écriture de plus de valeurs que la capacité initiale.
    • [SPARK-45419] Évitez de réutiliser des rocksdb sst fichiers dans une autre rocksdb instance en supprimant les entrées de mappage de versions de fichiers des versions ultérieures.
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Correctifs divers.
  • 13 octobre 2023
    • La dépendance Snowflake-jdbc a été mise à niveau de 3.13.29 à 3.13.33.
    • La fonction array_insert est basée sur 1 pour les index positifs et négatifs, alors qu’avant, elle était basée sur 0 pour les index négatifs. Il insère désormais un nouvel élément à la fin des tableaux d’entrée pour l’index -1. Pour restaurer le comportement précédent, affectez à spark.sql.legacy.negativeIndexInArrayInsert la valeur true.
    • Correction d’un problème relatif au fait de ne pas ignorer les fichiers endommagés lorsque ignoreCorruptFiles est activé pendant l’inférence de schéma CSV avec le chargeur automatique.
    • Rétablir « [SPARK-42946] ».
    • [SPARK-42205] Mise à jour du protocole JSON pour supprimer la journalisation des accumulables dans une tâche ou des événements de démarrage d’étape.
    • [SPARK-45178] Retourner pour exécuter un lot unique pour Trigger.AvailableNow avec des sources non prises en charge plutôt que d’utiliser le wrapper.
    • [SPARK-45316] Ajoutez de nouveaux paramètres ignoreCorruptFiles et ignoreMissingFiles à HadoopRDD et NewHadoopRDD.
    • [SPARK-44740] Correction des valeurs de métadonnées pour Artifacts.
    • [SPARK-45360] Configuration du générateur de sessions Spark initialisée à partir de SPARK_REMOTE.
    • [SPARK-44551] Commentaires modifiés pour être synchronisés avec OSS.
    • [SPARK-45346] L’inférence de schéma Parquet respecte désormais les indicateurs respectant la casse lors de la fusion du schéma.
    • [SPARK-44658]ShuffleStatus.getMapStatus retourne None maintenant au lieu de Some(null).
    • [SPARK-44840] Définition de array_insert() 1 pour les index négatifs.
  • 14 septembre 2023
    • [SPARK-44873] Ajout de la compatibilité avec alter view pour les colonnes imbriquées dans le client Hive.
    • [SPARK-44878] Limite stricte désactivée pour le gestionnaire d’écriture afin d’éviter une exception d’insertion lorsque le cache est complet.
  • 30 août 2023
    • La commande dbutils cp (dbutils.fs.cp) est désormais optimisée pour accélérer la copie. Grâce à cette amélioration, les opérations de copie peuvent prendre jusqu’à 100 fois moins de temps, selon la taille du fichier. La fonctionnalité est disponible sur tous les systèmes Cloud et de fichiers accessibles dans Databricks, y compris pour les volumes Unity Catalog et les montages DBFS.
    • [SPARK-44455] Citer les identifiants avec des guillemets inversés dans le résultat SHOW CREATE TABLE.
    • [SPARK-44763] Correction d’un problème qui montrait une chaîne comme un double en arithmétique binaire avec intervalle.
    • [SPARK-44871] Correction percentile_disc du comportement.
    • [SPARK-44714] Réduit les restrictions de la résolution LCA concernant les requêtes.
    • [SPARK-44818] Correction de la course pour l’interruption de tâche en attente émise avant l’initialisation de taskThread.
    • [SPARK-44505] Ajout d’un remplacement pour la prise en charge des colonnes dans Analyse de DSv2.
    • [SPARK-44479] Correction de la conversion de protobuf à partir d'un type de structure vide.
    • [SPARK-44718] Faites correspondre la configuration en mode mémoire par défaut ColumnVector avec la valeur de configuration OffHeapMemoryMode.
    • [SPARK-42941] Ajout de la prise en charge de StreamingQueryListener dans Python.
    • [SPARK-44558] Exportation du niveau de journalisation Spark Connect de PySpark.
    • [SPARK-44464] Correction applyInPandasWithStatePythonRunner des lignes de sortie qui ont la valeur Null comme première valeur de colonne.
    • [SPARK-44643] Correction Row.__repr__ lorsque le champ est une ligne vide.
    • Mises à jour de sécurité du système d’exploitation

Databricks Runtime 9.1 LTS

Consultez Databricks Runtime 9.1 LTS.

  • 9 avril 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 mars 2025
    • Mises à jour de sécurité du système d’exploitation
  • 11 février 2025
    • Mises à jour de sécurité du système d’exploitation
  • 10 décembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 26 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 5 novembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 22 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 10 octobre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 septembre 2024
    • [SPARK-49000][SQL] Correction de « select count(distinct 1) from t » où t est vide table en développant RewriteDistinctAggregates
    • Mises à jour de sécurité du système d’exploitation
  • 6 septembre 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 août 2024
    • [SPARK-49065][SQL] Le rebasage dans les formateur/analyseurs hérités doit prendre en charge les fuseaux horaires non JVM par défaut
  • 14 août 2024
  • 1er août 2024
    • Mises à jour de sécurité du système d’exploitation
  • 11 juillet 2024
    • Mises à jour de sécurité du système d’exploitation
  • 17 juin 2024
    • Mises à jour de sécurité du système d’exploitation
  • 21 mai 2024
    • [SPARK-48105][SS] Corriger la condition de concurrence entre le déchargement du magasin d’état et la capture instantanée
    • Mises à jour de sécurité du système d’exploitation
  • 9 mai 2024
    • [SPARK-47973][CORE] Site d’appel de journal dans SparkContext.stop() et ultérieur dans SparkContext.assertNotStopped()
    • [SPARK-44251][SQL] Définition de la valeur pouvant accepter Null correctement sur une clé de jointure fusionnée dans une jointure externe complète USING
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2024
    • Divers correctifs de bogues.
  • 11 avril 2024
    • Mises à jour de sécurité du système d’exploitation
  • 1er avril 2024
    • Annuler « [SPARK-46861][CORE] Éviter le blocage dans DAGScheduler »
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2024
    • Mises à jour de sécurité du système d’exploitation
  • 29 février 2024
    • Correction d’un problème où l’utilisation d’une collection locale comme source dans une commande MERGE pouvait amener à ce que la métrique d'opération numSourceRows indique le double du nombre correct de lignes.
    • Mises à jour de sécurité du système d’exploitation
  • 13 février 2024
    • [SPARK-46861] Éviter l’interblocage dans DAGScheduler.
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2024
    • Mises à jour de sécurité du système d’exploitation
  • 25 Décembre 2023
    • Pour éviter une latence accrue lors de la communication sur TLSv1.3, cette version de maintenance inclut un correctif pour l’installation du JDK 8 visant à corriger le bogue JDK JDK-8293562.
    • [SPARK-46058] Ajoutez un indicateur distinct pour privateKeyPassword.
    • [SPARK-39440] Ajoutez une configuration pour désactiver la chronologie des événements.
    • [SPARK-46132] Prise en charge du mot de passe de clé pour les clés JKS pour RPC SSL.
  • 14 décembre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2023
    • Nouveau package installé, pyarrow-hotfix pour corriger une vulnérabilité PyArrow RCE.
    • [SPARK-45859] Objets UDF rendus différés ml.functions.
    • [SPARK-45544] Support SSL intégré à TransportContext.
    • [SPARK-45730] Amélioration des contraintes de temps pour ReloadingX509TrustManagerSuite.
    • Mises à jour de sécurité du système d’exploitation
  • 14 novembre 2023
    • [SPARK-45545]SparkTransportConf hérite de SSLOptions lors de la création.
    • [SPARK-45429] Ajout de classes d’assistance pour la communication RPC SSL.
    • [SPARK-45427] Ajout des paramètres RPC SSL à SSLOptions et SparkTransportConf.
    • [SPARK-45584] Correction de l’échec de l’exécution de la sous-requête avec TakeOrderedAndProjectExec.
    • [SPARK-45541] Ajout SSLFactory.
    • [SPARK-42205] Suppression des cumulables de journalisation dans les événements de démarrage de phase et de tâche.
    • Mises à jour de sécurité du système d’exploitation
  • 24 octobre 2023
    • [SPARK-45426] Ajout de la prise en charge de ReloadingX509TrustManager.
    • Mises à jour de sécurité du système d’exploitation
  • 13 octobre 2023
    • Mises à jour de sécurité du système d’exploitation
  • 10 septembre 2023
    • Correctifs divers.
  • 30 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 15 août 2023
    • Mises à jour de sécurité du système d’exploitation
  • 23 juin 2023
    • La bibliothèque Snowflake-jdbc est mise à niveau vers la version 3.13.29 pour résoudre un problème de sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 15 juin 2023
    • [SPARK-43098] Corrige le bogue d'exactitude de COUNT lorsque la sous-requête scalaire a une clause GROUP BY.
    • [SPARK-43156][SPARK-43098] Étendre le test du bug de comptage des sous-requêtes scalaires avec decorrelateInnerQuery désactivé.
    • [SPARK-40862] Prise en charge des sous-requêtes non agrégées dans RewriteCorrelatedScalarSubquery.
    • Mises à jour de sécurité du système d’exploitation
  • 2 juin 2023
    • L’analyseur JSON en mode failOnUnknownFields supprime un enregistrement en mode DROPMALFORMED et échoue directement en mode FAILFAST.
    • Correction d’un problème dans l’analyse de données sauvées JSON pour empêcher UnknownFieldException.
    • Correction d’un problème dans Auto Loader où différents formats de fichier source étaient incohérents lorsque le schéma fourni n’incluait aucune partition déduite. Ce problème peut entraîner des échecs inattendus lors de la lecture de fichiers avec des colonnes manquantes dans le schéma de partition déduite.
    • [SPARK-37520] Ajouter les fonctions de chaîne startswith() et endswith()
    • [SPARK-43413] Correction IN de la nullabilité ListQuery de la sous-requête.
    • Mises à jour de sécurité du système d’exploitation
  • 17 mai 2023
    • Mises à jour de sécurité du système d’exploitation
  • 25 avril 2023
    • Mises à jour de sécurité du système d’exploitation
  • 11 avril 2023
    • Correction d’un problème à cause duquel l’évolution du schéma du chargeur automatique peut passer dans une boucle d’échec infinie, lorsqu’une nouvelle colonne est détectée dans le schéma d’un objet JSON imbriqué.
    • [SPARK-42967] Corrigez SparkListenerTaskStart.stageAttemptId lorsqu’une tâche est démarrée après l’annulation de l’étape.
  • 29 mars 2023
    • Mises à jour de sécurité du système d’exploitation
  • 14 mars 2023
    • [SPARK-42484] Message d’erreur amélioré pour UnsafeRowUtils.
    • Correctifs divers.
  • 28 février 2023
    • Les utilisateurs peuvent désormais lire et écrire certaines tables Delta qui nécessitent Reader version 3 et Writer version 7, à l’aide de Databricks Runtime 9.1 LTS ou version ultérieure. Pour réussir, les fonctionnalités de table répertoriées dans le protocole des tables doivent être prises en charge par la version actuelle de Databricks Runtime.
    • Mises à jour de sécurité du système d’exploitation
  • 16 février 2023
    • Mises à jour de sécurité du système d’exploitation
  • 31 janvier 2023
    • Les types de tables JDBC sont désormais "EXTERNAL" par défaut.
  • 18 janvier 2023
    • Mises à jour de sécurité du système d’exploitation
  • 29 novembre 2022
    • Correction d’un problème avec l’analyse JSON dans Auto Loader quand toutes les colonnes étaient laissées en tant que chaînes (cloudFiles.inferColumnTypes n’a pas été définie ou défini sur false) et que le JSON contenait des objets imbriqués.
    • Mises à jour de sécurité du système d’exploitation
  • 15 novembre 2022
    • Mise à niveau d’Apache commons-text vers 1.10.0.
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 1er novembre 2022
    • Correction d’un problème où si une table Delta avait une colonne définie par l’utilisateur nommée _change_type, mais que le flux de données de modification était désactivé sur cette table, les données de cette colonne ne rempliraient pas correctement les valeurs NULL lors de l’exécution MERGE.
    • Correction d’un problème avec Auto Loader où un fichier peut être dupliqué dans le même micro-lot quand allowOverwrites est activé
    • [SPARK-40596] Remplissez ExecutorDecommission avec des messages dans ExecutorDecommissionInfo
    • Mises à jour de sécurité du système d’exploitation
  • 18 octobre 2022
    • Mises à jour de sécurité du système d’exploitation
  • 5 octobre 2022
    • Correctifs divers.
    • Mises à jour de sécurité du système d’exploitation
  • 22 septembre 2022
    • Les utilisateurs peuvent définir spark.conf.set(« spark.databricks.io.listKeysWithPrefix.azure.enabled », « true ») pour réactiver la liste intégrée du chargeur automatique sur ADLS. La liste intégrée a été précédemment désactivée en raison de problèmes de performances, mais peut avoir entraîné une augmentation des coûts de stockage pour les clients.
    • [SPARK-40315] Ajout de hashCode() pour Literal d’ArrayBasedMapData
    • [SPARK-40089] Correction du tri pour certains types décimaux
    • [SPARK-39887] RemoveRedundantAliases doit conserver les alias qui rendent la sortie des nœuds de projection uniques
  • 6 septembre 2022
    • [SPARK-40235] Utiliser un verrou interruptible au lieu de synchroniser dans Executor.updateDependencies()
    • [SPARK-35542] Correctif : Bucketizer créé pour plusieurs colonnes avec les paramètres splitsArray, inputCols et outputCols ne peut pas être chargé après l'avoir sauvegardé.
    • [SPARK-40079] Ajout d’une validation d’Imputer inputCols en cas d’entrée vide
  • 24 août 2022
    • [SPARK-39666] Utiliser UnsafeProjection.create afin de respecter spark.sql.codegen.factoryMode dans ExpressionEncoder
    • [SPARK-39962] Appliquer une projection lorsque les attributs de groupe sont vides
    • Mises à jour de sécurité du système d’exploitation
  • 9 août 2022
    • Mises à jour de sécurité du système d’exploitation
  • 27 juillet 2022
    • Les résultats de l’opération Delta MERGE sont cohérents lorsque la source n’est pas déterministe.
    • [SPARK-39689] Prise en charge pour le lineSep de 2 caractères dans la source de données CSV
    • [SPARK-39575] Ajouté ByteBuffer#rewind après ByteBuffer#get dans AvroDeserializer.
    • [SPARK-37392] Correction de l’erreur de performances pour l’optimiseur de catalyseur.
    • Mises à jour de sécurité du système d’exploitation
  • 13 juillet 2022
    • [SPARK-39419]ArraySort lève une exception lorsque le comparateur retourne null.
    • Désactivation de l'utilisation par Auto Loader des API cloud intégrées pour le listing de répertoires sur Azure.
    • Mises à jour de sécurité du système d’exploitation
  • 5 juillet 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 15 juin 2022
    • [SPARK-39283] Corriger le blocage entre TaskMemoryManager et UnsafeExternalSorter.SpillableIterator.
  • 2 juin 2022
    • [SPARK-34554] Implémentez la copy() méthode dans ColumnarMap.
    • Mises à jour de sécurité du système d’exploitation
  • 18 mai 2022
    • Correction d’une fuite de mémoire intégrée potentielle dans Auto Loader.
    • Mise à niveau la version du kit SDK AWS de la version 1.11.655 vers la version 1.11.678.
    • [SPARK-38918] L'élimination de colonnes imbriquées doit exclure les attributs qui n'appartiennent pas à la relation actuelle.
    • [SPARK-39084] Corriger df.rdd.isEmpty() en utilisant TaskContext pour arrêter l'itérateur à la fin de la tâche
    • Mises à jour de sécurité du système d’exploitation
  • 19 avril 2022
    • Mises à jour de sécurité du système d’exploitation
    • Correctifs divers.
  • 6 avril 2022
    • [SPARK-38631] Utilise l'implémentation basée sur Java pour l'extraction de fichiers tar dans Utils.unpack.
    • Mises à jour de sécurité du système d’exploitation
  • 22 mars 2022
    • Le répertoire de travail actuel des notebooks sur les clusters à haute concurrence avec le contrôle d’accès aux tables ou le transfert d’informations d’identification activé a été modifié pour pointer vers le répertoire de base de l’utilisateur. Auparavant, le répertoire actif était /databricks/driver.
    • [SPARK-38437] Sérialisation indulgente de la date et heure à partir de la source de données
    • [SPARK-38180] Autorisation des expressions up-cast sécurisées dans les prédicats d’égalité corrélés
    • [SPARK-38155] Interdiction de tout agrégat distinct dans les sous-requêtes latérales avec des prédicats non pris en charge
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
  • 14 mars 2022
    • [SPARK-38236] Les chemins d’accès absolus spécifiés dans la table create/alter sont traités comme relatifs
    • [SPARK-34069] Interrompre le thread de tâche si la propriété SPARK_JOB_INTERRUPT_ON_CANCEL locale a la valeur true.
  • 23 février 2022
    • [SPARK-37859] Les tables SQL créées avec JDBC avec Spark 3.1 ne sont pas lisibles avec Spark 3.2.
  • 8 février 2022
    • [SPARK-27442] Suppression d’un champ de vérification lors de la lecture ou de l’écriture de données dans un parquet.
    • Mises à jour de sécurité du système d’exploitation
  • 1er février 2022
    • Mises à jour de sécurité du système d’exploitation
  • 26 janvier 2022
    • Correction d’un problème à cause duquel les transactions concurrentes sur les tables Delta pouvaient être validées dans un ordre non sérialisable dans certaines conditions rares.
    • Correction d’un problème à cause duquel la commande OPTIMIZE pouvait échouer lors de l’activation du dialecte SQL ANSI.
  • 19 janvier 2022
    • Correctifs mineurs et améliorations de la sécurité.
    • Mises à jour de sécurité du système d’exploitation
  • 4 novembre 2021
    • Correction d’un problème qui pouvait entraîner l’échec des flux Structured Streaming avec ArrayIndexOutOfBoundsException.
    • Correction d'une condition de compétition qui pouvait entraîner l'échec d'une requête avec une IOException telle que java.io.IOException: No FileSystem for scheme, ou faire que les modifications apportées à sparkContext.hadoopConfiguration ne prennent pas effet dans les requêtes.
    • Le connecteur Apache Spark pour Delta Sharing a été mis à niveau vers la version 0.2.0.
  • 20 octobre 2021
    • Mise à niveau du connecteur BigQuery de la version 0.18.1 à la version 0.22.2. Cela ajoute la prise en charge du type BigNumeric.
  • Last updated on