Databricks Runtime 17.2

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 17.2, con tecnología de Apache Spark 4.0.0.

Esta versión incorpora todas las características, mejoras y correcciones de errores de todas las versiones anteriores de Databricks Runtime. Databricks publicó esta versión en septiembre de 2025.

Nuevas características y mejoras

• LIKE admite UTF8_LCASE intercalación
• st_exteriorring ahora se admite la función
• Mostrar los detalles de la aplicación de filtros en EXPLAIN y en la interfaz de usuario de Spark para escaneos remotos
• Declarar varias variables locales o de sesión en una sola DECLARE instrucción
• Soporte para la palabra clave TEMPORARY para la creación de vistas de métricas
• Compatibilidad con comandos adicionales con control de acceso específico
• Reemplazar datos de forma selectiva y atómica por INSERT REPLACE USING y INSERT REPLACE ON (GA)
• Utilizar E/S nativa para LokiFileSystem.getFileStatus en S3
• Modo ANSI habilitado de forma predeterminada para pandas API en Spark
• Auto Loader deduce columnas de partición en modo singleVariantColumn

LIKE admite la intercalación UTF8_LCASE

El operador LIKE ahora admite la clasificación UTF8_LCASE, lo que permite coincidencias sin distinguir entre mayúsculas y minúsculas.

Ahora se admite la función st_exteriorring

Ahora puede usar la st_exteriorring función para extraer el límite exterior de un polígono y devolverlo como una cadena de líneas. Consulte la st_exteriorring función.

Mostrar detalles de pushdown en EXPLAIN y en la interfaz de usuario de Spark para escaneos remotos

El comando EXPLAIN y la interfaz de usuario de Spark para RemoteSparkConnectScan en un entorno de computación dedicado ahora muestran predicados, agregaciones, cláusulas de agrupación, límites y muestras que son aplicados en el examen remoto.

Declarar varias variables locales o de sesión en una sola DECLARE instrucción

En Databricks Runtime 17.2 y versiones posteriores, puede declarar varias variables locales o de sesión del mismo tipo y valor predeterminado en una sola DECLARE instrucción. Vea DECLARE VARIABLE y la instrucción compuesta BEGIN END.

Compatibilidad con la palabra clave TEMPORARY para la creación de vistas de métricas

Ahora puede usar la TEMPORARY palabra clave al crear una vista de métrica. Las vistas de métricas temporales solo son visibles en la sesión que las creó y se quitan cuando finaliza la sesión. Consulte CREATE VIEW.

Compatibilidad con comandos adicionales con control de acceso específico

El control de acceso detallado en el cómputo dedicado ahora admite los comandos FSCK REPAIR TABLE y DESCRIBE DETAIL.

Reemplazar datos de forma selectiva y atómica por INSERT REPLACE USING y INSERT REPLACE ON (GA)

INSERT REPLACE USING y INSERT REPLACE ON ahora están disponibles con carácter general para Databricks Runtime 17.2. Ambos comandos SQL reemplazan parte de la tabla por el resultado de una consulta.

INSERT REPLACE USING reemplaza las filas cuando las USING columnas se comparan iguales con igualdad. INSERT REPLACE ON reemplaza las filas cuando coinciden con una condición definida por el usuario.

Consulte INSERT la referencia del lenguaje SQL y sobrescriba de forma selectiva los datos con Delta Lake.

Uso de E/S nativa para LokiFileSystem.getFileStatus en S3

LokiFileSystem.getFileStatus ahora usa la pila de E/S nativa para el tráfico de Amazon S3 y devuelve org.apache.hadoop.fs.FileStatus objetos en lugar de shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus.

Modo ANSI habilitado por defecto en la API de Pandas de Spark

ANSI_MODE ahora está habilitado de forma predeterminada para la API de Pandas en Spark con compute.ansi_mode_support=True, lo que garantiza la paridad de cumplimiento de ANSI con pandas nativos. La compute.fail_on_ansi_mode opción todavía se aplica si compute.ansi_mode_support se establece en False.

Auto Loader deduce columnas de partición en el modo singleVariantColumn

El cargador automático ahora deduce las columnas de partición a partir de las rutas de archivo al procesar datos como un tipo de variante semiestructurada usando la opción singleVariantColumn. Anteriormente, las columnas de partición no se detectaron automáticamente. Consulte Opciones del cargador automático.

Cambios de comportamiento

• DESCRIBE CONNECTION muestra la configuración del entorno para las conexiones JDBC.
• Opción para truncar el historial uniforme durante la migración de tablas administradas
• Sintaxis SQL para opciones de lectura delta en consultas de streaming
• Resultados correctos para split con regex vacío y límite positivo
• Corregir el control de errores url_decode y try_url_decode en Photon
• Entorno de ejecución compartido para las UDTF de Python de Unity Catalog
• Seguimiento de filas habilitado de forma predeterminada para las nuevas tablas
• TABLE compatibilidad de argumentos para UDTF de Python en Unity Catalog

DESCRIBE CONNECTION muestra la configuración del entorno para las conexiones JDBC.

Azure Databricks ahora incluye la configuración de entorno definida por el usuario en la salida de las DESCRIBE CONNECTION conexiones JDBC que admiten controladores personalizados y se ejecutan de forma aislada. Otros tipos de conexión permanecen sin cambios.

Opción para truncar el historial uniforme durante la migración de tablas administradas

Ahora puede truncar el historial uniforme al migrar tablas con Uniform/Iceberg habilitado mediante ALTER TABLE...SET MANAGED. Esto simplifica las migraciones y reduce el tiempo de inactividad en comparación con deshabilitar y volver a habilitar Uniforme manualmente.

Sintaxis SQL para opciones de lectura delta en consultas de streaming

Ahora puede especificar opciones de lectura delta para consultas de streaming basadas en SQL mediante la WITH cláusula . Por ejemplo:

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

Resultados correctos para split con regex vacío y límite positivo

Azure Databricks ahora devuelve resultados correctos cuando se usa split function con una expresión regular vacía y un límite positivo. Anteriormente, la función truncaba incorrectamente la cadena restante en lugar de incluirla en el último elemento.

Corrección del manejo de errores de url_decode y try_url_decode en Photon.

En Photon, try_url_decode() y url_decode() con failOnError = false ahora devuelven NULL por cadenas codificadas como URL no válidas en lugar de fallar la consulta.

Entorno de ejecución compartido para UDTF de Python del Unity Catalog

Azure Databricks ahora comparte el entorno de ejecución para las funciones de tabla definidas por el usuario (UDF) de Python desde el mismo propietario y sesión de Spark. Hay disponible una cláusula opcional STRICT ISOLATION para deshabilitar el uso compartido de UDF con efectos secundarios, como modificar variables de entorno o ejecutar código arbitrario.

Seguimiento de filas habilitado de forma predeterminada para las nuevas tablas

Azure Databricks ahora habilita el seguimiento de filas de forma predeterminada para todas las tablas administradas del catálogo de Unity recién creadas. Las tablas existentes no se ven afectadas y mantienen su configuración de seguimiento de filas actual.

TABLE compatibilidad de argumentos para UDTF de Python del Catálogo de Unity

Las UDF de Python del catálogo de Unity admiten TABLE argumentos, lo que permite que las funciones acepten tablas completas como parámetros de entrada, lo que permite transformaciones de datos y agregaciones más complejas en conjuntos de datos estructurados. Consulte Funciones de tabla definidas por el usuario (UDF) de Python en el catálogo de Unity. (Retroportado desde 17.3 LTS).

Actualizaciones de bibliotecas

Bibliotecas de Python actualizadas:

No se actualizaron bibliotecas de Python en esta versión.

Bibliotecas de R actualizadas:

No se actualizaron bibliotecas de R en esta versión.

Bibliotecas de Java actualizadas:

• io.delta.delta-sharing-client_2.13 de 1.3.3 a 1.3.5

Apache Spark

Databricks Runtime 17.2 incluye Apache Spark 4.0.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en la versión anterior, así como las siguientes:

• SPARK-53183 Uso de Java Files.readString en lugar de o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 Reintroducir los campos ansiConfig en los messageParameters de CAST_INVALID_INPUT y CAST_OVERFLOW
• SPARK-53124 Eliminación de campos innecesarios de JsonTuple
• SPARK-53106 Adición de pruebas de evolución de esquemas para conjuntos de conexiones spark de TWS Scala
• SPARK-53201 Usar SparkFileUtils.contentEquals en lugar de Files.equal
• SPARK-53308 No quite alias en RemoveRedundantAliases que provocarían duplicados
• SPARK-53241 Soporte createArray en SparkCollectionUtils
• SPARK-53239 Mejorar MapSort y el SortArray rendimiento mediante parallelSort
• SPARK-53184 Corrección de melt() cuando las columnas de valor mezclan cadenas y números
• SPARK-53144 Eliminar efectos secundarios de CreateViewCommand en SparkConnectPlanner
• SPARK-53303 Use el codificador de estado vacío cuando no se proporcione el estado inicial en TWS.
• SPARK-52917 Compatibilidad de lectura para habilitar el recorrido de ida y vuelta para binarios en formato xml
• SPARK-53110 Implementación de la función time_trunc en PySpark
• SPARK-53107 Implementación de la función time_trunc en Scala
• SPARK-52146 Detección de referencias de funciones cíclicas en UDF de SQL
• SPARK-52469 Uso de la API de JEP 223 para procesar la versión de Java
• SPARK-53094 Corrección de CUBE con agregados que contienen cláusulas HAVING
• SPARK-51874 Agregar TypedConfigBuilder para la enumeración de Scala
• SPARK-53287 Agregar guía de migración de ANSI
• SPARK-43100 Las métricas de mezcla por empuje deben deserializarse correctamente.
• SPARK-53045 DESCRIBIR EXTENDED debe ser resistente a metadatos dañados
• SPARK-53114 Soporte técnico join en JavaUtils
• SPARK-53297 Corregir la docstring de la API de Canalizaciones Declarativas de StreamingTable
• SPARK-53181 Habilitación de pruebas de documentos en ANSI
• SPARK-52482 Mejora del control de excepciones para leer determinados archivos zstd dañados
• SPARK-52990 Apoyo StringSubstitutor
• SPARK-51874 Agregar TypedConfigBuilder para Scala Enumeration
• SPARK-53169 Quitar comentarios relacionados con "Set the logger level of File Appender to" de log4j2.properties
• SPARK-53080 Soporte cleanDirectory en SparkFileUtils y JavaUtils
• SPARK-53045 DESCRIBIR EXTENDED debe ser resistente a metadatos dañados
• SPARK-53000 Cambiar el nombre StringUtils.scala a StringConcat.scala en el sql/api módulo
• SPARK-52952 Agregar script de desarrollo para coerción de tipos UDF de PySpark
• SPARK-52998 Varias variables dentro de declare
• SPARK-51817 Vuelva a introducir campos ansiConfig en messageParameters de CAST_INVALID_INPUT y CAST_OVERFLOW
• SPARK-52820 Captura de planes completos en archivos dorados
• SPARK-53274 Soporte para optimización de unión izquierda y derecha en JDBCScanBuilder
• SPARK-52110 Implementación de la compatibilidad con la sintaxis SQL para canalizaciones
• SPARK-52950 Habilitación del modo ANSI en DataSourceV2StrategySuite
• SPARK-52947 Corrección de la ruta de acceso de imagen en la guía de programación para canalizaciones declarativas
• SPARK-52592 Compatibilidad con la creación de un ps.Series a partir de un ps.Series
• SPARK-53301 Diferenciar las sugerencias de tipo de UDF de Pandas y UDF de Arrow
• SPARK-53146 Hacer que MergeIntoTable en SparkConnectPlanner no tenga efectos secundarios
• SPARK-53166 Uso SparkExitCode.EXIT_FAILURE en el SparkPipelines objeto
• SPARK-53288 Corrección del error de aserción con el límite global de streaming
• SPARK-52394 Corrección del error de división por cero del autocorr en modo ANSI
• SPARK-51555 Adición de la función time_diff()
• SPARK-52948 Habilitar test_np_spark_compat_frame en ANSI
• SPARK-53134 Realizar una limpieza de importaciones ANSI no utilizadas en las pruebas
• SPARK-52593 Evitar CAST_INVALID_INPUT de MultiIndex.to_series, Series.dot y DataFrame.dot en modo ANSI
• SPARK-53291 Corrección de la nulabilidad de la columna de valor
• SPARK-53097 Hacer que WriteOperationV2 en SparkConnectPlanner no tenga efectos secundarios
• SPARK-53305 Compatibilidad con TimeType en createDataFrame
• SPARK-52914 Compatibilidad On-Demand Log Loading con registros rotativos en History Server
• SPARK-33538 Inserción directa de predicados IN/NOT en el metastore de Hive
• SPARK-52849 Agregar stringifyException a o.a.s.util.Utils
• SPARK-52771 Corrección de la ampliación de tipos float32 en truediv/floordiv
• SPARK-52502 Descripción general del recuento de hilos
• SPARK-52788 Corrección del error de conversión de valor binario en BinaryType a XML
• SPARK-53123 Soporte técnico getRootCause en SparkErrorUtils
• SPARK-53129 Mejorar SparkShell para importar java.net._ por defecto
• SPARK-53061 Soporte copyFileToDirectory en SparkFileUtils
• SPARK-52683 Compatibilidad con ExternalCatalog alterTableSchema
• SPARK-52871 Combinar o.a.s.sql.catalyst.util.SparkStringUtils con o.a.s.util.SparkStringUtils
• SPARK-52817 Corrección del Like rendimiento de expresiones
• SPARK-52545 Estandarizar el escape de comillas dobles para cumplir con la especificación de SQL
• SPARK-52711 Corregir la ampliación de tipo float32 bajo mul/rmul ANSI
• SPARK-52615 Reemplazar File.mkdirs por Utils.createDirectory
• SPARK-52381 JsonProtocol: acepte solo subclases de SparkListenerEvent.
• SPARK-52613 Restaurar la impresión de la traza completa de la pila cuando HBase/Hive DelegationTokenProvider enfrente una excepción
• SPARK-52651 Gestionar el tipo definido por el usuario en ColumnVector anidado
• SPARK-52611 Corrija la versión de SQLConf para excludeSubqueryRefsFromRemoveRedundantAliases...
• SPARK-52552 Saltar la aplicación de restricción CHECK para las eliminaciones mediante vectores de eliminación
• Soporte SPARK-52587 para spark-shell 2.13 -i-I parámetro
• SPARK-52492 Permitir que InMemoryRelation.convertToColumnarIfPossible sea personalizable
• SPARK-52451 Hacer que WriteOperation en SparkConnectPlanner no tenga efectos secundarios
• SPARK-53272 Refactorización de la lógica de aplicación de SPJ fuera de BatchScanExec
• SPARK-53071 Soporte técnico copyFile en SparkFileUtils
• SPARK-51415 Admitir el tipo de tiempo al usar make_timestamp()
• SPARK-51554 Adición de la función time_trunc()
• SPARK-52426 Compatibilidad con la redirección de stdout/stderr al sistema de registro
• SPARK-51834 Soporte para la gestión integral de restricciones de tabla
• SPARK-53063 Implementación y llamada a nuevas API en FileCommitProtocol en lugar de las API en desuso.
• SPARK-52546 comprueba sparkContext si se ha detenido al ejecutar el bloque de código catch en execute(), de lo contrario, devolverá un estado incorrecto.
• SPARK-53023 Eliminar commons-io dependencia del sql/api módulo
• SPARK-52396 El directorio raíz del artefacto debe usar tmpdir
• SPARK-53131 Mejorar SparkShell para importar java.nio.file._ por defecto
• SPARK-42322 Asignar nombre a to_LEGACY_ERROR_TEMP_2235
• SPARK-51834 Soporte para la administración de restricciones de tabla de extremo a extremo
• SPARK-52484 Omitir la aserción child.supportsColumnar del lado del controlador en ColumnarToRowExec
• SPARK-52384 Corrección del error Connect no debe tener en cuenta las opciones de JDBC.
• SPARK-52034 Añadir métodos comunes en el rasgo SparkOperation para las operaciones Thriftserver
• SPARK-53031 Soporte getFile en SparkFileUtils
• SPARK-52976 Corregir que la UDF de Python no acepte una cadena ordenada como tipo de parámetro de entrada o de retorno (17.x)
• SPARK-52943 Habilitar arrow_cast para todos los tipos de evaluación de UDF de Pandas
• SPARK-53263 Compatibilidad con TimeType en df.toArrow
• SPARK-53141 Agregar APIs para obtener el tamaño de memoria de sobrecarga y el tamaño de memoria fuera de montón del perfil de recursos
• SPARK-53259 Corregir el mensaje de INVALID_UDF_EVAL_TYPE
• SPARK-53167 El iniciador de Spark isRemote también respeta el archivo de propiedades
• SPARK-53165 Agregar SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 Mejora de la repetición de UTF8String
• SPARK-53170 Mejora SparkUserAppException para tener cause un parámetro
• SPARK-52989 Añadir un API explícito close() a los iteradores del State Store
• SPARK-53074 Evitar la agrupación en clústeres parciales en SPJ para satisfacer la distribución necesaria de un elemento secundario
• SPARK-52252 Los codificadores de ScalaUDF en subconsultas deben resolverse
• SPARK-53244 No almacenar configuraciones habilitadas para doble ejecución y modo tentativo durante la creación de vistas
• SPARK-53192 Almacenar siempre en caché un origen de datos en la caché del plan de Spark Connect
• SPARK-51813 Agregue un defaultCachedBatchKryoSerializer que no acepta valores NULL para evitar la propagación nula en defaultCachedBatch serde
• SPARK-52904 Volver a aplicar "[SC-202233][python] Habilitar convertToArrowArrayS...
• SPARK-53253 Corrección del registro de UDF de tipo SQL_SCALAR_ARROW_ITER_UDF
• SPARK-53243 Enumera los tipos de eval admitidos en los nodos Arrow
• SPARK-53130 Corrección toJson del comportamiento de los tipos de cadena ordenados
• SPARK-53003 Soporte técnico strip en SparkStringUtils
• SPARK-51902 Sincronización OSS: imposición de la restricción de verificación en la inserción de tablas
• SPARK-52047 Genera PySparkValueError para tipos de gráficos no admitidos
• SPARK-53004 Soporte técnico abbreviate en SparkStringUtils
• SPARK-53066 Mejora de EXPLAIN la salida de la inserción de combinación de DSv2
• SPARK-30848 Eliminación de productHash de TreeNode
• SPARK-53046 Uso de Java readAllBytes en lugar de IOUtils.toByteArray
• SPARK-53206 Usar SparkFileUtils.move en lugar de com.google.common.io.Files.move
• SPARK-53066 Mejorar el rendimiento de proyección de combinaciones en DSv2
• SPARK-53069 Corrección de métricas de almacén de estado incorrectas con familias de columnas virtuales
• SPARK-52904 Habilite convertToArrowArraySafely de forma predeterminada [17.x]
• Añadir la coerción de tipo para el retorno udf de SPARK-52821 int-DecimalType en pyspark.
• SPARK-51562 Agregar time función
• SPARK-52971 Limitar el tamaño de la cola de trabajo de Python inactiva
• SPARK-53057 Soporte sizeOf en SparkFileUtils y JavaUtils
• SPARK-53040 Prohibir las referencias propias dentro de las CTE más altas en CTE recursivas
• SPARK-53104 Introducir el ansi_mode_context para evitar varias comprobaciones de configuración por cada llamada a la API
• SPARK-47547 Agregue BloomFilter V2 y úselo como valor predeterminado
• SPARK-53098DeduplicateRelations no debe reasignar expresiones si todavía existe el ExprId antiguo en la salida
• SPARK-53049 Soporte toString en SparkStreamUtils
• SPARK-53062 Soporte deleteQuietly en SparkFileUtils y JavaUtils
• SPARK-53070 Soporte técnico is(Not)?Empty en SparkCollectionUtils
• SPARK-53020 Los argumentos de JPMS también se deben aplicar al proceso que no sea SparkSubmit.
• SPARK-52968 Emisión de métricas de almacén de estado adicionales
• SPARK-52975 Simplificación de los nombres de campo en la combinación de inserción sql
• SPARK-52926 Se ha agregado SQLMetric para la duración de la captura de esquemas remotos.
• SPARK-53059 Arrow UDF no es necesario depender de pandas
• SPARK-52646 Evitar CAST_INVALID_INPUT de __eq__ en modo ANSI
• SPARK-52622 Evitar CAST_INVALID_INPUT de DataFrame.melt en modo ANSI
• SPARK-52985 Generar TypeError para operando numpy pandas en operadores de comparación
• SPARK-52580 Evitar CAST_INVALID_INPUT de replace en modo ANSI
• SPARK-52549 Deshabilitar las referencias automáticas de CTE recursivas desde funciones de ventana y dentro de las ordenaciones
• SPARK-52895 No agregue elementos duplicados en resolveExprsWithAggregate
• SPARK-50748 Corrección de un problema de condición de carrera que se produce cuando se interrumpen las operaciones
• SPARK-52737 Predicado de inserción y número de aplicaciones en FsHistoryProvider al enumerar aplicaciones
• SPARK-53018 ArrowStreamArrowUDFSerializer debe respetar el argumento arrow_cast
• SPARK-53013 Corrección de la UDTF de Python optimizada con Apache Arrow que no devuelve filas en la combinación lateral
• SPARK-51834 Sincronización de OSS: compatibilidad con la gestión completa de alteración de restricciones de tabla para agregar/eliminar restricciones.
• SPARK-52921 Especificar particionamientoDeSalida para UnionExec para el mismo particionamiento de salida que los operadores hijos.
• SPARK-52908 Evitar que el nombre de la variable de iterador entre en conflicto con los nombres de las etiquetas de la ruta de acceso a la raíz de AST
• SPARK-52954 Compatibilidad con coerción de tipos de retorno en UDF de Arrow
• SPARK-52925 Devuelve el mensaje de error correcto para las referencias a sí mismo de ancla en rCTEs
• SPARK-52889 Implementación de la función current_time en PySpark
• SPARK-52675 Interrumpir controladores de ML colgados en pruebas
• SPARK-52959 Compatibilidad con UDT en UDTF de Python optimizado para Arrow
• SPARK-52962 BroadcastExchangeExec no debe restablecer las métricas
• SPARK-52956 Conservar los metadatos de alias al simplificar proyectos
• SPARK-52890 Implementación de las funciones de to_time y try_to_time en PySpark
• SPARK-52888 Implementación de la función make_time en PySpark
• SPARK-52892 Compatibilidad con TIME en las funciones hour, minute y second en PySpark
• SPARK-52837 Compatibilidad con TimeType en pyspark
• SPARK-52023 Corrección de la corrupción de datos y el fallo de segmentación al devolver Option[Product] desde una función UDAF.
• SPARK-52955 Cambiar los tipos devueltos de WindowResolution.resolveOrder y WindowResolution.resolveFrame a WindowExpression
• SPARK-52166 Adición de compatibilidad con PipelineEvents
• SPARK-51834 Corrección: eliminar "valid" de toDDL
• SPARK-52735 Corrección de las condiciones de error que faltan para las UDF de SQL
• SPARK-51834 Sincronizar el soporte de OSS de extremo a extremo para crear/reemplazar tabla con restricción
• SPARK-51834 Sincronización de la actualización de OSS para las llamadas de unapply de ResolvedIdentifier.
• SPARK-52929 Compatibilidad con los conectores MySQL y SQLServer para la aplicación de Join de DSv2.
• SPARK-52448 Adición de Struct Expression.Literal simplificado
• SPARK-52882 Implementación de la función current_time en Scala
• SPARK-52905 UDF de flecha para la ventana
• SPARK-52876 Corrección de un error tipográfico de buffer por body en ChunkFetchSuccess.toString
• SPARK-52883 Implementación de las funciones de to_time y try_to_time en Scala
• SPARK-52751 No valide diligentemente el nombre de columna en dataframe['col_name']
• SPARK-52791 Corrección del error al deducir un UDT con un primer elemento NULL
• SPARK-52686Union solo se debe resolver si no hay duplicados
• SPARK-52881 Implementación de la función make_time en Scala
• SPARK-52919 Corrección de la inserción de combinación de DSv2 para usar la columna con alias anterior
• SPARK-52866 Adición de compatibilidad con try_to_date
• SPARK-52846 Agregar una métrica en JDBCRDD para medir cuánto tiempo se tarda en obtener el conjunto de resultados.
• SPARK-52859 Adición del rasgo SparkSystemUtils
• SPARK-52823 Compatibilidad con el empuje de unión DSv2 para el conector de Oracle
• SPARK-52165 Configurar el andamiaje de construcción para el proyecto de canalizaciones
• SPARK-52869 Agregar la validación de FrameLessOffsetWindowFunction para validateResolvedWindowExpression con el fin de su reutilización en el analizador de un solo paso.
• SPARK-52885 Implementación de las funciones hour, minute y second en Scala para el tipo TIME
• SPARK-52903 Recorte de alias que no son de nivel superior antes de la resolución LCA
• SPARK-52832 Corrección de las comillas en el identificador del dialecto JDBC
• SPARK-52870 Citar correctamente los nombres de las variables en la FOR instrucción
• SPARK-52859 Agregar SparkSystemUtils trait
• SPARK-52900 Uso SparkStringUtils.stringToSeq en FsHistoryProvider
• SPARK-52809 No mantenga referencias de lector e iterador para todas las particiones en los escuchadores de finalización de tareas para la actualización de métricas.
• SPARK-52815 Mejorar SparkClassUtils para admitir getAllInterfaces
• SPARK-52795 Incluir ID de ejecución en los registros del almacenamiento de estado
• SPARK-52779 Soporte para el literal TimeType en Connect
• SPARK-52899 Corrección de la prueba QueryExecutionErrorsSuite para registrar H2Dialect de nuevo
• SPARK-52862 Revisar la comprobación de nulabilidad de Decimal('NaN')
• SPARK-52214 UDF de flecha para la agregación
• SPARK-52787 Reorganización del directorio de ejecución de streaming alrededor del tiempo de ejecución y las áreas de punto de control
• SPARK-51564 Análisis de hora en el formato de reloj de 12 horas
• SPARK-52859 Agregar SparkSystemUtils trait
• SPARK-51562 Agregar time función
• SPARK-52850 Omitir las conversiones de invocación si es una función de identidad
• SPARK-52863 Limpieza de rutas de acceso de código para versiones anteriores de Pandas
• SPARK-52516 No mantenga la referencia previa del iterador después de avanzar al siguiente archivo en ParquetPartitionReaderFactory
• SPARK-52848 Evitar la conversión a Double al convertir TIME/TIMESTAMP a DECIMAL
• SPARK-52770 Soporte para tipo TIME en el protocolo de conexión
• SPARK-52842 Nuevas funcionalidades y correcciones de errores para el analizador de paso único
• SPARK-52620 Soporte para la conversión de TIME a DECIMAL
• SPARK-52783 Refactorización de la lógica de validación de windowFunction de checkAnalysis para su reutilización en el analizador de paso único
• SPARK-51695 Sincronizar OSS crear/reemplazar/modificar tabla para restricción única a través de DSv2
• SPARK-51695 Sincronizar restricción de eliminación de OSS usando DSv2
• SPARK-52824 Clasificación de errores de CheckpointFileManager
• SPARK-52829 Corrección de LocalDataToArrowConversion.convert para controlar las filas vacías correctamente
• SPARK-52811 Optimizar ArrowTableToRowsConversion.convert para mejorar su rendimiento
• SPARK-52796 Optimizar LocalDataToArrowConversion.convert para incrementar su eficiencia.
• SPARK-51695 Cambios en el analizador del comando Alter Table para agregar restricciones en la sincronización de software de código abierto
• SPARK-52619 Convertir TimeType en IntegralType
• SPARK-52187 Introducir optimización de join para DSv2
• SPARK-52782 Devolver NULL desde +/- en datetime con NULL
• SPARK-51695 Introducción de cambios del analizador para las restricciones de tabla (CHECK, PK, FK)
• SPARK-52808spark.history.retainedApplications debe ser positivo
• SPARK-52776 No dividir el campo comm en ProcfsMetricsGetter
• SPARK-52793 Soporte técnico isUnix en o.a.s.util.Utils
• SPARK-52792 Quitar commons-lang3 dependencia de network-common
• SPARK-52797 Usar Utils.isWindows en lugar de volver a evaluar en PythonWorkerFactory
• SPARK-52784 Añadir la conversión TimeZoneAware en WindowFrameTypeCoercion.createBoundaryCast
• SPARK-52725 Retrasar la inicialización del administrador de perfiles de recursos hasta que se cargue el complemento
• SPARK-52565 Exigir la resolución ordinal antes de otras expresiones de orden de clasificación
• SPARK-52740 Corrige el NPE en HDFSBackedStateStoreProvider al acceder a StateStoreConf.sqlConf cuando la versión del formato del punto de control es >=2
• SPARK-52673 Incorporación del manejo de grpc RetryInfo a las políticas de reintentos de Spark Connect
• SPARK-52724 Mejora del manejo de errores de OOM en la combinación por difusión con compatibilidad con sugerencias de SHUFFLE_MERGE
• SPARK-52781 Corrección de errores tipográficos de dtyeps en internal.py
• SPARK-52730 Almacenar la versión subyacente del controlador y la base de datos en JDBCRDD
• SPARK-52727 Refactorización de la resolución de ventanas para reutilizarla en el analizador de paso único
• SPARK-52695 Compatibilidad de escritura de tipo definido por el usuario para el formato de archivo xml
• SPARK-52722 Desuso de la clase JdbcRDD
• SPARK-51695 Introducción de cambios del analizador para las restricciones de tabla (CHECK, PK, FK)
• SPARK-52763 Resta de TIEMPO de soporte técnico
• SPARK-52768 Corregir el error tipográfico "moveing" en pandas/series.py
• SPARK-52730 Almacenar la versión subyacente del controlador y la base de datos en JDBCRDD
• SPARK-52694 Agregar o.a.s.sql.Encoders#udtAPI
• SPARK-52720 Corrección de la ampliación de tipos float32 bajo add/radd ANSI
• SPARK-52723 Validación del nombre de columna del lado servidor
• SPARK-52760 Corrección de la ampliación de tipos float32 en sub/rsub bajo ANSI
• SPARK-52738 Admite la agregación del tipo TIME con un UDAF cuando el búfer subyacente es un UnsafeRow
• SPARK-52704 Simplificación de las interoperaciones entre SQLConf y las opciones de formato de archivo en TextBasedFileFormats
• SPARK-52706 Corrección de incoherencias y refactorización de tipos primitivos en el analizador
• SPARK-52718 Corrección de la ampliación de tipo float32 en rmod/mod según ANSI
• SPARK-52736 Corrección de tipos "moveing" en pyspark/pandas/generic.py

Compatibilidad con controladores ODBC/JDBC de Azure Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.3 LTS
• Java: Zulu17.58+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de paquetes dePositiv en 2025-03-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)