Databricks Runtime 18.1 (beta)

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 18.1 (Beta).

Esta versión incorpora todas las características, mejoras y correcciones de errores de todas las versiones anteriores de Databricks Runtime. Databricks publicó esta versión en febrero de 2026.

Nuevas características y mejoras

• Auto Loader usa eventos de archivo de forma predeterminada cuando está disponible
• Escrituras optimizadas para tablas de catálogo de Unity con particiones creadas con CRTAS
• Compatibilidad con el tipo de datos DATETIMEOFFSET para Microsoft Azure Synapse
• Comentarios de la tabla BigQuery de Google
• Evolución del esquema con sentencias INSERT
• Se conservan los valores de estructura NULL en INSERT las operaciones
• Soporte de transacciones de varias instrucciones en Delta Sharing
• Puntos de control de DataFrame en rutas de acceso de volumen
• Los comandos SQL ya no se vuelven a ejecutar al llamar a cache()
• función SQL parse_timestamp
• Compatibilidad con cursores SQL en instrucciones compuestas
• Funciones aproximadas de croquis top-k
• Funciones de boceto de tupla

Auto Loader usa eventos de archivo de forma predeterminada cuando está disponible

El cargador automático usa eventos de archivo de forma predeterminada al cargar desde una ubicación externa con eventos de archivo habilitados, lo que reduce las operaciones de lista y el costo en comparación con la lista de directorios. Consulte Auto Loader con la descripción general de eventos de archivo. Los eventos de archivo no se usan si el código de secuencia establece useIncrementalListing o useNotifications. Para usar la lista de directorios en su lugar, establezca useManagedFileEvents como false.

Escrituras optimizadas para tablas particionadas de Unity Catalog creadas con CRTAS

Las escrituras optimizadas se aplican a las tablas de catálogo de Unity con particiones creadas por CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), lo que genera menos archivos más grandes. Este comportamiento está habilitado de forma predeterminada. Para deshabilitarlo, establezca spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled en false.

Compatibilidad con el tipo de datos DATETIMEOFFSET para Microsoft Azure Synapse

El DATETIMEOFFSET tipo de datos es compatible con las conexiones de Microsoft Azure Synapse.

Comentarios de la tabla BigQuery de Google

Las descripciones de las tablas de Google BigQuery se resuelven y exponen como comentarios de tabla.

Evolución del esquema con INSERT declaraciones

Use la WITH SCHEMA EVOLUTION cláusula con instrucciones SQL INSERT para evolucionar automáticamente el esquema de la tabla de destino durante las operaciones de inserción. La cláusula se admite para INSERT INTO, INSERT OVERWRITE y INSERT INTO ... REPLACE. Por ejemplo:

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

El esquema de la tabla Delta Lake de destino se actualiza para dar cabida a columnas adicionales o tipos ampliados del origen. Para obtener más información, consulte la sintaxis de la instrucción y INSERTla evolución del esquema.

Valores de estructura NULL conservados en operaciones INSERT

INSERT las operaciones con la evolución del esquema o la conversión implícita conservan NULL los valores de estructura cuando las tablas de origen y destino tienen órdenes diferentes de campos de estructura.

Compatibilidad con soporte para transacciones de múltiples declaraciones en Delta Sharing

Las tablas Delta Sharing que usan la URL prefirmada o los modos de uso compartido de tokens en la nube admiten transacciones con múltiples instrucciones. En el primer acceso dentro de una transacción, la versión de la tabla se ancla y reutiliza para todas las lecturas posteriores de esa transacción.

Limitaciones:

• No se admiten el viaje en el tiempo, el cambio de fuente de datos ni el streaming.
• Las transacciones de varias instrucciones no se admiten en tablas compartidas sin historial.
• Las vistas compartidas y las entidades externas no se permiten en sistemas no confiables.

Puntos de control de DataFrame en rutas de acceso de volumen

Los puntos de control de DataFrame admiten rutas de acceso de volumen del Catálogo de Unity. Configure la ruta de acceso del punto de control mediante SparkContext.setCheckpointDir en la computación dedicada o la configuración spark.checkpoint.dir en la computación estándar.

Los comandos SQL ya no se vuelven a ejecutar al llamar a cache()

Los comandos SQL ya no se vuelven a ejecutar al llamar a .cache() en el dataframe de resultados. Esto incluye comandos como SHOW TABLES y SHOW NAMESPACES.

Función SQL parse_timestamp

La parse_timestamp función SQL analiza las cadenas de marca de tiempo según múltiples patrones. Se fotoniza para una evaluación más rápida con marcas de tiempo en varios formatos. Consulte Patrones de fecha y hora para obtener información sobre el formato de patrones de fecha y hora.

Compatibilidad con cursores SQL en instrucciones compuestas

Las declaraciones compuestas de scripting SQL ahora admiten el procesamiento de cursores. Use DECLARE CURSOR para definir un cursor y, a continuación, una instrucción OPEN, una instrucción FETCH y una instrucción CLOSE para ejecutar la consulta y consumir filas de una en una. Los cursores pueden usar marcadores de parámetros y controladores de condición, como NOT FOUND para el procesamiento de filas por fila.

Funciones aproximadas de croquis top-k

Las nuevas funciones permiten crear y combinar bocetos de top-K aproximados para la agregación distribuida de top-K:

• approx_top_k_accumulate: crea un boceto por grupo. Consulte la approx_top_k_accumulate función de agregación.
• approx_top_k_combine: combina bocetos. Consulte la approx_top_k_combine función de agregación.
• approx_top_k_estimate: devuelve los elementos K principales con recuentos estimados. Consulte la approx_top_k_estimate función.

Para obtener más información, consulte approx_top_k funciones de agregado y funciones integradas.

Funciones de esquema de tupla

Las nuevas funciones de agregado y escalar para croquis de tupla admiten un recuento y una agregación distintos en pares clave-resumen.

Funciones de agregado:

• tuple_sketch_agg_double función de agregación
• tuple_sketch_agg_integer función de agregación
• tuple_union_agg_double función de agregación
• tuple_union_agg_integer función de agregación
• tuple_intersection_agg_double función de agregación
• tuple_intersection_agg_integer función de agregación

Funciones escalares:

• tuple_sketch_estimate
• tuple_sketch_summary
• tuple_sketch_theta
• tuple_union
• tuple_intersection
• tuple_difference

Consulte Funciones integradas.

Cambios de comportamiento

• Cláusula FILTER para funciones de agregado MEASURE
• Escrituras optimizadas para las operaciones CRTAS del catálogo de Unity
• Actualización de caché de DataFrame para tablas de control de acceso específicas
• Los valores de partición de marca de tiempo usan la zona horaria de sesión
• Descripción de la palabra clave reservada flow
• Mejora del rendimiento de las operaciones geoespaciales
• Tipos de excepción para SQLSTATE
• Ampliación automática del tipo de streaming

Cláusula FILTER para funciones de agregación MEASURE

Funciones de agregación MEASURE ahora admiten cláusulas FILTER. Anteriormente, los filtros se omitían de forma silenciosa.

Escrituras optimizadas para las operaciones CRTAS del catálogo de Unity

CREATE OR REPLACE TABLE Las operaciones de AS SELECT (CRTAS) en tablas de catálogos de Unity con particiones ahora aplican escrituras optimizadas de forma predeterminada. Para deshabilitarlo, establezca spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled en false.

Actualización de caché de DataFrame para tablas de control de acceso específicas

Al escribir en tablas de control de acceso detallado en un proceso dedicado, ahora se actualizan los DataFrames almacenados en caché que dependen de estas tablas.

Los valores de partición de marca de tiempo usan la zona horaria de sesión

Los valores de partición de marca de tiempo usan la zona horaria de sesión de Spark en lugar de la zona horaria de JVM. Si tiene particiones de marca de tiempo escritas antes de Databricks Runtime 18.0, ejecute SHOW PARTITIONS para comprobar los metadatos de la partición antes de escribir nuevos datos.

Descripción de la palabra clave reservada flow

El DESCRIBE FLOW comando ya está disponible. Si tiene una tabla denominada flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow o DESCRIBE `flow` con comillas invertidas.

Mejora del rendimiento de las operaciones geoespaciales

Las operaciones de conjunto booleano geoespacial usan una nueva implementación con un rendimiento mejorado. Las pequeñas diferencias de precisión pueden producirse después del 15º decimal.

Tipos de excepción para SQLSTATE

Los tipos de excepción se actualizan para admitir SQLSTATE. Si el código analiza las excepciones por coincidencias de cadenas o detecta tipos de excepción específicos, actualice la lógica de control de errores.

Ampliación automática del tipo de streaming

Las lecturas de streaming en tablas Delta controlan automáticamente la ampliación del tipo de columna. Para requerir confirmación manual, establezca spark.databricks.delta.typeWidening.enableStreamingSchemaTracking en true.

Actualizaciones de bibliotecas

No se actualizaron bibliotecas en esta versión.

Apache Spark

Databricks Runtime 18.1 incluye Apache Spark 4.1.0. Esta versión incluye todas las correcciones y mejoras de Spark incluidas en Databricks Runtime 18.0, así como las siguientes correcciones de errores y mejoras adicionales realizadas en Spark:

• SPARK-55350 Solucionar la pérdida de recuento de filas al crear un DataFrame a partir de pandas con 0 columnas
• SPARK-55364 Hacer que el protocolo SupportsIAdd y SupportsOrdering sean más razonables
• SPARK-53656 Refactorización de MemoryStream para usar SparkSession en lugar de SQLContext
• SPARK-55472 Activar AttributeError desde métodos eliminados en pandas 3
• SPARK-55224 Usar Spark DataType como referencia en la serialización de Pandas-Arrow
• SPARK-55402 Trasladar streamingSourceIdentifyingName de CatalogTable a DataSource
• SPARK-55459 Corrección de la regresión de rendimiento 3x en applyInPandas para grupos grandes
• SPARK-55317 Adición de un nodo de plan lógico SecuencialUnion y una regla de planeación
• SPARK-55424 Pase explícitamente el nombre de la serie en convert_numpy
• SPARK-55175 Extraer to_pandas transformador de los serializadores
• SPARK-55304 Introducir soporte para el control de admisión y Trigger.AvailableNow en el origen de datos de Python: lector de transmisión en continuo
• SPARK-55382 Hacer Executor para registrar Running Spark version
• SPARK-55408 Control de errores inesperados de argumentos de palabra clave relacionados con datetime con pandas 3
• SPARK-55345 No transfiera la unidad ni se convierta a Timedelta para pandas 3
• SPARK-54759 Protección correcta de la lógica en el Administrador de variables de scripting después de la introducción del cursor
• SPARK-55409 Control de un error de argumento de palabra clave inesperado de read_excel con pandas 3
• SPARK-55403 Corrección no attribute 'draw' del error en los tests de representación gráfica con pandas 3
• SPARK-55256 Revertir "[SC-218596][SQL] Admite IGNORE NULLS/RESPECT NULLS para array_agg y collect_list"
• SPARK-55256 Compatibilidad con IGNORE NULLS/RESPECT NULLS para array_agg y collect_list
• SPARK-55395 Deshabilitación de la caché de RDD en DataFrame.zipWithIndex
• SPARK-55131 Introduzca un nuevo delimitador de operador de combinación para RocksDB como una cadena vacía para concatenar sin delimitador
• Hacer que el argumento numeric_only en las funciones de groupby acepte solo booleanos con pandas 3
• SPARK-55334 Habilitar TimestampType y TimestampNTZType en convert_numpy
• SPARK-55281 Adición de ipykernel e IPython a la lista de paquetes opcionales de mypy
• SPARK-55336 Permita que createDF use la lógica de create_batch para el desacoplamiento
• SPARK-55366 Elimina errorOnDuplicatedFieldNames de las UDFs de Python
• SPARK-54759 Compatibilidad con cursores de scripting de SQL
• SPARK-55302 Corrección de métricas personalizadas en caso de KeyGroupedPartitioning
• SPARK-55228 Implementación de Dataset.zipWithIndex en la API de Scala
• SPARK-55373 Mejora del mensaje de error noHandlerFoundForExtension
• SPARK-55356 Alias de compatibilidad con la PIVOT cláusula
• SPARK-55359 Promover TaskResourceRequest a Stable
• SPARK-55365 Generalización de las utilidades para la conversión de matriz de flechas
• SPARK-55106 Agregar prueba de integración de repartición para operadores TransformWithState
• SPARK-55086 Documentación sobre la adición de DataSourceReader.pushFilters a la API de origen de datos de Python
• SPARK-46165 Agregar compatibilidad con DataFrame.all axis=None
• SPARK-55289 Revertir "[SC-218749][SQL] Corregir la prueba in-set-operations.sql poco fiable deshabilitando la combinación de difusión"
• SPARK-55297 Restaurar timedelta dtype basado en el dtype original
• SPARK-55291 Preprocesar encabezados de metadatos durante la construcción del interceptor del cliente
• SPARK-55155 Volver a aplicar "[SC-218401][SQL] Admitir expresiones plegables en la SET CATALOG instrucción
• SPARK-55318 Optimizaciones de rendimiento para vector_avg/vector_sum
• SPARK-55295 Extensión de la función ST_GeomFromWKB para tomar un valor SRID opcional
• SPARK-55280 Adición de getStatus proto para admitir la supervisión del estado de ejecución
• SPARK-54969 Implementación de la nueva conversión de arrow-pandas>
• SPARK-55176 Extracción arrow_to_pandas del convertidor en ArrowArrayToPandasConversion
• SPARK-55111 Revert "[SC-217817][SC-210791][SS] Detección de repartición sin terminar al reiniciar la consulta"
• SPARK-55252 Mejora HttpSecurityFilter para agregar Content-Security-Policy encabezado
• SPARK-55111 Detección de redistribución sin terminar en el reinicio de las consultas
• SPARK-55105 Agregar prueba de integración para el operador join
• SPARK-55260 Implementación de la compatibilidad de escritura de Parquet con tipos geográficos
• SPARK-54523 Corrección de la resolución predeterminada durante la inserción de variantes
• SPARK-55328 Reutilización de PythonArrowInput.codec en GroupedPythonArrowInput
• SPARK-55246 Agregar prueba para Pyspark TWS y TWSInPandas y corregir statePartitionAllColumnFamiliesWriter Bug
• SPARK-55289 Corrección de la prueba inestable en in-set-operations.sql deshabilitando la unión de difusión
• SPARK-55040 Refactorice TaskContext y el protocolo de trabajo relacionado con la corrección en el motor PySpark.
• SPARK-47996 admite la combinación cruzada en la API de Pandas
• SPARK-55031 Agregar expresiones de función de agregación promedio/suma de vectores
• SPARK-54410 Corrección de la compatibilidad de lectura para la anotación de tipo lógico variant
• SPARK-54776 Revertir "[SC-216482][SQL] Se ha mejorado el mensaje de registros con respecto a la función lambda con UDF de SQL".
• SPARK-55123 Adición de SequentialUnionOffset para el seguimiento del procesamiento de origen secuencial
• SPARK-54972 Mejorar las subconsultas NOT IN con columnas que no aceptan valores NULL
• SPARK-54776 Se ha mejorado el mensaje de registros relativo a la función lambda con UDF de SQL.
• SPARK-53807 Corregir problemas de condición de carrera entre unlock y releaseAllLocksForTask en BlockInfoManager
• SPARK-51831 Revertir "[SC-207389][SQL] Eliminación de columnas con existsJoin for Datasource V2"
• SPARK-54881 Mejora BooleanSimplification para controlar la negación de la conjunción y la disjunción en un paso
• SPARK-54696 Limpieza de ArrowBuffers en Connect
• SPARK-55009 Elimine la copia de memoria innecesaria del constructor de LevelDBTypeInfo/RocksDBTypeInfo.Index
• SPARK-54877 Hacer configurable la visualización del stacktrace en la página de error de la interfaz de usuario
• SPARK-51831 Eliminación de columnas con existsJoin for Datasource V2
• SPARK-55285 Corrección de la inicialización de PythonArrowInput
• SPARK-53960 Permitir que approx_top_k_accumulate/combine/estimate maneje NULLs
• SPARK-49110 Simplifique SubqueryAlias.metadataOutput para propagar siempre las columnas de metadatos
• SPARK-55155 Revertir "[SC-218401][SQL] Admitir expresiones plegables en la sentencia SET CATALOG"
• SPARK-55155 Soporte para expresiones plegables en la instrucción SET CATALOG
• SPARK-49110 Revertir "[SC-218594][SQL] Simplifique SubqueryAlias.metadataOutput para propagar siempre las columnas de metadatos".
• SPARK-54399 Implementación de la función st_setsrid en Scala y PySpark
• SPARK-49110 Simplifique SubqueryAlias.metadataOutput para propagar siempre las columnas de metadatos
• SPARK-55133 Corrección de la condición de carrera en la administración del ciclo de vida de IsolatedSessionState
• SPARK-55262 Bloquear tipos geográficos en todos los orígenes de datos basados en archivos, excepto Parquet
• SPARK-54202 Permitir la conversión de GeometryType(srid) a GeometryType(ANY)
• SPARK-54142 Implementación de la función st_srid en Scala y PySpark
• SPARK-54887 Establecer siempre un estado sql en el cliente de spark connect
• SPARK-55237 Suprimir mensajes molestos al buscar bases de datos inexistentes
• SPARK-55040 Revertir "[SC-217628][PYTHON] Refactorizar TaskContext y el protocolo de trabajo relacionado"
• SPARK-55243 Permitir establecer encabezados binarios a través del sufijo -bin en el cliente de Scala Connect
• SPARK-55259 Implementación de la conversión de esquemas Parquet para tipos geográficos
• SPARK-55282 Evite usar worker_util en el lado controlador
• SPARK-54151 Introducción al marco para agregar funciones ST en PySpark
• SPARK-55194 Eliminar GroupArrowUDFSerializer moviendo la lógica de aplanado a mapeador
• SPARK-55020 Deshabilitar gc al ejecutar el comando gRPC
• SPARK-55053 Refactorización de los procesos de análisis de fuente de datos y UDTF para que tengan una entrada unificada
• SPARK-55040 Refactorización de TaskContext y protocolo de trabajo relacionado
• SPARK-55244 Uso de np.nan como valor predeterminado para los tipos de cadena pandas
• SPARK-55225 Restauración al dtype original para Datetime
• SPARK-55154 Quite fastpath a pd. Serie para pandas 3
• SPARK-55030 Se ha agregado compatibilidad con expresiones de función de normalización o norma vectorial
• SPARK-55202 Corregir UNEXPECTED_USE_OF_PARAMETER_MARKER al usar param...
• SPARK-54201 Permitir la conversión de GeographyType(srid) a GeographyType(ANY)
• SPARK-54244 Introducir compatibilidad con la coerción de tipos para los tipos de datos GEOMETRY
• SPARK-54160 Implementación de la expresión ST_SetSrid en SQL
• SPARK-55046 Añadir métrica de tiempo de procesamiento de udf en PySpark
• SPARK-54101 Introducción al marco para agregar funciones ST en Scala
• SPARK-54683 Unificar tipos geográficos y de tiempo que causan bloqueo
• SPARK-55249 Hacer que DataFrame.toJSON pueda devolver dataframe
• SPARK-54521 Agregar a y desde WKB para el tipo geometría
• SPARK-54162 Permitir la conversión de GeographyType a GeometryType
• SPARK-55146 Volver a comprobar la API de repartición de estado para PySpark
• SPARK-55140 No asignar funciones integradas a ninguna versión de numpy para pandas 3
• SPARK-54243 Introducción del soporte para la coerción de tipos en los tipos de datos GEOGRAPHY
• SPARK-55058 Generar un error en metadatos incoherentes de punto de comprobación
• SPARK-55108 Usar los códigos auxiliares pandas más recientes para la comprobación de tipos
• SPARK-54091 Implementación de la expresión ST_Srid en SQL
• SPARK-55104 Adición de compatibilidad con Spark Connect para DataStreamReader.name()
• SPARK-54996 Informe Hora de llegada para los registros de LowLatencyMemoryStream
• SPARK-55118 Reemplazar las importaciones de caracteres comodín de códigos de operación de ASM
• SPARK-54365 Agregar prueba de integración de repartición para operadores Aggregate, Dedup, FMGWS y SessionWindow
• SPARK-55119 Corrección del controlador de continuación: evitar INTERNAL_ERROR e interrupción de instrucciones condicionales incorrectas
• SPARK-54104 No permitir la conversión de tipos geoespaciales a otros tipos de datos o desde otros tipos de datos
• SPARK-55240 Refactorización de la gestión de la traza de pila de LazyTry para usar el envoltorio en lugar de la excepción suprimida.
• SPARK-55238 Mover la lógica de asignación de Geo SRS de main/scala a main/java
• SPARK-55179 Omitir la validación de nombres de columna anticipada en df.col_name
• SPARK-55055 Compatibilidad con SparkSession.Builder.create para PySpark classic
• SPARK-55186 Permitir que ArrowArrayToPandasConversion.convert_legacy sea capaz de devolver pd.DataFrame
• SPARK-54079 Introducir el marco para agregar expresiones ST en Catalyst
• SPARK-54096 Compatibilidad con el mapeo del sistema de referencia espacial en PySpark
• SPARK-54801 Marcar algunas configuraciones nuevas de la versión 4.1 como internas
• SPARK-55146 Revertir "[SC-217936][SC-210779][SS] State Repartition API for PySpark"
• SPARK-54559 Uso de runnerConf para pasar la opción del generador de perfiles
• SPARK-55205 Corrección de pruebas en las que supone que el tipo de cadena se convertirá en objeto
• SPARK-55171 Corrección del generador de perfiles de memoria en UDF de iter
• SPARK-55226 Reconocer datetime y timedelta con unidades distintas de [ns]
• SPARK-55027 Traslado de writeConf a PythonWorkerUtils
• SPARK-55197 Extraer asistente para deduplicar la lógica de señal de START_ARROW_STREAM
• SPARK-54179 Agregar soporte nativo para Apache Tuple Sketches (#190848) (#191111)
• SPARK-55151 Corregir prueba RocksDBSuite testWithStateStoreCheckpointIds
• SPARK-55146 API de repartición de estado para PySpark
• SPARK-54232 Habilitar la serialización con Apache Arrow para los tipos Geography y Geometry
• SPARK-53957 Compatibilidad con GEOGRAPHY y GEOMETRY en SpatialReferenceSystemMapper
• SPARK-55169 Uso de ArrowBatchTransformer.flatten_struct en ArrowStreamArrowUDTFSerializer
• SPARK-55134 Arreglo BasicExecutorFeatureStep para lanzar IllegalArgumentException configuraciones incorrectas de CPU del ejecutor
• SPARK-54166 Introducción de codificadores de tipos para tipos geoespaciales en PySpark
• SPARK-55138 Soluciona convertToMapData que lanza una excepción NullPointerException
• SPARK-55168 Utilizar ArrowBatchTransformer.flatten_struct dentro de GroupArrowUDFSerializer
• SPARK-55032 Refactorizar generadores de perfiles en workers.py
• SPARK-54990 Corrección de cómo se implementa classproperty en session.py
• SPARK-55076 Corrección del problema de la pista de tipo en ml/mllib y adición del requisito de scipy
• SPARK-55162 Extraer transformadores de ArrowStreamUDFSerializer
• SPARK-55121 Agregar DataStreamReader.name() a PySpark clásico
• SPARK-54887 Adición de sqlstate opcional a sparkthrowables
• SPARK-54169 Introducción de los tipos Geography y Geometry en Writer de Arrow
• SPARK-51658 Introducir formatos de envoltura de geometría y geografía en memoria
• SPARK-54110 Introducción de codificadores de tipos para los tipos Geografía y Geometría
• SPARK-54956 Unificar la solución de reintento de reorganización de datos indeterminada
• SPARK-55137 Refactorizar GroupingAnalyticsTransformer y Analyzer código
• SPARK-54103 Introducción a las clases Geography y Geometry del lado cliente
• SPARK-55160 Pasar directamente el esquema de entrada a los serializadores
• SPARK-55170 Extracción del patrón de lectura de flujos agrupados de serializadores
• SPARK-55125 Eliminación de métodos redundantes __init__ en serializadores de flecha
• SPARK-55126 Eliminar la zona horaria sin usar y assign_cols_by_name de ArrowStreamArrowUDFSerializer
• SPARK-54980 Convertir el nivel de aislamiento JDBC en una cadena
• SPARK-55051 La cadena de bytes acepta KiB, MiB, GiB, TiB, PiB
• SPARK-55025 Mejora del rendimiento en pandas mediante la comprensión de listas
• SPARK-46165 Agregue compatibilidad con pandas. DataFrame.all axis=1
• SPARK-55037 Volver a implementar la observación sin usar queryExecutionListener
• SPARK-54965 Extraer convertidor de pa.Array heredado a pd.Series
• SPARK-55016 Convertir SQLConf en una propiedad directa de SparkSession para evitar el desbordamiento de la pila
• SPARK-55091 Reducción de llamadas RPC de Hive para el DROP TABLE comando
• SPARK-55097 Solución al problema de volver a agregar artefactos almacenados en caché que elimina los bloques de forma silenciosa.
• SPARK-55026 Optimice BestEffortLazyVal.
• SPARK-55091 Revertir "[SC-217410][SQL] Reducir las llamadas RPC de Hive para comando DROP TABLE"
• SPARK-54590 Compatibilidad con checkpoint V2 para reescritura de estado y repartición
• SPARK-55016 Convertir SQLConf en una propiedad directa de SparkSession para evitar el desbordamiento de la pila
• SPARK-55091 Reducción de llamadas RPC de Hive para el DROP TABLE comando
• SPARK-55016 Revertir "[SC-217401][SQL] Hacer que SQLConf sea una propiedad directa de SparkSession para prevenir un stack overflow"
• SPARK-55016 Convertir SQLConf en una propiedad directa de SparkSession para evitar el desbordamiento de la pila
• SPARK-55098 Las UDF vectorizadas con control de tamaño de lote de salida fallan debido a una pérdida de memoria.
• SPARK-54824 Adición de compatibilidad con multiGet y deleteRange for Rocksdb State Store
• SPARK-55054 Añadir soporte para IDENTIFIED BY para funciones de tabla con valores transmitidos
• SPARK-55029 Propagar nombre identificador del origen de streaming a través del proceso de resolución
• SPARK-55071 Hacer que spark.addArtifact funcione con rutas de acceso de Windows
• SPARK-54103 Revertir "[SC-210400][Geo][SQL] Introducir clases Geography y Geometry del lado del cliente"
• SPARK-54103 Introducción a las clases Geography y Geometry del lado cliente
• SPARK-54033 Introducción a las clases de ejecución geoespacial Catalyst del lado del servidor
• SPARK-54176 Introducir los tipos de datos geografía y geometría en PySpark Connect
• SPARK-55089 Corregir el esquema de salida de toJSON
• SPARK-55035 Realizar la limpieza aleatoria en ejecuciones secundarias
• SPARK-55036 Agregar ArrowTimestampConversion para el control de zonas horarias de flecha
• SPARK-55090 Implementación DataFrame.toJSON en el cliente de Python
• SPARK-54873 Simplificar la resolución de la V2TableReference, ya que solo puede estar contenida en una vista temporal.
• SPARK-52828 Hacer que el hash de las cadenas intercaladas sea independiente de la intercalación
• SPARK-54175 Agregar los tipos geography y geometry a Proto de Spark Connect
• SPARK-54961 Introducción GroupingAnalyticsTransformer
• SPARK-55088 Mantener los metadatos en/from_arrow_type/schema
• SPARK-55070 Permitir columna oculta en la resolución de columnas del dataframe
• SPARK-55044 Mantener los metadatos en toArrowSchema/fromArrowSchema
• SPARK-55043 Corregir el viaje en el tiempo con una subconsulta que contiene referencias de tabla
• SPARK-54987 Cambie el valor predeterminado de prefer_timestamp_ntz a True en from_arrow_type/from_arrow_schema
• SPARK-54866 Refactorización de Drop/RefreshFunction para evitar la búsqueda de catálogos
• SPARK-55024 Utilizar el error REQUIRES_SINGLE_PART_NAMESPACE para la validación del espacio de nombres del catálogo de sesiones
• SPARK-54992 Reemplazar el cast por una comprobación en tiempo de ejecución para make_timestamp
• SPARK-55024 Revertir "[SC-216987][SQL] Usar REQUIRES_SINGLE_PART_NAMESPACE error para la validación del espacio de nombres del catálogo de sesiones"
• SPARK-54866 Revertir "[SC-216753][SQL] Refactorizar Drop/RefreshFunction para evitar la búsqueda de catálogos"
• SPARK-55024 Utilizar el error REQUIRES_SINGLE_PART_NAMESPACE para la validación del espacio de nombres del catálogo de sesiones.
• SPARK-54866 Refactorización de Drop/RefreshFunction para evitar la búsqueda de catálogos
• SPARK-54991 Corrección de la sugerencia de tipo para streaming y listener.py
• SPARK-54925 Adición de la funcionalidad para volcar subprocesos para pyspark
• SPARK-54803 Compatibilidad POR NOMBRE con INSERT ... REPLACE WHERE
• SPARK-54785 Se ha agregado compatibilidad con agregaciones de bocetos binarios en KLL (188370) (188860)
• SPARK-54949 Mover pyproject.toml a la raíz del repositorio
• SPARK-54954 Corrección de sugerencias de tipo relacionadas con el remoto en util.py
• SPARK-54922 Unificar cómo se pasan los argumentos a los trabajadores de Python
• SPARK-54870 Compatibilidad de intercalación con char/varchar y CTAS/RTAS
• SPARK-54762 Corregir la firma de sobrecarga de _create_converter y covert
• SPARK-55019 Permitir DROP TABLE quitar vista
• SPARK-53103 Se produce un error si el directorio de estado no está vacío cuando se inicia la consulta
• SPARK-54995 Crear una ruta de acceso rápida para foreachPartition
• SPARK-54634 Adición de un mensaje de error claro para el predicado IN vacío
• SPARK-54984 Ejecución de repartición de estado e integración con State Rewriter
• SPARK-54443 Integración de PartitionKeyExtractor en el lector de re-partición
• SPARK-54907 Introducción a la regla del analizador NameStreamingSources para la evolución del origen de streaming
• SPARK-54609 Actualizar la configuración del tipo TIME para que coincida con el de OSS
• SPARK-54988 Simplificación de la implementación de ObservationManager.tryComplete
• SPARK-54959 Deshabilitar el reintento completo por discrepancia en la suma de comprobación cuando la mezcla basada en inserción está habilitada.
• SPARK-54940 Adición de pruebas para la inferencia de tipos pa.scalar
• SPARK-54634 Revertir "[SC-216478][SQL] Agregar mensaje de error claro para el predicado IN vacío"
• SPARK-54337 Adición de compatibilidad con PyCapsule a Pyspark
• SPARK-54634 Adición de un mensaje de error claro para el predicado IN vacío
• SPARK-53785 Fuente de memoria para RTM
• SPARK-54883 Limpieza de mensajes de error para la CLI y adición de un nuevo modo de error DEBUG
• SPARK-54713 Se ha agregado compatibilidad con expresiones de función de distancia y similitud de vectores
• SPARK-54962 Corrección del manejo de enteros anulables en UDF de Pandas
• SPARK-54864 Adición de nodos rCTE a NormalizePlan
• SPARK-53847 Adición de ContinuousMemorySink para pruebas en modo en tiempo real
• SPARK-54865 Adición del método foreachWithSubqueriesAndPruning a QueryPlan
• SPARK-54930 Quitar la llamada redundante _accumulatorRegistry.clear() en worker.py
• SPARK-54929 Corregir que el restablecimiento de taskContext._resources en bucle hace que solo se conserve el último recurso.
• SPARK-54963 Asegurar que createDataFrame respete prefer_timestamp_ntz cuando infer_pandas_dict_as_map
• SPARK-54920 Mover la lógica de extracción de análisis de agrupación a un módulo común GroupingAnalyticsExtractor
• SPARK-54924 Reescritura de estado para leer el estado, transformarlo y escribir nuevo estado
• SPARK-54872 Unificar el control de valores predeterminados de columna entre los comandos v1 y v2
• SPARK-54905 Simplificación de la implementación de foreachWithSubqueries en QueryPlan
• SPARK-54682 Compatibilidad con la visualización de parámetros en DESCRIBE PROCEDURE
• SPARK-54933 Evite obtener repetidamente la configuración binary_as_bytes en toLocalIterator
• SPARK-54872 Revertir "[SC-216260][SQL] Unificar la gestión de los valores predeterminados de columna entre los comandos v1 y v2"
• SPARK-51936 ReplaceTableAsSelect debe sobrescribir la nueva tabla en lugar de anexar
• SPARK-54771 Eliminación de la regla ResolveUserSpecifiedColumns de RuleIdCollection
• SPARK-54872 Unificar el control de valores predeterminados de columna entre los comandos v1 y v2
• SPARK-54313 Adición de la opción --extra-properties-file para la capa de configuración
• SPARK-54468 Agregar clases de error que faltan
• SPARK-46741 La tabla de caché con la CTE debe funcionar cuando la CTE esté en la subconsulta de la expresión de plan
• SPARK-46741 La tabla de caché con CTE no funcionará
• SPARK-54615 Pasar siempre runner_conf al worker de Python
• SPARK-53737 Agregar desencadenador en modo en tiempo real
• SPARK-54541 Cambiar el nombre de _LEGACY_ERROR_TEMP_1007 y agregar sqlState
• SPARK-54718 Conservar los nombres de atributos durante el newInstance() de CTE
• SPARK-54621 Combinar en conjunto de actualizaciones * conservar campos anidados si ... coerceNestedTypes está habilitado
• SPARK-54595 Mantener el comportamiento existente de MERGE INTO sin SCHEMA la cláusula EVOLUTION
• SPARK-54903 Hacer que to_arrow_schema/to_arrow_type puedan establecer la zona horaria
• SPARK-52326 Agregar particiones relacionadas con ExternalCatalogEvent y publicarlas en las operaciones correspondientes
• SPARK-54541 Revertir "[SC-215212][SQL] Cambiar el nombre de _LEGACY_ERROR_TEMP_1007 y agregar sqlState"
• SPARK-54578 Realizar limpieza de código en AssignmentUtils
• SPARK-54830 Habilitar por defecto el reintento de barajado indeterminado basado en checksum
• SPARK-54525 Deshabilitar la coerción de estructura anidada en MERGE INTO en una configuración
• SPARK-53784 API de origen adicionales necesarias para admitir la ejecución de RTM
• SPARK-54496 Corrección de fusiones en la evolución del esquema para Dataframe API
• SPARK-54835 Evitar consultas temporales innecesarias para la ejecución de comandos anidados
• SPARK-54541 Cambiar el nombre de _LEGACY_ERROR_TEMP_1007 y agregar sqlState
• SPARK-54289 Permitir MERGE INTO conservar los campos de estructura existentes para UPDATESET * cuando la estructura de origen tiene menos campos anidados que la estructura de destino
• SPARK-54720 Agregar SparkSession.emptyDataFrame con un esquema
• SPARK-54800 Se ha cambiado la implementación predeterminada de isObjectNotFoundException
• SPARK-54686 Relajación de las comprobaciones de tabla DSv2 en vistas temporales para permitir nuevas columnas de nivel superior
• SPARK-54619 Adición de una comprobación de integridad para los números de configuración
• SPARK-54726 Mejora del rendimiento de InsertAdaptiveSparkPlan
• SPARK-51966 Reemplace select.select() por select.poll() cuando se ejecute en el sistema operativo POSIX
• SPARK-54749 Corrección de la métrica numOutputRows incorrecta en OneRowRelationExec
• SPARK-54411 Introduce un escritor de partición que admite Multi-CF
• SPARK-54835 Revertir "[SC-215823][SQL] Evitar la ejecución de consultas temporales innecesarias para la ejecución de comandos anidados"
• SPARK-54867 Introducción del envoltorio NamedStreamingRelation para la identificación del origen durante el análisis
• SPARK-54835 Evitar la ejecución innecesaria de consultas temporales para la ejecución de comandos anidados
• SPARK-54491 Arreglar el fallo de inserción en la vista temporal de la tabla DSv2.
• SPARK-54871 Eliminar alias de las expresiones de agrupación y agregado antes de gestionar el análisis de agrupación
• SPARK-51920 Corrección del control de tipos de namedTuple para transfromWithState
• SPARK-54526 Cambiar el nombre de _LEGACY_ERROR_TEMP_1133 y agregar sqlState
• SPARK-54424 Los errores durante la recacación no deben producir errores en las operaciones
• SPARK-54894 Corregir la transmisión de argumentos en to_arrow_type
• SPARK-53448 Se produce un error en la conversión de una trama de datos pyspark con una columna Variant a pandas.
• SPARK-54882 Quitar la opción heredada PYARROW_IGNORE_TIMEZONE
• SPARK-54504 Corrección de la actualización de versiones para tablas DSv2 con subconsultas
• SPARK-544444 Relajación de las comprobaciones de tabla DSv2 para restaurar el comportamiento anterior
• SPARK-54859 Documento de referencia de la API UDF de PySpark con Arrow como predeterminado
• SPARK-54387 Revert "[ES-1688666] Revert "[SC-212394][SQL] Corrección del recaching de tablas DSv2""
• SPARK-54753 corrige la pérdida de memoria de ArtifactManager
• SPARK-54387 Revertir "[SC-212394][SQL] Corrección del recaching de tablas DSv2"
• SPARK-54436 Corrección del formato de error para comprobaciones de metadatos de tabla incompatibles
• SPARK-54849 Actualización de la versión mínima de pyarrow a 18.0.0
• SPARK-54022 Hacer que la resolución de tablas DSv2 sea consciente de las tablas almacenadas en caché
• SPARK-54387 Corregir el recacheo de tablas DSv2
• SPARK-53924 Recargar las tablas DSv2 en vistas que se crean mediante planes cada vez que se accede a la vista
• SPARK-54561 Compatibilidad con puntos de interrupción() para run-tests.py
• SPARK-54157 Corrección del refresco de tablas DSv2 en Dataset
• SPARK-54830 Revertir "[CORE] Habilitar el reintento de barajado indeterminado basado en checksum de forma predeterminada"
• SPARK-54861 Restablecer el nombre del subproceso de tarea en IDLE_TASK_THREAD_NAME cuando se completa la tarea
• SPARK-54834 Agregar nuevas interfaces SimpleProcedure y SimpleFunction
• SPARK-54760 DelegatingCatalogExtension como catálogo de sesión admite tanto funciones V1 como V2
• SPARK-54685 Eliminación de respuestas redundantes de métricas observadas
• SPARK-54853 Comprobar hive.exec.max.dynamic.partitions siempre en el lado de Spark
• SPARK-54840 Asignación previa de OrcList
• SPARK-54830 Habilitar por defecto el reintento de barajado indeterminado basado en checksum
• SPARK-54850 Mejora extractShuffleIds para buscar AdaptiveSparkPlanExec en cualquier lugar del árbol de plan
• SPARK-54843 La función Try_to_number no funciona para una entrada de cadena vacía.
• SPARK-54556 Reversión de las etapas de mapa shuffle posteriores al detectar una discrepancia en la suma de comprobación de shuffle
• SPARK-54760 Restaurar "[SC-215670][SQL] DelegatingCatalogExtension como catálogo de sesión admite funciones V1 y V2".
• SPARK-54760 DelegarCatalogExtension como catálogo de sesiones admite funciones V1 y V2
• SPARK-54818 Error de asignación fallida en TaskMemoryManager debería registrar la pila de errores para ayudar a verificar el uso de memoria
• SPARK-54827 Agregar función auxiliar TreeNode.containsTag
• SPARK-54777 Revertir "[SC-215740][SQL] Se cambió el control de errores dropTable en JDBCTableCatalog.dropTable(...)"
• SPARK-54777 Se ha cambiado el control de errores de dropTable en JDBCTableCatalog.dropTable(...)
• SPARK-54817 Refactorizar la lógica de resolución Unpivot a UnpivotTransformer
• SPARK-54820 Compatibilidad pandas_on_spark_type con numpy 2.4.0
• SPARK-54799 Refactorización UnpivotCoercion
• SPARK-54754 OrcSerializer no debe analizar el esquema cada vez que se serializa
• SPARK-54226 Extender la compresión de Arrow a UDF de Pandas
• SPARK-54787 Utilizar la comprensión de listas en lugar de bucles for en pandas
• SPARK-54690 Hacer Frame.__repr__ que no sea sensible a la optimización de flechas
• SPARK-46166 Implementación de pandas.DataFrame.any con axis=None
• SPARK-54696 Limpieza de búferes de flechas: seguimiento
• SPARK-54769 Eliminación del código fallido en conversion.py
• SPARK-54787 Uso de la comprensión de listas en pandas _bool_column_labels
• SPARK-54794 Suprimir registros de FsHistoryProvider.checkForLogs escaneo detallados
• SPARK-54745 Corrección del error de importación de PySpark causado por la falta de UnixStreamServer en Windows
• SPARK-54782 Corregir las versiones de configuración
• SPARK-54781 Devolver información de caché del modelo en formato JSON
• SPARK-54419 Lector de estado de repartición sin conexión admite familias de varias columnas
• SPARK-54722 Registrar UDF de agregado de iterador de grupo Pandas para uso en SQL
• SPARK-54762 Revertir "[SC-215422][PYTHON] Corrección _create_converter y covert sobrecarga de la firma"
• SPARK-54652 Revertir "[SC-215452][SQL] Conversión completa de IDENTIFIER()"
• SPARK-54762 Corregir la firma de sobrecarga de _create_converter y covert
• SPARK-52819 Hacer que KryoSerializationCodec sea serializable para corregir errores java.io.NotSerializableException en varios casos de uso
• SPARK-54711 Adición de un tiempo de espera para la conexión de trabajo creada por el demonio
• SPARK-54738 Añadir compatibilidad con Profiler para UDF de agregado iterado de grupos de Pandas
• SPARK-54652 Conversión completa de IDENTIFIER()
• SPARK-54581 Hacer que la opción fetchsize no distingue mayúsculas de minúsculas para el conector de Postgres
• SPARK-54589 Consolidar ArrowStreamAggPandasIterUDFSerializer en ArrowStreamAggPandasUDFSerializer
• SPARK-41916 Distribuidor de torch: admite varios procesos de torchrun por tarea si task.gpu.amount > 1
• SPARK-54707 Refactorización de PIVOT la lógica principal de resolución en PivotTransformer
• SPARK-54706 Hacer que DistributedLDAModel funcione con el sistema de archivos local
• SPARK-53616 Introducción de la API de iterador para UDF de agregación agrupada en pandas
• SPARK-54116 Agregar compatibilidad con el modo fuera de pila para LongHashedRelation
• SPARK-54656 Refactorizar SupportsPushDownVariants para que sea un mix-in de ScanBuilder
• SPARK-54687 Agregar un archivo dorado con los casos perimetrales de resolución de generadores
• SPARK-54708 Optimización de la limpieza de caché de ML con creación diferida de directorios
• SPARK-54116 Revertir "[SC-213108][SQL] Agregar compatibilidad con el modo fuera del montón para LongHashedRelation"
• SPARK-54116 Agregar soporte para el modo de memoria fuera del heap para LongHashedRelation
• SPARK-54443 Extracción de claves de partición para todos los operadores con estado de streaming
• SPARK-54687 Revertir "[SC-214791][SQL] Agregar un archivo dorado con los casos perimetrales de resolución de generadores"
• Revertir SPARK-54116 "[SC-213108][SQL] Agregar compatibilidad con el modo fuera de la pila para LongHashedRelation"
• SPARK-54687 Agregar un archivo de referencia con los casos extremos de resolución de generadores
• SPARK-54116 Agregar compatibilidad con el modo de memoria fuera del heap para LongHashedRelation
• SPARK-54420 Introducción a la repartición en modo offline StatePartitionWriter para una sola familia de columnas
• SPARK-54689 Haz org.apache.spark.sql.pipelines el paquete interno y haz EstimatorUtils privado
• SPARK-54673 Refactorización del código de análisis de sintaxis de canalización de SQL para compartir y reutilizar
• SPARK-54668 Adición de pruebas para CTEs en operadores con múltiples hijos
• SPARK-54669 Eliminar la conversión redundante en rCTEs
• SPARK-54587 Consolidar todo el código relacionado con runner_conf
• SPARK-54628 Quitar todos los argumentos super() explícitos innecesarios
• SPARK-54675 Añadir tiempo de espera de apagado forzado configurable para el grupo de subprocesos de mantenimiento de StateStore
• SPARK-54639 Evitar la creación innecesaria de tablas en serializadores de flechas
• SPARK-49635 Eliminación de la sugerencia de configuración ANSI en los mensajes de error CAST
• SPARK-54664 Limpieza del código relacionado con listenerCache desde connect.StreamingQueryManager
• SPARK-54640 Reemplace select.select por select.poll en UNIX
• SPARK-54662 Agregar viztracer y debugpy en dev/requirements.txt
• SPARK-54632 Agregar la opción para usar ruff para lint
• SPARK-54585 Corregir el rollback del almacén de estado cuando el subproceso está en estado interrumpido
• SPARK-54172 La fusión en la evolución del esquema solo debe añadir las columnas referenciadas
• SPARK-54438 Consolidar ArrowStreamAggArrowIterUDFSerializer en ArrowStreamAggArrowUDFSerializer
• SPARK-54627 Eliminación de inicializaciones redundantes en serializadores
• SPARK-54631 Añadir soporte para el generador de perfiles para la UDF de agregado de iteración agrupada de Arrow
• SPARK-54316 Volver a aplicar [SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer con GroupPandasUDFSerializer
• SPARK-54392 Optimización de la comunicación JVM-Python para el estado inicial de TWS
• SPARK-54617 Habilitar el registro de UDF de agregación agrupada de iteración para SQL
• SPARK-54544 Habilitar la comprobación de flake8 F811
• SPARK-54650 Mover la conversión de int a decimal en _create_converter_from_pandas
• SPARK-54316 Revertir "[SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer con GroupPandasUDFSerializer"
• SPARK-53687 Introducir WATERMARK cláusula en la instrucción SQL
• SPARK-54316 Consolidar GroupPandasIterUDFSerializer con GroupPandasUDFSerializer
• SPARK-54598 Extracción de lógica para leer UDF
• SPARK-54622 Promover RequiresDistributionAndOrdering y sus interfaces necesarias a Evolving
• SPARK-54624 Asegúrese de que el nombre de usuario de la página del historial obtenga escape
• SPARK-54580 Considerar Hive 4.1 en HiveVersionSuite y HiveClientImpl
• SPARK-54068 Corrección to_feather para admitir PyArrow 22.0.0
• SPARK-54618 Promover LocalScan a Stable
• SPARK-54616 Marcar SupportsPushDownVariants como Experimental
• SPARK-54607 Quitar el método toStringHelper no utilizado de AbstractFetchShuffleBlocks.java
• SPARK-53615 Introducir la API de iterador para la UDF de agregación agrupada de Arrow
• SPARK-54608 Evitar el almacenamiento en caché doble del convertidor de tipos en UDTF
• SPARK-54600 No utilizar pickle para guardar y cargar modelos en pyspark.ml.connect
• SPARK-54592 Hacer estimatedSize privado
• SPARK-54388 Introducir StatePartitionReader que escanea bytes sin procesar para Single ColFamily
• SPARK-54570 Propagar la clase de error correctamente en Spark Connect
• SPARK-54577 Optimización de llamadas py4J en la inferencia de esquema
• SPARK-54568 Evitar la conversión innecesaria de Pandas en la creación de DataFrame desde ndarray
• SPARK-54576 Adición de documentación para nuevas funciones de agregado basadas en Datasketches
• SPARK-54574 Volver a habilitar FPGrowth en la conexión
• SPARK-54557 Hacer que CSV/JSON/XmlOptions y CSV/JSON/XmlInferSchema sean comparables
• SPARK-52798 Añadir la función approx_top_k_combine
• SPARK-54446 FPGrowth admite el sistema de archivos local con el formato de archivo Arrow
• SPARK-54547 Cambiar el nombre hostPort de la variable a host en TaskSchedulerImpl.(executorLost|logExecutorLoss) los métodos
• SPARK-54558 Corrección de la excepción interna cuando se usan controladores de excepciones sin BEGIN/END
• SPARK-52923 Permitir que ShuffleManager controle la combinación de inserción durante el registro aleatorio
• SPARK-54474 Descartar el informe XML en las pruebas que se supone que deben fallar
• SPARK-54473 Adición de compatibilidad de lectura y escritura de Avro para el tipo TIME
• SPARK-54472 Agregar compatibilidad de lectura y escritura ORC para el tipo TIME
• SPARK-54463 Adición de compatibilidad con la serialización y deserialización de CSV para el tipo TIME
• SPARK-52588 Approx_top_k: acumulación y estimación
• SPARK-54461 Agregar soporte para la serialización y deserialización XML para el tipo TIME
• SPARK-54451 Adición de compatibilidad con la serialización y deserialización de JSON para el tipo TIME
• SPARK-54537 Corrección de SparkConnectDatabaseMetaData getSchemas/getTables en catálogos a los que les falta la capacidad del namespace
• SPARK-54442 Adición de funciones de conversión numéricas para el tipo TIME
• SPARK-54451 Revertir "[SC-212861][SQL] Agregar soporte para la serialización y deserialización de JSON para el tipo TIME"
• SPARK-54492 Cambiar el nombre de _LEGACY_ERROR_TEMP_1201 y agregar sqlState
• SPARK-54531 Presentación de ArrowStreamAggPandasUDFSerializer
• SPARK-54223 Adición de métricas de datos y contexto de tareas a los registros del ejecutor de Python
• SPARK-54272 Agregar aggTime para SortAggregateExec
• SPARK-53469 Capacidad de limpiar la mezcla de datos en el servidor Thrift
• SPARK-54219 Configuración de compatibilidad spark.cleaner.referenceTracking.blocking.timeout
• SPARK-54475 Agregar: master-server, branch-4.0-client, Python 3.11
• SPARK-54451 Adición de compatibilidad con la serialización y deserialización de JSON para el tipo TIME
• SPARK-54285 Caché de información de zona horaria para evitar una conversión costosa de marca de tiempo
• SPARK-49133 Hacer que el miembro MemoryConsumer#used sea atómico para evitar que el código de usuario cause un interbloqueo
• SPARK-46166 Implementación de pandas.DataFrame.any con axis=1
• SPARK-54532 Adición de compatibilidad con sqlstate para PySparkException
• Spark-54435 spark-pipelines init debe evitar sobrescribir el directorio existente
• SPARK-54247 Cerrar explícitamente el socket para util._load_from_socket

Compatibilidad con el controlador ODBC/JDBC de Databricks

Databricks admite controladores ODBC/JDBC publicados en los últimos 2 años. Descargue los controladores publicados recientemente y actualice (descargue ODBC, descargue JDBC).

Entorno del sistema

• Sistema operativo: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.1

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea CRAN del Administrador de Paquetes de Posit del 2025-11-20.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.13)