Databricks Runtime 18.1 (Beta)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 18.1 (Beta).

Essa versão incorpora todos os recursos, melhorias e correções de bug de todas as versões anteriores do Databricks Runtime. O Databricks lançou esta versão em fevereiro de 2026.

Novos recursos e melhorias

• O Carregador Automático usa eventos de arquivo por padrão quando disponível
• Gravações otimizadas para tabelas do Unity Catalog particionadas, criadas com CRTAS
• Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse
• Comentários da tabela do Google BigQuery
• Evolução do esquema com INSERT declarações
• Preservação de valores NULL em estruturas nas operações INSERT
• Suporte a transações em múltiplas instruções do Delta Sharing
• Pontos de verificação do DataFrame em caminhos de volume
• Os comandos SQL não são mais executados novamente ao chamar cache()
• Função SQL parse_timestamp
• Suporte ao cursor SQL em instruções compostas
• Funções de esquemas top-k aproximadas
• Funções de esboço de tupla

O Carregador Automático usa eventos de arquivo por padrão quando disponível

O Carregador Automático usa eventos de arquivo por padrão ao carregar de um local externo com eventos de arquivo habilitados, o que reduz as operações de lista e o custo em comparação com a listagem de diretórios. Consulte o Carregador Automático com visão geral de eventos de arquivo. Os eventos de arquivo não serão usados se seu código de fluxo definir useIncrementalListing ou useNotifications. Para usar a listagem de diretórios, defina useManagedFileEvents como false.

Gravações otimizadas para tabelas particionadas no Unity Catalog criadas com CRTAS

Gravações otimizadas se aplicam a tabelas particionadas do Catálogo do Unity criadas pelo CREATE OR REPLACE TABLE ... AS SELECT (CRTAS), produzindo menos arquivos maiores. Esse comportamento é habilitado por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.

Suporte ao tipo de dados DATETIMEOFFSET para o Microsoft Azure Synapse

O DATETIMEOFFSET tipo de dados tem suporte para conexões do Microsoft Azure Synapse.

Comentários da tabela do Google BigQuery

As descrições da tabela do Google BigQuery são resolvidas e expostas como comentários de tabela.

Evolução do esquema com INSERT declarações

Use a WITH SCHEMA EVOLUTION cláusula com instruções SQL INSERT para evoluir automaticamente o esquema da tabela de destino durante as operações de inserção. Há suporte para INSERT INTO, INSERT OVERWRITE e INSERT INTO ... REPLACE formas. Por exemplo:

INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;

O esquema da tabela Delta Lake de destino é atualizado para acomodar colunas adicionais ou tipos expandidos da origem. Para obter detalhes, consulte a evolução do esquema e INSERT a sintaxe da instrução.

Valores de struct preservados como NULL em operações INSERT

INSERT operações com evolução de esquema ou conversão implícita preservam NULL valores de struct quando as tabelas de origem e destino têm ordens diferentes dos campos do struct.

Suporte para transações multideclarações no Delta Sharing

As tabelas de compartilhamento Delta que utilizam modos de compartilhamento com URL pré-assinado ou token da nuvem oferecem suporte a transações de várias instruções. No primeiro acesso dentro de uma transação, a versão da tabela é fixada e reutilizada para todas as leituras subsequentes nessa transação.

Limitations:

• Não há suporte para viagem no tempo, fluxo de dados de alteração e streaming.
• Não há suporte para transações de várias instruções em tabelas compartilhadas sem histórico.
• Visões compartilhadas e entidades externas não são permitidas em ambiente de computação não confiável.

Pontos de verificação do DataFrame em caminhos de volume

Os pontos de verificação do DataFrame suportam caminhos de volume do Unity Catalog. Configure o caminho do ponto de verificação usando SparkContext.setCheckpointDir na computação dedicada ou a configuração spark.checkpoint.dir na computação padrão.

Os comandos SQL não são mais executados novamente ao chamar cache()

Os comandos SQL não são mais reexecutados quando se chama o DataFrame de resultado através de .cache(). Isso inclui comandos como SHOW TABLES e SHOW NAMESPACES.

função SQL parse_timestamp

A parse_timestamp função SQL analisa cadeias de caracteres de carimbo de data/hora em relação a vários padrões. Ele é fotonizado para avaliação mais rápida com carimbos de data/hora em vários formatos. Consulte padrões datetime para obter informações sobre a formatação de padrão datetime.

Suporte ao cursor SQL em instruções compostas

As declarações compostas de script SQL agora oferecem suporte para o processamento de cursores. Use DECLARE CURSOR para definir um cursor e então utilize uma instrução OPEN, uma instrução FETCH e uma instrução CLOSE para executar a consulta e consumir as linhas uma de cada vez. Os cursores podem usar marcadores de parâmetro e manipuladores de condição, como NOT FOUND para processamento linha por linha.

Funções de esboço aproximadas top-k

As novas funções permitem a criação e a combinação de esboços top-K aproximados para agregação distribuída top-K:

• approx_top_k_accumulate: cria um esboço por grupo. Consulte approx_top_k_accumulate a função de agregação.
• approx_top_k_combine: mescla esboços. Consulte approx_top_k_combine a função de agregação.
• approx_top_k_estimate: retorna os principais itens K com contagens estimadas. Veja a approx_top_k_estimate função.

Para obter mais informações, consulte approx_top_k a função de agregação e as funções internas.

Funções de esboço de tupla

Novas funções agregadas e escalares para esboço de tupla dão suporte a contagem e agregação distintas em pares de resumo de chave.

Funções de agregação:

• tuple_sketch_agg_double função de agregação
• tuple_sketch_agg_integer função de agregação
• tuple_union_agg_double função de agregação
• tuple_union_agg_integer função de agregação
• tuple_intersection_agg_double função de agregação
• tuple_intersection_agg_integer função de agregação

Funções escalares:

• tuple_sketch_estimate
• tuple_sketch_summary
• tuple_sketch_theta
• tuple_union
• tuple_intersection
• tuple_difference

Consulte funções internas.

Alterações comportamentais

• Cláusula FILTER para funções de agregação MEASURE
• Gravações otimizadas para operações do Catálogo do Unity CRTAS
• Atualização de cache do DataFrame para tabelas de controle de acesso refinadas
• Valores de partição de timestamps usam o fuso horário da sessão
• DESCRIBE FLOW é uma palavra-chave reservada
• Melhoria de desempenho de operações geoespaciais
• Tipos de exceção para SQLSTATE
• Expansão automática de tipo de streaming

Cláusula FILTER para funções de agregação MEASURE

As funções de agregação MEASURE agora dão suporte a cláusulas FILTER. Anteriormente, os filtros eram silenciosamente ignorados.

Operações de gravações otimizadas para CRTAS do Unity Catalog

CRIAR OU SUBSTITUIR TABLE As operações do AS SELECT (CRTAS) em tabelas particionadas do Catálogo do Unity agora aplicam gravações otimizadas por padrão. Para desabilitar, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.

Atualização de cache do DataFrame para tabelas de controle de acesso refinadas

Gravar em tabelas de controle de acesso refinadas na computação dedicada agora atualiza DataFrames armazenados em cache que dependem da tabela.

Valores de partição de timestamp usam o fuso horário da sessão

Os valores de partição de timestamp usam o fuso horário da sessão Spark em vez do fuso horário JVM. Se você tiver partições de carimbo de data/hora gravadas antes do Databricks Runtime 18.0, execute SHOW PARTITIONS para verificar os metadados de partição antes de gravar novos dados.

Palavra-chave reservada DESCRIBE FLOW

O DESCRIBE FLOW comando agora está disponível. Se você tiver uma tabela chamada flow, use DESCRIBE schema.flow, DESCRIBE TABLE flow, ou DESCRIBE `flow` com backticks.

Melhoria de desempenho de operações geoespaciais

As operações de conjunto booliano geoespaciais usam uma nova implementação com melhor desempenho. Pequenas diferenças de precisão podem ocorrer após o 15º local decimal.

Tipos de exceção para SQLSTATE

Os tipos de exceção são atualizados para dar suporte ao SQLSTATE. Se o seu código analisar exceções por comparação de strings ou capturar tipos de exceção específicos, atualize a lógica de tratamento de erros.

Ampliação automática do tipo de fluxo

As leituras de streaming nas tabelas Delta lidam automaticamente com a ampliação do tipo de coluna. Para exigir confirmação manual, defina spark.databricks.delta.typeWidening.enableStreamingSchemaTracking como true.

Atualizações de biblioteca

Nenhuma biblioteca foi atualizada nesta versão.

Apache Spark

O Databricks Runtime 18.1 inclui o Apache Spark 4.1.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 18.0, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-55350 Corrigir a perda na contagem de linhas ao criar um DataFrame do pandas com 0 colunas
• SPARK-55364 Tornar o protocolo SupportsIAdd e SupportsOrdering mais razoável
• SPARK-53656 Refatorar MemoryStream para usar SparkSession em vez de SQLContext
• SPARK-55472 Lançar AttributeError de métodos removidos no pandas 3
• SPARK-55224 Usar o Spark DataType como referência na serialização Pandas-Arrow
• SPARK-55402 Mover streamingSourceIdentifyingName de CatalogTable para DataSource
• SPARK-55459 Corrigir regressão de desempenho 3x em applyInPandas para grupos grandes
• SPARK-55317 Adicionar o nó de plano lógico SequentialUnion e a regra de planejamento
• SPARK-55424 Passar explicitamente o nome da série em convert_numpy
• SPARK-55175 Extrair to_pandas transformador dos serializadores
• SPARK-55304 Introduzir suporte ao Controle de Admissão e ao Trigger.AvailableNow na fonte de dados do Python – leitor de streaming
• SPARK-55382 Configurar Executor para registrar em log Running Spark version
• SPARK-55408 Manipular erros inesperados de argumento de palavra-chave relacionados a data e hora com pandas 3
• SPARK-55345 Não passe a unidade e feche para Timedelta para pandas 3
• SPARK-54759 Proteger corretamente a lógica no Gerenciador de Variáveis de Script após a introdução do Cursor
• SPARK-55409 Manipular um erro de argumento de palavra-chave inesperado de read_excel com pandas 3
• SPARK-55403 Corrigir no attribute 'draw' o erro nos testes de plotagem com o pandas 3
• SPARK-55256 Reverter "[SC-218596][SQL] Suporte IGNORE NULLS/RESPECT NULLS para array_agg e collect_list"
• SPARK-55256 Suporte a IGNORE NULLS / RESPECT NULLS para array_agg e collect_list
• SPARK-55395 Desabilitar o cache RDD em DataFrame.zipWithIndex
• SPARK-55131 Introduzir um novo delimitador de operador de mesclagem para RocksDB para esvaziar a cadeia de caracteres a ser executada sem delimitador
• SPARK-55376 Tornar o argumento numeric_only em funções groupby aceitar apenas booleano com pandas 3
• SPARK-55334 Habilitar TimestampType e TimestampNTZType no convert_numpy
• SPARK-55281 Adicionar ipykernel e IPython à lista de pacotes opcionais mypy
• SPARK-55336 Deixe o createDF usar o fluxo lógica create_batch para desassociar
• SPARK-55366 Remover errorOnDuplicatedFieldNames de UDFs do Python
• SPARK-54759 Suporte ao cursor em scripts SQL
• SPARK-55302 Corrigir métricas personalizadas em caso de KeyGroupedPartitioning
• SPARK-55228 Implementar Dataset.zipWithIndex na API Scala
• SPARK-55373 Melhorar a mensagem de erro noHandlerFoundForExtension
• SPARK-55356 Alias de suporte para PIVOT cláusula
• SPARK-55359 Promover TaskResourceRequest para Stable
• SPARK-55365 Generalizar as ferramentas utilitárias para conversão de array Arrow
• SPARK-55106 Adicionar teste de integração de repartição para operadores TransformWithState
• SPARK-55086 Adicionar DataSourceReader.pushFilters aos documentos da API de Fonte de Dados do Python
• SPARK-46165 Adicionar suporte para DataFrame.all axis=None
• SPARK-55289 Reverter "[SC-218749][SQL] Corrigir teste in-set-operations.sql flutuante desabilitando a junção de transmissão"
• SPARK-55297 Restaurar o dtype timedelta com base no dtype original
• SPARK-55291 Pré-processar cabeçalhos de metadados durante a construção do interceptador do cliente
• SPARK-55155 Reaplicar "[SC-218401][SQL] Suportar expressões dobráveis na instrução SET CATALOG
• SPARK-55318 Otimizações de desempenho para vector_avg/vector_sum
• SPARK-55295 Estender a função ST_GeomFromWKB para obter um valor SRID opcional
• SPARK-55280 Adicionar o proto GetStatus para dar suporte ao monitoramento de status de execução
• SPARK-54969 Implementar a nova conversão de arrow-pandas>
• SPARK-55176 Extrair arrow_to_pandas conversor em ArrowArrayToPandasConversion
• SPARK-55111 Reverter "[SC-217817][SC-210791][SS] Detecção de redistribuição inacabada ao reiniciar a consulta"
• SPARK-55252 Melhorar HttpSecurityFilter para adicionar Content-Security-Policy cabeçalho
• SPARK-55111 Detecção de repartição inacabada na reinicialização da consulta
• SPARK-55105 Adicionar teste de integração para o operador join
• SPARK-55260 Implementar o suporte de gravação parquet para tipos geográficos
• SPARK-54523 Corrigir a resolução padrão durante o pushdown de variantes
• SPARK-55328 Reutilizar PythonArrowInput.codec em GroupedPythonArrowInput
• SPARK-55246 Adicionar teste para Pyspark TWS e TWSInPandas e corrigir bug em StatePartitionAllColumnFamiliesWriter
• SPARK-55289 Corrigir teste instável em in-set-operations.sql desabilitando o join de broadcast
• SPARK-55040 Refatorar TaskContext e o protocolo de trabalho relacionado com a correção no mecanismo do PySpark.
• SPARK-47996 dá suporte à mesclagem cruzada na API do Pandas
• SPARK-55031 Adicionar expressões de função de agregação vector avg/sum
• SPARK-54410 Corrigir o suporte de leitura para a anotação de tipo lógico variante
• SPARK-54776 Reverter "[SC-216482][SQL] Melhorias na mensagem de logs referentes à função lambda com UDF do SQL"
• SPARK-55123 Adicionar SequentialUnionOffset para acompanhar o processamento de origem sequencial
• SPARK-54972 Aprimorar subconsultas NOT IN com colunas não anuláveis
• SPARK-54776 Melhoria da mensagem de logs em relação à função lambda com o UDF do SQL
• SPARK-53807 Corrigir problemas de condição de corrida entre unlock e releaseAllLocksForTask em BlockInfoManager
• SPARK-51831 Reverter "[SC-207389][SQL] Poda de coluna com existsJoin para Datasource V2"
• SPARK-54881 Melhorar BooleanSimplification para lidar com negação de conjunção e disjunção em uma única etapa
• SPARK-54696 Limpeza dos ArrowBuffers no módulo Connect
• SPARK-55009 Remover cópia de memória desnecessária do construtor de LevelDBTypeInfo/RocksDBTypeInfo.Index
• SPARK-54877 Tornar a exibição de stacktrace configurável na página de erro da interface do usuário
• SPARK-51831 Poda de coluna com existsJoin para Datasource V2
• SPARK-55285 Corrigir a inicialização de PythonArrowInput
• SPARK-53960 Permitir que approx_top_k_accumulate/combinar/estimar lide com NULLs
• SPARK-49110 Simplificar SubqueryAlias.metadataOutput para propagar de forma consistente colunas de metadados
• SPARK-55155 Reverter "[SC-218401][SQL] Suporte a expressões dobráveis na SET CATALOG instrução"
• SPARK-55155 Suporte a expressões possíveis de serem dobradas na SET CATALOG instrução
• SPARK-49110 Reverter "[SC-218594][SQL] Simplificar SubqueryAlias.metadataOutput para sempre propagar colunas de metadados"
• SPARK-54399 Implementar a função st_setsrid no Scala e no PySpark
• SPARK-49110 Simplificar SubqueryAlias.metadataOutput para sempre propagar colunas de metadados
• SPARK-55133 Corrigir a condição de concorrência no gerenciamento do ciclo de vida do IsolatedSessionState
• SPARK-55262 Bloquear tipos geográficos em todas as fontes de dados baseadas em arquivo, exceto Parquet
• SPARK-54202 Permitir a conversão de GeometryType(srid) para GeometryType(ANY)
• SPARK-54142 Implementar a função st_srid no Scala e no PySpark
• SPARK-54887 Sempre defina um estado sql no cliente do Spark Connect
• SPARK-55237 Suprimir mensagens irritantes ao procurar bancos de dados inexistentes
• SPARK-55040 Reverter "[SC-217628][PYTHON] Refatorar TaskContext e protocolo de trabalho relacionado"
• SPARK-55243 Permitir a configuração de cabeçalhos binários por meio do sufixo -bin no cliente Scala Connect
• SPARK-55259 Implementar a conversão de esquema Parquet para tipos geográficos
• SPARK-55282 Evite usar worker_util no lado do Driver
• SPARK-54151 Introduzir a estrutura para adicionar funções ST no PySpark
• SPARK-55194 Remover GroupArrowUDFSerializer movendo a lógica de achatamento para o mapeador
• SPARK-55020 Desabilitar o gc ao executar o comando gRPC
• SPARK-55053 Refatorar os processos de análise de fonte de dados/udtf para que eles tenham uma entrada unificada
• SPARK-55040 Refatorar TaskContext e protocolo de trabalho relacionado
• SPARK-55244 Usar np.nan como valor padrão para tipos de string do pandas
• SPARK-55225 Restaurar o dtype original do Datetime
• SPARK-55154 Remova o fastpath para pd. Série para pandas 3
• SPARK-55030 Adicionar suporte a expressões de norma vetorial/normalização de funções
• SPARK-55202 Corrija UNEXPECTED_USE_OF_PARAMETER_MARKER ao usar o parâmetro...
• SPARK-54201 Permitir a conversão de GeographyType(srid) para GeographyType(ANY)
• SPARK-54244 Introduzir suporte de coerção de tipo para tipos de dados GEOMETRY
• SPARK-54160 Implementar a expressão ST_SetSrid no SQL
• SPARK-55046 Adicionar métrica de tempo de processamento ao udf do PySpark
• SPARK-54101 Introduzir a estrutura para adicionar funções ST no Scala
• SPARK-54683 Unificar o bloqueio de tipos geográficos e de tempo
• SPARK-55249 Tornar DataFrame.toJSON capaz de retornar dataframe
• SPARK-54521 Adicionar ao WKB e do WKB para o tipo Geometria
• SPARK-54162 Permitir a conversão de GeographyType para GeometryType
• SPARK-55146 Recheckin State Repartition API for PySpark
• SPARK-55140 Não mapear funções embutidas para a versão do numpy para o pandas 3
• SPARK-54243 Introduzir suporte de coerção de tipo para tipos de dados GEOGRAPHY
• SPARK-55058 Gerar erro em metadados de ponto de verificação inconsistentes
• SPARK-55108 Usar os últimos pandas-stubs para verificação de tipo
• SPARK-54091 Implementar a expressão ST_Srid no SQL
• SPARK-55104 Adicionar suporte do Spark Connect para DataStreamReader.name()
• SPARK-54996 Reportar ArrivalTime para os registros de LowLatencyMemoryStream
• SPARK-55118 Substituir importações curinga do ASM Opcodes
• SPARK-54365 Adicionar o Teste de Integração de Repartição para operadores Aggregate, Dedup, FMGWS e SessionWindow
• SPARK-55119 Corrigir o Manipulador de Continuação: impedir INTERNAL_ERROR e interrupção incorreta de instruções condicionais
• SPARK-54104 Não permitir a conversão de tipos geoespaciais de/para outros tipos de dados
• SPARK-55240 Refatorar o tratamento de stacktrace LazyTry para usar wrapper em vez de exceção suprimida
• SPARK-55238 Mover a lógica de mapeamento do SRS geográfico de main/scala para main/java
• SPARK-55179 Pular a validação imediata do nome da coluna em df.col_name
• SPARK-55055 Suporte a SparkSession.Builder.create para PySpark Classic
• SPARK-55186 Fazer ArrowArrayToPandasConversion.convert_legacy capaz de retornar pd.DataFrame
• SPARK-54079 Introduzir a estrutura para adicionar expressões ST no Catalyst
• SPARK-54096 Suporte ao mapeamento do sistema de referência espacial no PySpark
• SPARK-54801 Marcar algumas novas configurações 4.1 como internas
• SPARK-55146 Reverter "[SC-217936][SC-210779][SS] API de Repartição de Estado para PySpark"
• SPARK-54559 Usar runnerConf para passar a opção de profiler
• SPARK-55205 Corrigir testes em que ele pressupõe que o tipo de cadeia de caracteres será convertido em objeto
• SPARK-55171 Correção do profilador de memória na UDF do iterador
• SPARK-55226 Reconhecer datetime e timedelta com unidades diferentes de [ns]
• SPARK-55027 Mover writeConf para PythonWorkerUtils
• SPARK-55197 Extrair _write_stream_start auxiliar para deduplicação da lógica de sinal START_ARROW_STREAM
• SPARK-54179 Adicionar suporte nativo para esboços de tupla do Apache (#190848) (#191111)
• SPARK-55151 Corrigir RocksDBSuite testWithStateStoreCheckpointIds
• SPARK-55146 API de Repartição de Estado para PySpark
• SPARK-54232 Habilitar a serialização Arrow para tipos de Geografia e Geometria
• SPARK-53957 Suporte a GEOGRAPHY e GEOMETRY no SpatialReferenceSystemMapper
• SPARK-55169 Usar ArrowBatchTransformer.flatten_struct no ArrowStreamArrowUDTFSerializer
• SPARK-55134 Correção BasicExecutorFeatureStep para gerar IllegalArgumentException para configurações incorretas de cpu do executor
• SPARK-54166 Introduzir codificadores de tipo para tipos geoespaciais no PySpark
• SPARK-55138 Correção de um erro ao lançar um NullPointerException
• SPARK-55168 Usar ArrowBatchTransformer.flatten_struct em GroupArrowUDFSerializer
• SPARK-55032 Refatorar profilers em workers.py
• SPARK-54990 Correção de como a classeproperty é implementada no session.py
• SPARK-55076 Corrigir o problema de dica de tipo em ml/mllib e adicionar requisito scipy
• SPARK-55162 Extrair transformadores do ArrowStreamUDFSerializer
• SPARK-55121 Adicionar DataStreamReader.name() ao PySpark Clássico
• SPARK-54887 Adicionar sqlstate opcional a sparkthrowables
• SPARK-54169 Introduzir tipos de Geografia e Geometria no gravador de seta
• SPARK-51658 Introduzir formas de encapsulamento de geometria e geografia na memória
• SPARK-54110 Introduzir codificadores de tipo para tipos de geografia e geometria
• SPARK-54956 Unificar a solução de repetição de shuffle indeterminado
• SPARK-55137 Refatorar GroupingAnalyticsTransformer e Analyzer código
• SPARK-54103 Introduzir classes Geography e Geometry do lado do cliente
• SPARK-55160 Passar diretamente o esquema de entrada para serializadores
• SPARK-55170 Extrair padrão de leitura de fluxo agrupado de serializadores
• SPARK-55125 Remover métodos redundantes __init__ em serializadores de Arrow
• SPARK-55126 Remover fuso horário não utilizado e assign_cols_by_name de ArrowStreamArrowUDFSerializer
• SPARK-54980 Converter o nível de isolamento JDBC em uma cadeia de caracteres
• SPARK-55051 Cadeia de bytes aceita KiB, MiB, GiB, TiB, PiB
• SPARK-55025 Melhorar o desempenho no Pandas usando compreensão de listas
• SPARK-46165 Adicione suporte para pandas. DataFrame.all axis=1
• SPARK-55037 Implementar novamente a observação sem usar o QueryExecutionListener
• SPARK-54965 Fatorar o conversor de pa.Array herdado para pd.Series
• SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55091 Reduzir chamadas RPC do Hive para o comando DROP TABLE
• SPARK-55097 Corrigir o problema de re-adicionar artefatos em cache que descarta blocos silenciosamente
• SPARK-55026 Otimize BestEffortLazyVal.
• SPARK-55091 Reverter "[SC-217410][SQL] Reduzir chamadas de RPC do Hive para o comando DROP TABLE"
• SPARK-54590 Suporte ao Ponto de Verificação V2 para Reescrita de Estado e Reparticionamento
• SPARK-55016 Transformar SQLConf em uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55091 Reduzir chamadas RPC do Hive para comando DROP TABLE
• SPARK-55016 Reverter "[SC-217401][SQL] Fazer do SQLConf uma propriedade direta do SparkSession para evitar estouro de pilha"
• SPARK-55016 Tornar o SQLConf uma propriedade direta do SparkSession para evitar o estouro da pilha
• SPARK-55098 UDFs vetoriais com controle de tamanho do lote de saída falham com perda de memória
• SPARK-54824 Adicionar suporte para multiGet e deleteRange para o Repositório de Estado do Rocksdb
• SPARK-55054 Adicionar suporte IDENTIFICADO POR para funções com valor de tabela de streaming
• SPARK-55029 Propagar o nome de identificação da fonte de streaming por meio do pipeline de resolução
• SPARK-55071 Fazer com que spark.addArtifact funcione com caminhos do Windows
• SPARK-54103 Reverter "[SC-210400][Geo][SQL] Introduzir classes de Geografia e Geometria do lado do cliente"
• SPARK-54103 Introduzir as classes Geography e Geometry do lado do cliente
• SPARK-54033 Introduzir classes de execução geoespaciais do lado do servidor Catalyst
• SPARK-54176 Introduzir tipos de dados Geografia e Geometria no PySpark Connect
• SPARK-55089 Corrigir o esquema de saída de toJSON
• SPARK-55035 Realizar limpeza de shuffle em execuções filhas
• SPARK-55036 Adicionar ArrowTimestampConversion para manipulação de fuso horário de seta
• SPARK-55090 Implementar DataFrame.toJSON no Cliente Python
• SPARK-54873 Simplificar a resolução V2TableReference, pois somente a exibição temporária pode contê-la
• SPARK-52828 Tornar o hash para ordenação de cadeias de caracteres agrupadas independente
• SPARK-54175 Adicionar tipos de Geografia e Geometria ao proto do Spark Connect
• SPARK-54961 Apresentar GroupingAnalyticsTransformer
• SPARK-55088 Manter os metadados em/from_arrow_type/esquema
• SPARK-55070 Permitir coluna oculta na resolução de coluna de dataframe
• SPARK-55044 Manter os metadados em toArrowSchema/fromArrowSchema
• SPARK-55043 Corrigir viagem no tempo com subconsulta que contém referências de tabela
• SPARK-54987 Alterar o valor padrão de prefer_timestamp_ntz para True em from_arrow_type/from_arrow_schema
• SPARK-54866 Refatorar funções Drop/Refresh para evitar pesquisa no catálogo
• SPARK-55024 Utilizar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão
• SPARK-54992 Substituir a conversão por uma verificação de tempo de execução para make_timestamp
• SPARK-55024 Reverter "[SC-216987][SQL] Usar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo de sessão"
• SPARK-54866 Reverter "[SC-216753][SQL] Refatorar a função Drop/RefreshFunction para evitar consulta de catálogo"
• SPARK-55024 Usar o erro REQUIRES_SINGLE_PART_NAMESPACE para a validação do namespace do catálogo da sessão
• SPARK-54866 Refatorar Drop/RefreshFunction para evitar consulta de catálogo
• SPARK-54991 Correção na anotação de tipo para streaming/listener.py
• SPARK-54925 Adicionar a funcionalidade para despejar threads para pyspark
• SPARK-54803 Suporte por nome com INSERT ... SUBSTITUIR WHERE
• SPARK-54785 Adicionar suporte para agregações de esboçamento binário no KLL (nº 188370) (nº 188860)
• SPARK-54949 Mover pyproject.toml para a raiz do repositório
• SPARK-54954 Corrigir dicas de tipo relacionadas a remoto em util.py
• SPARK-54922 Unificar como os args são passados para os trabalhadores do Python
• SPARK-54870 Suporte de ordenação para char/varchar e CTAS/RTAS
• SPARK-54762 Corrigir _create_converter e covert sobrecarregar assinatura
• SPARK-55019 Permitir DROP TABLE remover visualização
• SPARK-53103 Gerar um erro se o diretório de estado não estiver vazio quando a consulta for iniciada
• SPARK-54995 Criar um caminho rápido para foreachPartition
• SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
• SPARK-54984 Execução de repartição de estado e integração com o State Rewriter
• SPARK-54443 Integrar PartitionKeyExtractor no leitor de re-partição
• SPARK-54907 Introduzir a regra do analisador NameStreamingSources para a evolução da origem do streaming
• SPARK-54609 Atualizar configuração de tipo TIME para corresponder ao open-source
• SPARK-54988 Simplificar a implementação de ObservationManager.tryComplete
• SPARK-54959 Desativar completamente a nova tentativa na incompatibilidade de soma de verificação de shuffle quando o shuffle baseado em push estiver ativado
• SPARK-54940 Adicionar testes para inferência de tipo pa.scalar
• SPARK-54634 Reverter "[SC-216478][SQL] Adicionar mensagem de erro clara para predicado IN vazio"
• SPARK-54337 Adicionar suporte para PyCapsule ao Pyspark
• SPARK-54634 Adicionar mensagem de erro clara para predicado IN vazio
• SPARK-53785 Fonte de memória para RTM
• SPARK-54883 Aperfeiçoar mensagens de erro da CLI e adicionar o novo modo de erro DEBUG
• SPARK-54713 Adicionar suporte a expressões de função de similaridade/distância de vetor
• SPARK-54962 Corrigir tratamento de inteiros anuláveis na UDF do Pandas
• SPARK-54864 Adicionar nós rCTE ao NormalizePlan
• SPARK-53847 Adicionar ContinuousMemorySink para teste de modo em tempo real
• SPARK-54865 Adicionar o método foreachWithSubqueriesAndPruning ao QueryPlan
• SPARK-54930 Remover a chamada redundante _accumulatorRegistry.clear() no arquivo worker.py
• SPARK-54929 Corrigir a reinicialização de taskContext._resources no loop, que faz com que somente o último recurso seja mantido
• SPARK-54963 Fazer createDataFrame respeitar prefer_timestamp_ntz quando infer_pandas_dict_as_map
• SPARK-54920 Mover a lógica de extração de análise de agrupamento para uma lógica comum GroupingAnalyticsExtractor
• SPARK-54924 Reescritor de estado para ler o estado, transformá-lo e gravar novo estado
• SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
• SPARK-54905 Simplificar a implementação de foreachWithSubqueries no QueryPlan
• SPARK-54682 Suporte para mostrar parâmetros em DESCRIBE PROCEDURE
• SPARK-54933 Evite buscar repetidamente a configuração binary_as_bytes em toLocalIterator
• SPARK-54872 Reverter "[SC-216260][SQL] Unificar manipulação de valor padrão de coluna entre comandos v1 e v2"
• SPARK-51936 ReplaceTableAsSelect deve substituir a nova tabela em vez de acrescentar
• SPARK-54771 Remover a regra ResolveUserSpecifiedColumns de RuleIdCollection
• SPARK-54872 Unificar o tratamento de valor padrão de coluna entre comandos v1 e v2
• SPARK-54313 Adicionar a opção --extra-properties-file para camadas de configuração
• SPARK-54468 Adicionar classes de erro ausentes
• SPARK-46741 A Tabela de Cache com CTE deve funcionar quando o CTE está em uma subconsulta dentro da expressão do plano
• SPARK-46741 A Tabela de Cache com CTE não funcionará
• SPARK-54615 Sempre passe runner_conf para o worker do Python
• SPARK-53737 Adicionar gatilho de modo em tempo real
• SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
• SPARK-54718 Preservar nomes de atributos durante CTE newInstance()
• SPARK-54621 Mesclar em Conjunto de Atualizações * preservar campos aninhados se... coerceNestedTypes está habilitado
• SPARK-54595 Manter o comportamento existente sem a cláusula EVOLUTION MERGE INTOSCHEMA
• SPARK-54903 Tornar to_arrow_schema/to_arrow_type capaz de definir fuso horário
• SPARK-52326 Adicionar partições relacionadas a ExternalCatalogEvent e postá-las em operações correspondentes
• SPARK-54541 Reverter a alteração de "[SC-215212][SQL] Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState"
• SPARK-54578 Executar limpeza de código em AssignmentUtils
• SPARK-54830 Habilitar por padrão a tentativa de embaralhamento indeterminado baseada em soma de verificação
• SPARK-54525 Desabilitar a coerção de struct aninhada em MERGE INTO sob uma configuração
• SPARK-53784 APIs de origem adicionais necessárias para dar suporte à execução do RTM
• SPARK-54496 Corrigir mesclagem na evolução do esquema para a API de dataframe
• SPARK-54835 Evitar temp QueryExecution desnecessária para a execução de comandos aninhados
• SPARK-54541 Renomear _LEGACY_ERROR_TEMP_1007 e adicionar sqlState
• SPARK-54289 Permitir MERGE INTO preservar os campos de struct existentes para UPDATESET * quando o struct de origem tiver menos campos aninhados do que o struct de destino
• SPARK-54720 Adicionar SparkSession.emptyDataFrame com um esquema
• SPARK-54800 Implementação padrão alterada para isObjectNotFoundException
• SPARK-54686 Relaxar verificações de tabela DSv2 em exibições temporárias para permitir novas colunas de nível superior
• SPARK-54619 Adicionar uma verificação de coerência para números de configuração
• SPARK-54726 Melhorar um pouco de desempenho para InsertAdaptiveSparkPlan
• SPARK-51966 Substitua select.select() por select.poll() ao executar no sistema operacional POSIX
• SPARK-54749 Corrigir a métrica numOutputRows incorreta no OneRowRelationExec
• SPARK-54411 Introduzir o Repartition Writer que dá suporte a vários CF
• SPARK-54835 Reverter "[SC-215823][SQL] Evitar QueryExecution temporária desnecessária para execução de comando aninhado"
• SPARK-54867 Introduzir o wrapper NamedStreamingRelation para identificação do código-fonte durante a análise
• SPARK-54835 Evitar execução temporária de consultas desnecessárias para execução de comando aninhado
• SPARK-54491 Corrigir a inserção no modo temporário na falha da tabela DSv2
• SPARK-54871 Remover aliases das expressões de agrupamento e agregadas antes de lidar com a análise agrupada
• SPARK-51920 Corrigir o tratamento de tipo de namedTuple para transfromWithState
• SPARK-54526 Renomear _LEGACY_ERROR_TEMP_1133 e adicionar sqlState
• SPARK-54424 As falhas durante o recaching não devem provocar falhas nas operações
• SPARK-54894 Corrigir a passagem de argumentos to_arrow_type
• SPARK-53448 A conversão de um DataFrame PySpark com uma coluna Variant para pandas falha com um erro
• SPARK-54882 Remover PYARROW_IGNORE_TIMEZONE legado
• SPARK-54504 Corrigir a atualização de versão para tabelas DSv2 com subconsultas
• SPARK-54444 Relaxar as verificações de tabelas DSv2 para restaurar o comportamento anterior
• SPARK-54859 Arrow como padrão no documento de referência da API UDF do PySpark
• SPARK-54387 Reverter "[ES-1688666] Reverter "[SC-212394][SQL] Corrigir o cache de tabelas DSv2""
• SPARK-54753 corrige o vazamento de memória de ArtifactManager
• SPARK-54387 Reverter "[SC-212394][SQL] Corrigir o cache de tabelas DSv2"
• SPARK-54436 Corrigir a formatação de erro para verificações de metadados de tabela incompatíveis
• SPARK-54849 Atualizar a versão mínima para pyarrow 18.0.0
• SPARK-54022 Tornar a resolução da tabela DSv2 consciente das tabelas armazenadas em cache
• SPARK-54387 Corrigir o recacheamento das tabelas DSv2
• SPARK-53924 Recarregar tabelas DSv2 em exibições criadas usando planos em cada acesso de exibição
• SPARK-54561 Suporte a pontos de interrupção() para run-tests.py
• SPARK-54157 Corrigir a atualização das tabelas DSv2 no conjunto de dados
• SPARK-54830 Reverter "[CORE] Ativar a repetição de embaralhamento não determinístico baseada em checksum por padrão"
• SPARK-54861 Redefinir o nome do thread de tarefa para IDLE_TASK_THREAD_NAME quando a tarefa for concluída
• SPARK-54834 Adicionar novas interfaces SimpleProcedure e SimpleFunction
• SPARK-54760 DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2
• SPARK-54685 Remover respostas redundantes de métricas observadas
• SPARK-54853 Sempre verifique hive.exec.max.dynamic.partitions no lado do Spark
• SPARK-54840 Pré-alocação OrcList
• SPARK-54830 Habilitar por padrão a tentativa de embaralhamento indeterminado baseada em soma de verificação
• SPARK-54850 Melhorar extractShuffleIds para localizar AdaptiveSparkPlanExec em qualquer lugar na árvore de planos
• SPARK-54843 expressão Try_to_number não funcionando para entrada de string vazia
• SPARK-54556 Reversão de estágios de mapa de shuffle bem-sucedida quando é detectada uma incompatibilidade na soma de verificação do shuffle.
• SPARK-54760 Reverter "[SC-215670][SQL] DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2"
• SPARK-54760 DelegatingCatalogExtension como catálogo de sessão dá suporte a funções V1 e V2
• SPARK-54818 Alocação falhou no TaskMemoryManager deve registrar a pilha de erros para ajudar a verificar o uso da memória
• SPARK-54827 Adicionar função auxiliar TreeNode.containsTag
• SPARK-54777 Reverter "[SC-215740][SQL] Tratamento de erro dropTable alterado em JDBCTableCatalog.dropTable(...)"
• SPARK-54777 Tratamento de erros dropTable alterado em JDBCTableCatalog.dropTable(...)
• SPARK-54817 Refatoração da lógica de resolução Unpivot para UnpivotTransformer
• SPARK-54820 Tornar pandas_on_spark_type compatível com o numpy 2.4.0
• SPARK-54799 Refatorar UnpivotCoercion
• SPARK-54754 O OrcSerializer não deve analisar o esquema sempre que for serializado
• SPARK-54226 Estender a compactação de seta para a UDF do Pandas
• SPARK-54787 Usar compreensão de lista em vez de laços de repetição 'for' no pandas
• SPARK-54690 Tornar Frame.__repr__ insensível a otimização arrow
• SPARK-46166 Implementação de pandas.DataFrame.any com axis=None
• SPARK-54696 Limpeza dos buffers do Arrow – complemento
• SPARK-54769 Remover código morto no conversion.py
• SPARK-54787 Usar a compreensão de lista no pandas _bool_column_labels
• SPARK-54794 Suprimir logs de varredura verbosos FsHistoryProvider.checkForLogs
• SPARK-54745 Corrigir o erro de importação do PySpark causado pela falta de UnixStreamServer no Windows
• SPARK-54782 Corrigir as versões de configuração
• SPARK-54781 Retornar informações de cache de modelo no formato JSON
• SPARK-54419 O Leitor de Estado de Repartição Offline suporta famílias multicoluna
• SPARK-54722 Registrar UDF de Agregação por Grupo do Pandas para uso no SQL
• SPARK-54762 Reverter "[SC-215422][PYTHON] Corrigir assinatura e sobrecarga _create_converter e covert"
• SPARK-54652 Reverter "[SC-215452][SQL] Conversão completa de IDENTIFIER()"
• SPARK-54762 Corrigir _create_converter e covert sobrecarregar assinatura
• SPARK-52819 Tornando KryoSerializationCodec serializável para corrigir erros java.io.NotSerializableException em vários casos de uso
• SPARK-54711 Adicionar um tempo limite para a conexão de trabalho criada pelo daemon
• SPARK-54738 Adicionar suporte de Profiler para UDF de Agregação Iterada em Grupos do Pandas
• SPARK-54652 Conversão completa de IDENTIFIER()
• SPARK-54581 Tornando a opção fetchsize insensível a maiúsculas para o conector do Postgres
• SPARK-54589 Consolidar ArrowStreamAggPandasIterUDFSerializer em ArrowStreamAggPandasUDFSerializer
• SPARK-41916 Distribuidor torch: suporte a vários processos de torchrun por tarefa se task.gpu.amount > 1
• SPARK-54707 Refatorar a lógica principal da resolução para PivotTransformer
• SPARK-54706 Fazer o DistributedLDAModel funcionar com o sistema de arquivos local
• SPARK-53616 Introduzir a API do iterador para UDF de agregação agrupada do Pandas
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54656 Refatorar SupportsPushDownVariants para ser um mix-in ScanBuilder
• SPARK-54687 Adicionar arquivo padrão com casos limite de resolução de geradores
• SPARK-54708 Otimizar a limpeza de cache de ML com criação lenta de diretório
• SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54443 Extração de chave de partição para todos os operadores com estado de streaming
• SPARK-54687 Reverter "[SC-214791][SQL] Adicionar arquivo de referência com casos de limite para resolução de geradores"
• SPARK-54116 Reverter "[SC-213108][SQL] Adicionar suporte ao modo off-heap para LongHashedRelation"
• SPARK-54687 Adicionar arquivo dourado com casos de borda de resolução de geradores
• SPARK-54116 Adicionar suporte ao modo off-heap para LongHashedRelation
• SPARK-54420 Introduzir Reparticionamento Offline StatePartitionWriter para a família de coluna única
• SPARK-54689 Tornar org.apache.spark.sql.pipelines o pacote interno e tornar EstimatorUtils privado
• SPARK-54673 Refatorar o código de análise de sintaxe do pipe SQL para compartilhamento e reutilização
• SPARK-54668 Adicionar testes para CTEs em operadores multi-filhos
• SPARK-54669 Remover conversão redundante em rCTEs
• SPARK-54587 Consolidar todo o código relacionado ao runner_conf
• SPARK-54628 Remover todos os argumentos super() explícitos desnecessários
• SPARK-54675 Programar tempo limite configurável para desligamento forçado do pool de threads de manutenção do StateStore
• SPARK-54639 Evitar a criação desnecessária de Tabelas em serializadores de Arrow
• SPARK-49635 Remover a sugestão de configuração ANSI nas mensagens de erro do CAST
• SPARK-54664 Limpar o código relacionado a listenerCache partir de connect.StreamingQueryManager
• SPARK-54640 Substituir select.select por select.poll no UNIX
• SPARK-54662 Adicionar viztracer e debugpy em dev/requirements.txt
• SPARK-54632 Adicionar a opção para usar o Ruff para lint
• SPARK-54585 Corrigir a reversão do armazenamento de estado quando o thread estiver em estado interrompido
• SPARK-54172 Merge Into Schema Evolution deve adicionar apenas colunas referenciadas
• SPARK-54438 Consolidar ArrowStreamAggArrowIterUDFSerializer em ArrowStreamAggArrowUDFSerializer
• SPARK-54627 Remover inicializações redundantes em serializadores
• SPARK-54631 Adicionar suporte ao profiler para UDF de agregação de iterador agrupado do Arrow
• SPARK-54316 Reaplicar [SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer
• SPARK-54392 Otimizar comunicação JVM-Python para o estado inicial do TWS
• SPARK-54617 Habilitar registro de UDF de Agregação de Iteração Agrupada do Arrow para SQL
• SPARK-54544 Habilitar a verificação F811 do flake8
• SPARK-54650 Mover a conversão int para decimal em _create_converter_from_pandas
• SPARK-54316 Reverter "[SC-213971][CORE][PYTHON][SQL] Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer"
• SPARK-53687 Introduzir WATERMARK cláusula na instrução SQL
• SPARK-54316 Consolidar GroupPandasIterUDFSerializer com GroupPandasUDFSerializer
• SPARK-54598 Extrair lógica para ler UDFs
• SPARK-54622 Promover RequiresDistributionAndOrdering e suas interfaces necessárias para Evolving
• SPARK-54624 Garantir que o nome de usuário na página de histórico seja escapado
• SPARK-54580 Considere o Hive 4.1 em HiveVersionSuite e HiveClientImpl
• SPARK-54068 Correção to_feather para dar suporte ao PyArrow 22.0.0
• SPARK-54618 Promover LocalScan para Stable
• SPARK-54616 Marcar SupportsPushDownVariants como Experimental
• SPARK-54607 Remover método toStringHelper não utilizado de AbstractFetchShuffleBlocks.java
• SPARK-53615 Introduzir a API do iterador para UDF de agregação agrupada do Arrow
• SPARK-54608 Evitar o duplo armazenamento em cache do conversor de tipos no UDTF
• SPARK-54600 Não use pickle para salvar/carregar modelos em pyspark.ml.connect
• SPARK-54592 Tornar estimatedSize privado
• SPARK-54388 Introduzir StatePartitionReader que escaneia bytes brutos para uma ColFamily única
• SPARK-54570 Propagar a classe de erro corretamente no Spark Connect
• SPARK-54577 Otimizar chamadas Py4J na inferência de esquema
• SPARK-54568 Evitar a conversão desnecessária de pandas na criação de dataframe de ndarray
• SPARK-54576 Adicionar documentação para novas funções de agregação baseadas em Datasketches
• SPARK-54574 Reativar FPGrowth no conectar
• SPARK-54557 Tornar CSV/JSON/XmlOptions e CSV/JSON/XmlInferSchema comparáveis
• SPARK-52798 Adicionar função approx_top_k_combine
• SPARK-54446 FPGrowth dá suporte ao sistema de arquivos local com formato de arquivo Arrow
• SPARK-54547 Renomear variável hostPort para host nos métodos TaskSchedulerImpl.(executorLost|logExecutorLoss)
• SPARK-54558 Corrigir exceção interna quando manipuladores de exceção sem BEGIN/END são usados
• SPARK-52923 Permitir que o ShuffleManager controle a mesclagem por push durante o registro de shuffle
• SPARK-54474 Descartar o relatório XML de testes que devem falhar
• SPARK-54473 Adicionar suporte de leitura e gravação do Avro para o tipo TIME
• SPARK-54472 Adicionar suporte de leitura e gravação do ORC para o tipo TIME
• SPARK-54463 Adicionar suporte de serialização e desserialização do CSV para o tipo TIME
• SPARK-52588 Approx_top_k: acumular e estimar
• SPARK-54461 Adicionar suporte de serialização e desserialização XML para o tipo TIME
• SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
• SPARK-54537 Correção de getSchemas/getTables do SparkConnectDatabaseMetaData em catálogos sem capacidade de namespace
• SPARK-54442 Adicionar funções de conversão numérica para o tipo TIME
• SPARK-54451 Reverter "[SC-212861][SQL] Adicionar suporte de serialização e desserialização JSON para o tipo TIME"
• SPARK-54492 Renomear _LEGACY_ERROR_TEMP_1201 e adicionar sqlState
• SPARK-54531 Introduzir ArrowStreamAggPandasUDFSerializer
• SPARK-54223 Adicionar contexto de tarefa e métricas de dados aos logs do executor do Python
• SPARK-54272 Adicionar aggTime para SortAggregateExec
• SPARK-53469 Capacidade de limpeza do processo de shuffle no servidor Thrift
• SPARK-54219 Configuração de suporte spark.cleaner.referenceTracking.blocking.timeout
• SPARK-54475 Adicionar master-server, branch-4.0-client, Python 3.11
• SPARK-54451 Adicionar suporte de serialização e desserialização JSON para o tipo TIME
• SPARK-54285 Armazenar em cache informações de fuso horário para evitar conversão de timestamp cara
• SPARK-49133 Tornar o membro MemoryConsumer#used atômico para evitar que o código do usuário cause deadlock
• SPARK-46166 Implementação de pandas.DataFrame.any com axis=1
• SPARK-54532 Adicionar suporte para sqlstate para PySparkException
• SPARK-54435 spark-pipelines init deve evitar sobrescrever o diretório existente
• SPARK-54247 Fechar o soquete explicitamente para util._load_from_socket

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.3 LTS
• Java: Zulu21.42+19-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.0.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo CRAN do Gerenciador de Pacotes Posit em 2025-11-20.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)