Databricks Runtime 16.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.2, alimentado pelo Apache Spark 3.5.2.

O Databricks lançou esta versão em fevereiro de 2025.

Alterações comportamentais

ANALYZE agora ignora colunas com tipos não suportados

ANALYZE TABLE não resulta mais em uma mensagem de erro quando executada em uma tabela com tipos sem suporte, como ARRAY ou MAP. As colunas sem suporte agora são ignoradas automaticamente. Os usuários que implementaram a lógica que espera esses erros devem atualizar seu código.

No Compartilhamento Delta, o histórico de tabelas é habilitado por padrão

Os compartilhamentos criados usando o comando SQL ALTER SHARE <share> ADD TABLE <table> agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Consulte ALTER SHARE.

Instruções SQL de credencial retornam um erro quando há uma incompatibilidade de tipo de credencial

Com essa versão, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada. Por exemplo, para a instrução DROP STORAGE CREDENTIAL 'credential-name', se credential-name não for uma credencial de armazenamento, a instrução falhará com um erro.

Essa alteração é feita para ajudar a evitar erros do usuário. Anteriormente, essas instruções eram executadas com êxito, mesmo que fosse passada uma credencial que não correspondesse ao tipo de credencial especificado. Por exemplo, a instrução a seguir removeria storage-credentialcom êxito: DROP SERVICE CREDENTIAL storage-credential.

Essa mudança afeta as seguintes declarações:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… EM... CREDENCIAL
• REVOKE… EM... CREDENCIAL
• SHOW GRANTS SOBRE... CREDENCIAL

Novos recursos e aprimoramentos

• Criar aplicativos personalizados com estado mantido usando transformWithState
• Autenticar no armazenamento de objetos de nuvem com credenciais de serviço
• Agora, o acesso controlado pelo Catálogo do Unity nos serviços de nuvem externos que usam as credenciais de serviço está em disponibilidade geral
• Há suporte para notebooks como arquivos de workspace
• Use as expressões de coluna timestampdiff & timestampadd em geradas
• Suporte para sintaxe de pipelines de SQL
• Fazer solicitação HTTP usando a http_request função
• A atualização para DESCRIBE TABLE retorna os metadados como JSON estruturado
• Agrupamentos insensíveis em branco à direita
• Converter tabelas com particionamento em bucket do Apache Iceberg para tabelas Delta sem particionamento
• Modo padrão de acesso à computação (antigo modo de acesso compartilhado) agora dá suporte aos métodos foreach, foreachBatch e flatMapGroupsWithState

Criar aplicativos com estado personalizado com transformWithState

Agora você pode usar transformWithState e APIs relacionadas para implementar aplicativos com estado personalizados como parte de consultas de Streaming Estruturado. Consulte Criar um aplicativo com estado personalizado.

Autenticar no armazenamento de objetos de nuvem com credenciais de serviço

Agora você pode usar as credenciais de serviço do Databricks para autenticar no armazenamento de objetos de nuvem com o Carregador Automático. Veja Configurar fluxos do Auto Loader no modo de notificação de arquivo.

O acesso controlado pelo Catálogo do Unity a serviços de nuvem externos usando credenciais de serviço agora é GA

As credenciais de serviço habilitam a autenticação simples e segura com os serviços de seu locatário de nuvem no Azure Databricks. Com o Databricks Runtime 16.2, as credenciais de serviço geralmente estão disponíveis e agora dão suporte a SDKs do Scala, além do SDK do Python com suporte na Visualização Pública. Consulte Criar credenciais de serviço.

Há suporte para notebooks como arquivos de workspace

No Databricks Runtime 16.2 e superior, há suporte para notebooks como arquivos de workspace. Agora você pode interagir programaticamente com notebooks de qualquer lugar em que o sistema de arquivos do workspace esteja disponível, incluindo escrever, ler e excluir blocos de anotações como qualquer outro arquivo. Para saber mais, consulte Programaticamente criar, atualizar e excluir arquivos e diretórios.

Usar o timestampdiff & timestampadd em expressões de coluna geradas

No Databricks Runtime 16.2 e superior, você pode usar as funções timestampdiff e timestampadd em expressões de coluna geradas pelo Delta Lake. Confira Colunas geradas pelo Delta Lake.

Suporte para a sintaxe dos pipelines do SQL

No Databricks Runtime 16.2 e superior, você pode redigir pipelines SQL. Um pipeline do SQL estrutura uma consulta padrão, como SELECT c2 FROM T WHERE c1 = 5, em uma sequência passo a passo, conforme mostrado no exemplo a seguir:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para saber mais sobre a sintaxe com suporte para pipelines SQL, consulte SQL Pipeline Syntax.

Para obter informações básicas sobre essa extensão intersetorial, consulte O SQL tem problemas. Podemos corrigi-los: Sintaxe de pipe no SQL (por Google Research).

Fazer solicitação HTTP usando a http_request função

No Databricks Runtime 16.2 e superior, você pode criar conexões HTTP e, por meio delas, fazer solicitações HTTP usando a função http_request .

Atualizar para DESCRIBE TABLE retorna metadados como JSON estruturado

No Databricks Runtime 16.2 e superior, você pode usar o DESCRIBE TABLE AS JSON comando para retornar metadados de tabela como um documento JSON. A saída JSON é mais estruturada do que o relatório legível por humanos padrão e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

Ordenações que não diferenciam branco à direita

O Databricks Runtime 16.2 adiciona suporte para agrupamentos insensíveis a espaços em branco finais, ampliando o suporte de agrupamentos adicionado no Databricks Runtime 16.1. Por exemplo, essas colações tratam 'Hello' e 'Hello ' como sendo iguais. Para saber mais, consulte Ordenação RTRIM.

Converter tabelas Apache Iceberg com particionamento de bucket para tabelas Delta não particionadas

As instruções CONVERT TO DELTA e CREATE TABLE CLONE agora suportam a conversão de uma tabela Apache Iceberg com particionamento em bucket para uma tabela Delta não particionada.

A computação do modo de acesso padrão (antigo modo de acesso compartilhado) agora dá suporte aos métodos foreach, foreachBatch, e flatMapGroupsWithState do Spark Scala

No Databricks Runtime versão 16.2 e posteriores, agora o modo de acesso padrão computacional oferece suporte aos métodos Scala DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState. Em versões superiores ao Databricks Runtime 16.1, a computação no modo padrão de acesso agora dá suporte ao método Scala DataStreamWriter.foreach.

Correções

Processamento do clone incremental aprimorado

Esta versão inclui uma correção para um caso extremo em que um CLONE incremental pode recopiar arquivos já copiados de uma tabela de origem para uma tabela de destino. Consulte Clonar uma tabela no Azure Databricks.

Atualizações de biblioteca

• Bibliotecas do Python atualizadas:
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-jackson_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-scalap_2.12 de 3.7.0-M11 a 4.0.7

Apache Spark

O Databricks Runtime 16.2 inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.1 (EoS), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-49966] Reverter "[SC-179501][sql] Usar Invoke para implementar JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Correção da execução da consulta do andador de expressão de ordenação
• [SPARK-49666] [SQL] Habilitar testes de corte para a expressão InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Alterar a assinatura da expressão TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Armazenar carimbo de data/hora como um tipo em describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Adicionar fuso horário ao fazer a conversão para timestamp em V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Falha em ExecuteResponseObserver resulta em solicitações de reanexação infinita
• [SPARK-50522] [SC-186500][sql] Suporte para ordenação indeterminada
• [SPARK-50525] [SC-186058][sql] Definir a Regra do Otimizador InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Expressões comuns duplicadas em diferentes cláusulas WITH devem ser projetadas apenas uma vez
• [SPARK-50847] [SC-186916] [SQL] Negar a aplicação de ApplyCharTypePadding em expressões específicas
• [SPARK-50714] [SC-186786][sql][SS] Habilitar a evolução do esquema para TransformWithState quando a codificação Avro é usada
• [SPARK-50795] [SC-186390][sql] Exibir todas as datas do DESCRIBE AS JSON no formato ISO-8601 e os tipos como dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Aprimorar a coerção de tipos e a checagem de limites para a função SQL UNIFORME
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog oferece suporte a valor mágico
• [SPARK-50831] [SC-186736][sql] Habilitar a ordenação de corte por padrão
• [SPARK-50263] [SC-186793][conectar] Substituir System.currentTimeMillis por System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementar CreateSQLFunctionCommand para Funções Escalares e de Tabela SQL
• [SPARK-50830] [SC-186718] [SQL] Retornar resultado de passe único como o resultado da análise de execução dupla
• [SPARK-50707] [SC-186098][sql] Habilitar a conversão para/de char/varchar
• [SPARK-49490] [SC-182137][sql] Adicionar parâmetros de comparação para o initCap
• [SPARK-50529] [SC-184535][sql] Alterar o comportamento char/varchar na spark.sql.preserveCharVarcharTypeInfo configuração
• [SPARK-49632] [SC-184179][sql] Remova a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Corrigir bug em que passar variantes nulas no createDataFrame faz com que ele falhe e adicione suporte variant em createDataFrame no Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Preterir pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Definir como analisado em caso de falha na análise
• [SPARK-50824] [SC-186472][python] Evite importar pacotes opcionais do Python para verificação
• [SPARK-50755] [SC-185521][sql] Exibição de plano bonita para InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] As entradas para agregações tipadas devem passar por análise
• [SPARK-50791] [SC-185867][sc-186338][SQL] Corrigir NPE no tratamento de erros do Repositório de Estado
• [SPARK-50801] [SC-186365] [SQL] Aprimorar PlanLogger.logPlanResolution para que ele mostre apenas planos não resolvidos e resolvidos
• [SPARK-50749] [SC-185925][sql] Corrigir bug de ordenação no método CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonicalize o nome e o layout do arquivo de resultados do perfilador JVM no sistema de arquivos distribuído (DFS)
• [SPARK-50790] [SC-186354][python] Implementar análise de json no pyspark
• [SPARK-50738] [SC-184856][python] Atualizar Black para 23.12.1
• [SPARK-50764] [SC-185930][python] Refinar a docstring de métodos relacionados ao xpath
• [SPARK-50798] [SC-186277][sql] Aprimorar NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integração da Estrutura de Checkpoint da State Store V2 com RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Adicionando sinalizador de recurso para ordenações no nível do objeto
• [SPARK-50778] [SC-186183][python] Adicionar metadataColumn ao PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Aprimorar aliases de expressão gerada automaticamente com operadores SQL de pipe
• [SPARK-50541] [16.x][sc-184937] Descrever tabela como JSON
• [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x cherrypick: Manter aliases de tabela após SET, operadores EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizar a diferença de código Delta com o Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Introduza configurações para ajustar o UDF do Python sem seta
• [SPARK-50705] [SC-185944][sql] Tornar QueryPlan sem bloqueio
• [SPARK-50690] [16.x][sc-184640][SQL] Corrigir discrepância nas DESCRIBE TABLE colunas de saída da consulta de exibição entre aspas
• [SPARK-50746] [SC-184932][sql] Substitua Either por VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder define as configurações em lote
• [SPARK-50480] [SC-183359][sql] Estender CharType e VarcharType de StringType
• [SPARK-50675] [SC-184539][sql] Suporte a ordenações de nível de tabela e exibição
• [SPARK-50409] [SC-184516][sql] Correção da instrução set para ignorar ; no final de SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizar os IDs de CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] As entradas para TypedScalaUdf devem ser analisadas
• [SPARK-50744] [SC-184929][sql] Adicionar um caso de teste para precedência na resolução do nome de exibição/CTE
• [SPARK-50710] [SC-184767][connect] Adicionar suporte para reconexão opcional do cliente às sessões após a versão
• [SPARK-50703] [SC-184843][python] Refinar a docstring de regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Corrigir a lógica de limpeza para links simbólicos no método JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Corrigir suporte ordinal para operadores AGGREGATE SQL de pipe
• [SPARK-50614] [SC-184729][sql] Adicionar suporte de fragmentação Variant para Parquet
• [SPARK-50661] [SASP-4936] Adicionar retrocompatibilidade para FEB do cliente antigo.
• [SPARK-50676] [SC-184641][sql] Remover private lazy val mapValueContainsNull e ElementAt não utilizados
• [SPARK-50515] [SC-183813][core] Adicionar interface somente leitura a SparkConf
• [SPARK-50697] [SC-184702][sql] Habilitar a recursão final sempre que possível
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrigir o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial
• [SPARK-50701] [SC-184704][python] Exigir a versão mínima do plotly para plotagem
• [SPARK-50702] [SC-184727][python] Refinar a docstring de regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Expor métricas do BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Adicionar suporte a pushdown do RPAD
• [SPARK-50682] [SC-184579][sql] O alias interno deve ser canonizado
• [SPARK-50699] [SC-184695][python] Analisar e gerar cadeia de caracteres DDL com uma sessão especificada
• [SPARK-50573] [SC-184568][ss] Adicionando ID do esquema de estado às linhas de estado para a evolução do esquema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correção na implementação do foreachBatch do Spark Connect Scala. para dar suporte ao conjunto de dados[T].
• [SPARK-50689] [SC-184591][sql] Impor ordenação determinística em listas de projetos LCA
• [SPARK-50696] [SC-184667][python] Otimizar chamada Py4J para método de análise de DDL
• [SPARK-49670] [SC-182902][sql] Habilitar ordenação de corte para todas as expressões de passagem
• [SPARK-50673] [SC-184565][ml] Evite atravessar coeficientes de modelo duas vezes no Word2VecModel construtor
• [SPARK-50687] [SC-184588][python] Otimize a lógica para obter rastreamentos de pilha para DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Armazene o esquema analisado para MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correção da verificação da existência do método 'terminate' na avaliação UDTF
• [SPARK-50684] [SC-184582][python] Melhorar o desempenho de Py4J no DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Corrigir transposição para mostrar uma mensagem de erro adequada quando colunas de índice inválidas são especificadas
• [SPARK-50650] [SC-184532][sql] Melhorar o log no Analisador de passagem única
• [SPARK-50665] [SC-184533][sql] Substituir LocalRelation por ComparableLocalRelation em NormalizePlan
• [SPARK-50644] [SC-184486][sql] Ler variante de struct no leitor de Parquet.
• [SPARK-49636] [SC-184089][sql] Excluir a recomendação de configuração ANSI em INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refatorar cálculo de saída da União para reutilizá-lo no Analisador de única passagem.
• [SPARK-50659] [SC-184512][sql] Mover erros relacionados ao Union para QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Corrigir cálculo de contexto de tipo de cadeia de caracteres implícita incorreta
• [SPARK-50546] [SC-183807][sql] Adicionar suporte de conversão de subconsultas à coerção do tipo de ordenação
• [SPARK-50405] [SC-182889][sql] Manipular coerção de tipo de ordenação de tipos de dados complexos corretamente
• [SPARK-50637] [SC-184434][sql] Corrigir o estilo de código para o Analisador de passagem única
• [SPARK-50638] [SC-184435][sql] Refatorar a resolução de exibição para o arquivo separado para reutilizá-la no Analisador de passagem única
• [SPARK-50615] [SC-184298][sql] Empurrar variante na varredura.
• [SPARK-50619] [SC-184210][sql] Refatorar VariantGet.cast para empacotar os argumentos de conversão
• [SPARK-50599] [SC-184058][sql] Criar a característica do DataEncoder que permite a codificação Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Corrigir chaves de log
• [SPARK-50597] [SC-183972][sql] Refatorar a construção em lote em Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Ativar o log de mudanças para armazenar informações de linhagem
• [SPARK-50526] [SC-183811][ss] Adicionar configuração de formato de codificação do repositório ao log de deslocamento e impedir que operadores com estado sem suporte usem avro
• [SPARK-50540] [SC-183810][python][SS] Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Usando SQLConf fornecido primeiro pelo SparkSession.
• [SPARK-48898] [SC-183793][sql] Definir a nulidade corretamente no esquema Variant
• [SPARK-50559] [SC-183814][sql] Armazenar saídas de Exceto, Intersecção e União como valores preguiçosos
• [SPARK-48416] [SC-183643][sql] Suporte para expressão "With" correlacionada e aninhada
• [SPARK-50428] [SC-183566][ss][PYTHON] Suporte a TransformWithStateInPandas em consultas em lote
• [SPARK-50063] [SC-183350][sql][CONNECT] Adicionar suporte para Variant no cliente Do Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementar StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Corrigindo erros de build do Maven introduzidos pelo cache Guava no RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Corrigir bug em que blocos BEGIN END vazios geram um erro
• [SPARK-50536] [SC-183443][core] Registrar os tamanhos dos arquivos compactados baixados em SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Reconstruir binário variante de dados fragmentados.
• [SPARK-49565] [SC-183465][sql] Adicionar sintaxe de pipe SQL para o operador FROM
• [SPARK-50497] [SC-183338][sql] Falhar consultas com mensagem adequada se MultiAlias contiver função não-geradora
• [SPARK-50460] [SC-183375][python][CONNECT] Generalize e simplifique o tratamento de exceções do Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Corrigir a opção de compactação que está sendo substituída em df.write.parquet
• [SPARK-50329] [SC-183358][sql] corrigir InSet$toString
• [SPARK-50524] [SC-183364][sql] Reduzir a mensagem de aviso para o nível de depuração
• [SPARK-50528] [SC-183385][conectar] Mover InvalidCommandInput para o módulo comum
• [SPARK-50017] [SC-182438][ss] Suporte à codificação Avro para o operador TransformWithState
• [SPARK-50463] [SC-182833][sql] Correção na conversão de Columnar para Row
• [SPARK-50235] [SC-180786][sql] Limpar o recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Corrigir o teste relacionado ao estado de inicialização para usar StreamManualClock
• [SPARK-50478] [SC-183188][sql] Corrigir a correspondência StringType
• [SPARK-50492] [SC-183177][ss] Corrigir java.util.NoSuchElementException quando a coluna de tempo do evento é descartada após dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Adicionar sintaxe de pipe SQL para o SET operador
• [SPARK-50449] [SC-183178][sql] Corrigir a gramática de scripts SQL que permite corpos vazios para loops, IF e CASE
• [SPARK-50251] [SC-180970][python] Adicionar getSystemProperty ao PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Correção da configuração de memória relacionada ao executor incorreta quando vários perfis de recurso funcionavam
• [SPARK-49461] [SC-179572][ss] ID de ponto de verificação persistente para registrar logs e ler novamente.
• [SPARK-50343] [SC-183119][spark-50344][SQL] Adicionar sintaxe de pipe SQL para os operadores DROP e AS
• [SPARK-50481] [SC-182880][core] Melhorar SortShuffleManager.unregisterShuffle para ignorar a lógica do arquivo de soma de verificação se a soma de verificação estiver desabilitada
• [SPARK-50498] [SC-183090][python] Evite chamadas py4j desnecessárias em listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Corrigir a autojunção após applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Correção do push-down do xor no Postgres

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Atualizações de manutenção

Consulte as atualizações de manutenção do Databricks Runtime 16.2.

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.1 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Bibliotecas do Python instaladas

Bibliotecas do R instaladas

As bibliotecas R são instaladas a partir do snapshot CRAN do Posit Package Manager em 04 de agosto de 2024: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)