Tempo de execução do Databricks 16.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 16.2, alimentado pelo Apache Spark 3.5.2.

A Databricks lançou esta versão em fevereiro de 2025.

Mudanças comportamentais

ANALYZE agora ignora colunas com tipos de dados não suportados

ANALYZE TABLE não resulta mais em uma mensagem de erro quando executado em uma tabela com tipos sem suporte, como ARRAY ou MAP. As colunas sem suporte agora são ignoradas automaticamente. Os usuários que implementaram a lógica que espera esses erros devem atualizar seu código.

No Compartilhamento Delta, o histórico da tabela é habilitado por padrão

Os compartilhamentos criados usando o comando SQL ALTER SHARE <share> ADD TABLE <table> agora têm o compartilhamento de histórico (WITH HISTORY) habilitado por padrão. Consulte ALTER SHARE.

As instruções SQL de credenciais retornam um erro quando há uma incompatibilidade de tipo de credencial

Com esta versão, se o tipo de credencial especificado em uma instrução SQL de gerenciamento de credenciais não corresponder ao tipo do argumento de credencial, um erro será retornado e a instrução não será executada. Por exemplo, para a instrução DROP STORAGE CREDENTIAL 'credential-name', se credential-name não for uma credencial de armazenamento, a instrução falhará com um erro.

Essa alteração é feita para ajudar a evitar erros do usuário. Anteriormente, essas instruções eram executadas com êxito, mesmo que uma credencial que não correspondesse ao tipo de credencial especificado fosse passada. Por exemplo, a seguinte instrução excluiria com êxito storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Essa alteração afeta as seguintes declarações:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… ON… CREDENCIAL
• REVOKE… ON… CREDENCIAL
• SHOW GRANTS SOBRE... CREDENCIAL

Novos recursos e melhorias

• Crie aplicações com estado personalizadas com transformWithState
• Autenticar no armazenamento de objetos na nuvem com credenciais de serviço
• O acesso controlado pelo Unity Catalog a serviços de nuvem externos usando credenciais de serviço agora é GA
• Os blocos de notas são suportados como ficheiros de espaço de trabalho
• Use o timestampdiff & timestampadd em expressões de coluna geradas
• Suporte à sintaxe SQL de pipeline
• Fazer solicitação HTTP usando a http_request função
• A atualização para DESCRIBE TABLE devolve metadados como JSON estruturado
• Agrupamentos insensíveis em branco à direita
• Converta tabelas Apache Iceberg com particionamento de bucket em tabelas Delta não particionadas
• A computação do modo de acesso padrão (anteriormente modo de acesso compartilhado) agora suporta os métodos foreachSpark Scala, foreachBatche flatMapGroupsWithState

Crie aplicações com estado personalizadas com transformWithState

Agora pode usar as transformWithState APIs relacionadas para implementar aplicações stateful personalizadas como parte de consultas de Streaming Estruturado. Consulte Criar um aplicativo com monitoração de estado personalizado.

Autenticar no armazenamento de objetos na nuvem com credenciais de serviço

Agora você pode usar as credenciais do serviço Databricks para autenticar no armazenamento de objetos na nuvem com o Auto Loader. Consulte Configurar fluxos do carregador automático no modo de notificação de arquivo.

O acesso controlado pelo Unity Catalog a serviços de nuvem externos usando credenciais de serviço agora é GA

As credenciais de serviço permitem uma autenticação simples e segura com os serviços do seu locatário de nuvem do Azure Databricks. Com o Databricks Runtime 16.2, as credenciais de serviço estão geralmente disponíveis e agora suportam SDKs Scala, além do SDK Python que era suportado na Visualização Pública. Consulte Criar credenciais de serviço.

Os blocos de notas são suportados como ficheiros de espaço de trabalho

No Databricks Runtime 16.2 e superior, os blocos de anotações são suportados como arquivos de espaço de trabalho. Agora você pode interagir programaticamente com blocos de anotações de qualquer lugar onde o sistema de arquivos do espaço de trabalho esteja disponível, incluindo gravação, leitura e exclusão de blocos de anotações como qualquer outro arquivo. Para saber mais, consulte Criar, atualizar e excluir arquivos e diretórios programaticamente.

Usar o timestampdiff & timestampadd em expressões de coluna geradas

No Databricks Runtime 16.2 e superior, você pode usar as funções timestampdiff e timestampadd em expressões de coluna geradas pelo Delta Lake. Veja as colunas geradas pelo Lago Delta.

Suporte para sintaxe de pipeline SQL

No Databricks Runtime 16.2 e superior, você pode compor pipelines SQL. Um pipeline SQL estrutura uma consulta padrão, como SELECT c2 FROM T WHERE c1 = 5, em uma sequência passo a passo, conforme mostrado no exemplo a seguir:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Para saber mais sobre a sintaxe suportada para pipelines SQL, ver SQL Pipeline Syntax.

Para obter informações básicas sobre essa extensão entre setores, consulte SQL tem problemas. Nós podemos corrigi-los: sintaxe de pipe em SQL (por Google Research).

Fazer solicitação HTTP usando a função http_request

No Databricks Runtime 16.2 e superior, você pode criar conexões HTTP e, através delas, fazer solicitações HTTP usando a função http_request .

Atualização para DESCRIBE TABLE retorna metadados como JSON estruturado

No Databricks Runtime 16.2 e versões superiores, pode usar o comando DESCRIBE TABLE AS JSON para retornar os metadados de tabela como um documento JSON. A saída JSON é mais estruturada do que o relatório padrão legível por humanos e pode ser usada para interpretar o esquema de uma tabela programaticamente. Para saber mais, consulte DESCRIBE TABLE AS JSON.

Agrupamentos insensíveis em branco à direita

O Databricks Runtime 16.2 adiciona suporte para agrupamentos que ignoram espaços em branco à direita, além do suporte a agrupamentos introduzido no Databricks Runtime 16.1. Por exemplo, esses agrupamentos tratam 'Hello' e 'Hello ' como iguais. Para saber mais, consulte collation RTRIM.

Converter tabelas Apache Iceberg com particionamento por buckets em tabelas Delta não particionadas.

As instruções CONVERT TO DELTA e CREATE TABLE CLONE agora permitem a conversão de uma tabela Apache Iceberg com particionamento de balde para uma tabela Delta sem partição.

A computação do modo de acesso padrão (anteriormente modo de acesso compartilhado) agora suporta os métodos foreachSpark Scala, foreachBatche flatMapGroupsWithState

Na Databricks Runtime 16.2 e superior, o modo de acesso padrão para computação agora suporta os métodos DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState do Scala. No Databricks Runtime 16.1 e superior, a computação do modo de acesso padrão agora suporta o método Scala DataStreamWriter.foreach.

Correções de erros

Processamento incremental de clones melhorado

Esta versão inclui uma correção para um caso extremo em que um CLONE incremental pode voltar a copiar arquivos que já foram copiados de uma tabela de origem para uma tabela de destino. Ver Clonar uma tabela no Azure Databricks.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • org.json4s.json4s-ast_2.12 de 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 de 3.7.0-M11 a 4.0.7
  • Atualização de org.json4s.json4s-jackson_2.12 de 3.7.0-M11 para 4.0.7
  • org.json4s.json4s-scalap_2.12, de 3.7.0-M11 a 4.0.7

Apache Spark

O Databricks Runtime 16.2 inclui o Apache Spark 3.5.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 16.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-49966] Reverter "[SC-179501][sql] Use Invoke para implementar JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Corrigir a execução da consulta walker da expressão de agrupamento
• [SPARK-49666] [SQL] Habilitar testes de corte para expressão InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Alterar a assinatura da expressão TimestampAdd
• [SPARK-50795] [16.x][sc-186719][SQL] Armazene o carimbo de data/hora como long tipo no describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Adicione o fuso horário ao efetuar casting para timestamp em V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Falha no ExecuteResponseObserver resulta em infinitas solicitações de reanexação
• [SPARK-50522] [SC-186500][sql] Suporte para agrupamento indeterminado
• [SPARK-50525] [SC-186058][sql] Definir a Regra de Otimização InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Expressões comuns duplicadas em diferentes With devem ser projetadas apenas uma vez
• [SPARK-50847] [SC-186916] [SQL] Negar a aplicação de ApplyCharTypePadding em expressões In específicas
• [SPARK-50714] [SC-186786][sql][SS] Permitir a evolução do esquema para TransformWithState quando a codificação Avro for utilizada
• [SPARK-50795] [SC-186390][sql] Exibir todas as datas no comando DESCRIBE AS JSON no formato ISO-8601 e os tipos como dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Cherrypick do Databricks Runtime 16.x: Melhorar a coerção de tipos e a verificação de fronteiras para a função SQL UNIFORM
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog suporta builtin valor mágico
• [SPARK-50831] [SC-186736][sql] Habilitar agrupamento de corte por padrão
• [SPARK-50263] [SC-186793][connect] Substitua System.currentTimeMillis por System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementar CreateSQLFunctionCommand para SQL Scalar e funções de tabela
• [SPARK-50830] [SC-186718] [SQL] Retorna o resultado de uma única passagem como o resultado da análise de execução dupla
• [SPARK-50707] [SC-186098][sql] Ativar conversão de/para char/varchar
• [SPARK-49490] [SC-182137][sql] Adicionar benchmarks para initCap
• [SPARK-50529] [SC-184535][sql] Alterar o comportamento dos tipos de dados char/varchar sob a configuração spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][sql] Remova a sugestão de configuração ANSI no CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Corrigir bug onde passar Variantes nulas em createDataFrame faz com que ele falhe e adicione suporte a Variant em createDataFrame no Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Descontinuar pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Conjunto analisado em falha de análise
• [SPARK-50824] [SC-186472][python] Evite importar pacotes Python opcionais para verificação
• [SPARK-50755] [SC-185521][sql] Exibição de plano bonito para InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] As entradas para agregações tipadas devem ser analisadas
• [SPARK-50791] [SC-185867][sc-186338][SQL] Corrigir NPE no tratamento de erros do State Store
• [SPARK-50801] [SC-186365] [SQL] Melhorar PlanLogger.logPlanResolution para mostrar apenas planos não resolvidos e resolvidos
• [SPARK-50749] [SC-185925][sql] Corrigir bug de ordenação no método CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonizar o nome e o layout do ficheiro de resultados do criador de perfil JVM no DFS
• [SPARK-50790] [SC-186354][python] Implementar análise de JSON no PySpark
• [SPARK-50738] [SC-184856][python] Atualize Black para 23.12.1
• [SPARK-50764] [SC-185930][python] Refine o docstring de métodos relacionados ao xpath
• [SPARK-50798] [SC-186277][sql] Melhorar NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 Integração com RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Adicionando flag de funcionalidade para agrupamentos no nível do objeto
• [SPARK-50778] [SC-186183][python] Adicionar metadataColumn ao PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Melhorar os alias de expressão gerados automaticamente com operadores pipe SQL
• [SPARK-50541] [16.x][sc-184937] Descrever a tabela como JSON
• [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x incorporação seletiva: Manter os aliases das tabelas após SET, operadores EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Corrigir ClassCastException em HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizar o diferencial do código Delta com o tempo de execução dos Databricks
• [SPARK-50752] [SC-185547][python][SQL] Introduza configurações para ajustar Python UDF sem seta
• [SPARK-50705] [SC-185944][sql] Tornar QueryPlan sem bloqueio
• [SPARK-50690] [16.x][sc-184640][SQL] Corrigir discrepância na DESCRIBE TABLE citação de colunas de saída de consulta de exibição
• [SPARK-50746] [SC-184932][sql] Substitua Either por VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder define as configurações em lote
• [SPARK-50480] [SC-183359][sql] Estender CharType e VarcharType a partir de StringType
• [SPARK-50675] [SC-184539][sql] Suporte a agrupamentos de nível de tabela e exibição
• [SPARK-50409] [SC-184516][sql] Corrigir a instrução 'set' para ignorar ; no final de SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizar os IDs de CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] As entradas para TypedScalaUdf devem ser analisadas
• [SPARK-50744] [SC-184929][sql] Adicionar um caso de teste para precedência de resolução de nomes View/CTE
• [SPARK-50710] [SC-184767][connect] Adicionar suporte para reconexão de cliente opcional a sessões após o lançamento
• [SPARK-50703] [SC-184843][python] Refine o docstring de regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Corrigir a lógica de limpeza de links simbólicos no método JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][sql] Corrigir GROUP BY o suporte ordinal para operadores de pipe SQL AGGREGATE
• [SPARK-50614] [SC-184729][sql] Adicionar suporte de fragmentação de variante para Parquet
• [SPARK-50661] [SASP-4936] Adicionar compatibilidade com versões anteriores para o cliente antigo FEB.
• [SPARK-50676] [SC-184641][sql] Remover não utilizado private lazy val mapValueContainsNull de ElementAt
• [SPARK-50515] [SC-183813][core] Adicionar interface somente leitura a SparkConf
• [SPARK-50697] [SC-184702][sql] Habilitar a recursão final sempre que possível
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrija o esquema de estado para FlatMapGroupsWithState no Spark Connect quando não houver estado inicial.
• [SPARK-50701] [SC-184704][python] Faça com que a plotagem exija a versão mínima do plotly
• [SPARK-50702] [SC-184727][python] Refine o docstring de regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Exponha métricas do BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Adicionar suporte ao pushdown RPAD
• [SPARK-50682] [SC-184579][sql] Alias interno deve ser canonicalizado
• [SPARK-50699] [SC-184695][python] Analise e gere a cadeia de caracteres DDL com uma sessão especificada
• [SPARK-50573] [SC-184568][ss] Adicionando ID de esquema de estado a linhas de estado para evolução do esquema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correção da implementação do foreachBatch do Spark Connect Scala. para dar suporte a Dataset[T].
• [SPARK-50689] [SC-184591][sql] Impor ordenação determinística em listas de projetos LCA
• [SPARK-50696] [SC-184667][python] Otimizar chamada Py4J para método de análise DDL
• [SPARK-49670] [SC-182902][sql] Habilitar agrupamento de corte para todas as expressões de passagem
• [SPARK-50673] [SC-184565][ml] Evite atravessar coeficientes de modelo duas vezes no Word2VecModel construtor
• [SPARK-50687] [SC-184588][python] Otimize a lógica para obter traces de stack para DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Armazene em cache o esquema analisado para MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Corrigir verificação da existência do método 'terminate' na avaliação UDTF
• [SPARK-50684] [SC-184582][python] Melhorar o desempenho do Py4J em DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Adicionar suporte para a nova versão dos metadados de estado para TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Corrigir transposição para exibir uma mensagem de erro apropriada quando colunas de índice inválidas são especificadas
• [SPARK-50650] [SC-184532][sql] Melhorar o logging no analisador de passagem única
• [SPARK-50665] [SC-184533][sql] Substitua LocalRelation por ComparableLocalRelation no NormalizePlan
• [SPARK-50644] [SC-184486][sql] Leia a estrutura variante no leitor Parquet.
• [SPARK-49636] [SC-184089][sql] Remova a sugestão de configuração ANSI nos INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Refatorar o cálculo do output da união para reutilizá-lo no single-pass Analyzer
• [SPARK-50659] [SC-184512][sql] Mover erros relacionados à Union para QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Corrigir cálculo de contexto de tipo de cadeia implícita incorreta
• [SPARK-50546] [SC-183807][sql] Adicionar suporte de transmissão de subconsulta à coerção do tipo de agrupamento
• [SPARK-50405] [SC-182889][sql] Gerir a coerção de tipos de colação de tipos de dados complexos corretamente
• [SPARK-50637] [SC-184434][sql] Corrigir estilo de código para o analisador de passagem única
• [SPARK-50638] [SC-184435][sql] Refatorar a resolução da vista em um arquivo separado para que possa ser reutilizada no analisador de passagem única
• [SPARK-50615] [SC-184298][sql] Transferir variante para à consulta.
• [SPARK-50619] [SC-184210][sql] Refatorar VariantGet.cast para agrupar os argumentos de conversão
• [SPARK-50599] [SC-184058][sql] Crie o traço DataEncoder que permite a codificação Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Corrigir chaves de log
• [SPARK-50597] [SC-183972][sql] Refatorar a construção de lotes em Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Habilite o changelog para armazenar informações de linhagem
• [SPARK-50526] [SC-183811][ss] Adicionar configuração de formato de codificação de armazenamento no log de deslocamento e impedir que operadores com estado não suportados usem avro
• [SPARK-50540] [SC-183810][python][SS] Corrigir esquema de cadeia de caracteres para StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Primeiro, usando o SQLConf fornecido pelo SparkSession.
• [SPARK-48898] [SC-183793][sql] Definir a anulabilidade corretamente no esquema Variant
• [SPARK-50559] [SC-183814][sql] Armazenar as saídas do Except, Intersect e União como vals preguiçosos
• [SPARK-48416] [SC-183643][sql] Suporte aninhado correlacionado com expressão
• [SPARK-50428] [SC-183566][ss][PYTHON] Suporte a TransformWithStateInPandas nas consultas em lote
• [SPARK-50063] [SC-183350][sql][CONNECT] Adicionar suporte para Variant no cliente Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementar StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Corrigindo erros de compilação do Maven introduzidos pelo cache Guava no RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Corrigir bug onde blocos vazios BEGIN END lançam um erro
• [SPARK-50536] [SC-183443][core] Registre os tamanhos dos arquivos baixados em SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Reconstrua o binário variante a partir de dados triturados.
• [SPARK-49565] [SC-183465][sql] Adicionar sintaxe de pipe SQL para o operador FROM
• [SPARK-50497] [SC-183338][sql] Falha em consultas com mensagem adequada se MultiAlias contiver função não-geradora
• [SPARK-50460] [SC-183375][python][CONNECT] Generalizar e simplificar o tratamento de exceções do Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Corrigir opção de compactação sendo substituída df.write.parquet
• [SPARK-50329] [SC-183358][sql] corrigir InSet$toString
• [SPARK-50524] [SC-183364][sql] Reduzir a mensagem de aviso para o nível de depuração
• [SPARK-50528] [SC-183385][connect] Mover InvalidCommandInput para o módulo comum
• [SPARK-50017] [SC-182438][ss] Suporte à codificação Avro para o operador TransformWithState
• [SPARK-50463] [SC-182833][sql] Correção ConstantColumnVector com conversão de coluna para linha
• [SPARK-50235] [SC-180786][sql] Limpar recurso ColumnVector depois de processar todas as linhas em ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Corrija o teste relacionado ao estado de inicialização para usar o StreamManualClock
• [SPARK-50478] [SC-183188][sql] Corrigir correspondência StringType
• [SPARK-50492] [SC-183177][ss] Corrigir java.util.NoSuchElementException quando a coluna de tempo de evento é descartada após dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Adicionar sintaxe de pipe SQL para o SET operador
• [SPARK-50449] [SC-183178][sql] Corrija a gramática de script SQL permitindo corpos vazios para loops, IF e CASE
• [SPARK-50251] [SC-180970][python] Adicionar getSystemProperty ao PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Corrigir a configuração incorreta de memória relacionada ao executor quando vários perfis de recursos estavam em uso
• [SPARK-49461] [SC-179572][ss] ID de ponto de verificação persistente para confirmar logs e lê-los de volta
• [SPARK-50343] [SC-183119][spark-50344][SQL] Adicionar sintaxe de pipe SQL para os operadores DROP e AS
• [SPARK-50481] [SC-182880][core] Melhorar SortShuffleManager.unregisterShuffle para ignorar a lógica do arquivo de soma de verificação se a soma de verificação estiver desabilitada
• [SPARK-50498] [SC-183090][python] Evite chamadas py4j desnecessárias listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Corrigir auto-junção após applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Correção de push-down XOR no Postgres

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC,baixe JDBC).

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 16.2.

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.1 LTS
  • Nota: Esta é a versão do Ubuntu usada pelos contêineres Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição Linux.
• Java : Zulu17.54+21-CA
• Scala: 2.12.15
• Píton: 3.12.3
• R: 4.4.0
• Lago Delta: 3.3.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN do Posit Package Manager na data de 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)