Databricks Runtime 10.1 (EoL)

As notas de lançamento a seguir fornecem informações sobre o Databricks Runtime 10.1 e o Databricks Runtime 10.1 Photon, que são baseados no Apache Spark 3.2.0. A Databricks lançou essa versão em novembro de 2021. O Photon está em Visualização Pública.

Novos recursos e aprimoramentos

• Novas configurações de tabela Delta para compactação de arquivos pequenos
• Novas métricas de grupo de linhas para verificações de consulta Parquet
• Trigger.AvailableNow para consultas de streaming da fonte Delta
• Trigger.AvailableNow para o Auto Loader
• Suporte Delta para configurações do sistema de arquivos Hadoop passadas por opções de DataFrame
• O ponto de verificação de estado assíncrono agora tem suporte em trabalhos de fluxo com estado (Visualização Pública)
• Sparklyr com transferência de credenciais
• Controle de precisão de resumo de dados de Utilitários do Databricks (Visualização Pública)
• Os notebooks do Azure Databricks agora podem ser usados com o kernel do IPython
• Novas funções no Spark SQL

Novas configurações de tabela Delta para compactação de arquivos pequenos

A propriedade delta.autoOptimize.autoCompact da tabela Delta agora aceita os novos valores de auto e legacy, além dos valores existentes de true e false. Quando definida como auto (recomendado), a Compactação Automática usa padrões melhores, como a configuração de 32 MB como o tamanho do arquivo de destino (embora os comportamentos padrão estejam sujeitos a alterações no futuro). Quando definida como legacy ou true, a Compactação Automática usa 128 MB como o tamanho do arquivo de destino.

Em vez de definir essa propriedade para uma tabela individual, você pode definir a configuração spark.databricks.delta.autoCompact.enabled para auto, legacy ou true para habilitar a Compactação Automática para todas as tabelas Delta. Essa configuração tem precedência sobre a propriedade de tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para Compactação Automática pode ser controlado com a configuração spark.databricks.delta.autoCompact.maxFileSize.

Para obter mais informações sobre Compactação Automática, consulte Compactação automática.

Novas métricas de grupo de linhas para escaneamentos de consulta Parquet

As consultas com verificações de Parquet agora revelam métricas do grupo de linhas na interface do usuário do Spark. Essas métricas de grupo de linhas são:

• número total de grupos de linhas parquet
• número de leituras de grupos de linhas parquet

Trigger.AvailableNow para consultas de streaming de origem Delta

Essa alteração dá suporte a um novo tipo de gatilho para consultas de fluxo Delta em Scala: Trigger.AvailableNow. É como o Trigger.Once, que processa todos os dados disponíveis e, em seguida, interrompe a consulta. No entanto, o Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. Essa alteração não introduz uma nova interface; ela implementa uma API do Spark existente. Esse gatilho também dá suporte a todas as opções de limitação de taxa que já têm suporte no Delta como uma origem.

Exemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Trigger.AvailableNow para o Auto Loader

Trigger.AvailableNow é um novo modo de gatilho de streaming semelhante ao Trigger.Once. O Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. O Trigger.AvailableNow oferece melhor escalabilidade, pois os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora dá suporte ao Trigger.AvailableNow nos modos de listagem de diretório e de notificação de arquivo do Scala. Confira a cobertura do Trigger.AvailableNow em O que é o Carregador Automático?.

Suporte Delta para configurações do sistema de arquivos do Hadoop que são passadas por meio de opções de DataFrame

Semelhante ao Parquet, o Delta agora dá suporte à leitura de Configurações do sistema de arquivos do Hadoop das opções DataFrameReader e DataFrameWriter quando a tabela é lida ou gravada, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento do Delta.

O ponto de verificação de estado assíncrono agora tem suporte em trabalhos de fluxo com estado (Visualização Pública)

O ponto de verificação de estado assíncrono é um novo recurso que pode potencialmente reduzir a latência de microlotes de ponta a ponta em tarefas de streaming com grandes atualizações de estado. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Sparklyr com transferência de credenciais

Agora você pode usar as APIs sparklyr para ler e gravar dados de/para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada a clusters padrão com acesso de usuário único. Consulte Acessar o Azure Data Lake Storage usando o repasse de credencial do Microsoft Entra ID (legado).

Resumo de dados com controle de precisão dos Utilitários do Databricks (Visualização Pública)

Um novo parâmetro precise para dbutils.data.summarize controla a precisão dos resultados de resumo. Quando precise é definido como false (o padrão), o resumo retorna resultados aproximados para contagem distinta, percentis e itens frequentes. Quando precise é definido como true, os resumos agora são calculados com contagem distinta exata e contagens de itens frequentes, proporcionando estimativas mais precisas de percentil. Veja o comando resumir (dbutils.data.summarize).

Os notebooks do Azure Databricks agora podem ser usados com o kernel do IPython

Agora você pode configurar um cluster do Azure Databricks para usar o kernel do IPython para executar código do Python. Usar o kernel IPython no Azure Databricks adiciona suporte para ferramentas de exibição e saída do IPython. Além disso, o kernel IPython captura as saídas stdout e stderr de processos filho criados por um notebook, permitindo que essa saída seja incluída nos resultados do comando do notebook.

Para obter mais informações, confira Kernel do IPython.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com os dados no Unity Catalog (versão prévia):

• Locais externos
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTERAR LOCAL
• CREATE CATALOG
• CRIAR LOCAL
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCRIÇÃO DA LOCALIZAÇÃO
• DROP CATALOG
• DROP CREDENTIAL
• LOCAL DE DESTINO
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• MOSTRAR LOCALIZAÇÕES
• USE CATALOG

Os comandos a seguir foram adicionados para o Compartilhamento Delta (versão prévia), que permite que você compartilhe dados somente leitura com destinatários fora da sua organização:

• Compartilhamento
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT COMPARTILHAR
• REVOKE COMPARTILHAR
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Correções de bug

• Corrigida uma condição de corrida que pode causar a falha de uma consulta com um IOException como No FileSystem for scheme ou que possa fazer com que as modificações em sparkContext.hadoopConfiguration não sejam aplicadas nas consultas.

Atualizações da biblioteca

• Bibliotecas do Python atualizadas:
  • filelock de 3.0.12 para 3.3.1
  • koalas de 1.8.1 para 1.8.2
  • plotly de 5.1.0 para 5.3.0
• Bibliotecas do R atualizadas:
  • bslib de 0.3.0 para 0.3.1
  • caret de 6.0-88 para 6.0-90
  • cpp11 de 0.3.1 para 0.4.0
  • data.table de 1.14.0 para 1.14.2
  • desc de 1.3.0 para 1.4.0
  • diffobj de 0.3.4 para 0.3.5
  • digest de 0.6.27 para 0.6.28
  • generics de 0.1.0 para 0.1.1
  • hms de 1.1.0 para 1.1.1
  • knitr de 1.34 para 1.36
  • lattice de 0.20-44 para 0.20-45
  • lifecycle do 1.0.0 para 1.0.1
  • lubridate de 1.7.10 para 1.8.0
  • mgcv de 1.8-37 para 1.8-38
  • mime de 0.11 para 0.12
  • pkgload de 1.2.2 para 1.2.3
  • progressr de 0.8.0 para 0.9.0
  • rcmdcheck de 1.3.3 para 1.4.0
  • readr de 2.0.1 para 2.0.2
  • recipes de 0.1.16 para 0.1.17
  • atualizações de versão do remotes de 2.4.0 para 2.4.1
  • rlang de 0.4.11 para 0.4.12
  • Atualização de rvest de 1.0.1 para 1.0.2
  • shiny de 1.6.0 para 1.7.1
  • Atualização do stringi da versão 1.7.4 para a versão 1.7.5
  • testthat de 3.0.4 para 3.1.0
  • tidyr de 1.1.3 para 1.1.4
  • tinytex de 0.33 para 0.34
  • usethis de 2.0.1 para 2.1.2
  • xfun de 0.26 para 0.27
• Bibliotecas do Java atualizadas:
  • com.zaxxer.HikariCP de 3.1.0 para 4.0.3

Apache Spark

Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.0 (EoL), bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-37037] [SQL] Aprimorar classificação da matriz de bytes unificando a função compareTo de UTF8String e ByteArray
• [SPARK-37091] [R] "SystemRequirements" para incluir Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: suporte de SSL (Secure-Socket-Layer) para HMS
• [SPARK-37098] [SQL] Alterar propriedades da tabela deve invalidar o cache
• [SPARK-36992] [SQL] Aprimorar desempenho da classificação da matriz de bytes unificando a função getPrefix de UTF8String e ByteArray
• [SPARK-37047] [SQL] Adicionar funções lpad e rpad para cadeias de caracteres binárias
• [SPARK-37076] [SQL] Implementar StructType.toString explicitamente no Scala 2.13
• [SPARK-37075] [SQL] Mover a construção da expressão UDAF do sql/catalyst para o sql/core
• [SPARK-37084] [SQL] Definir spark.sql.files.openCostInBytes como bytesConf
• [SPARK-37088] [PYSPARK][sql] O thread do gravador não deve acessar a entrada após o retorno do ouvinte de conclusão da tarefa
• [SPARK-37069] [SQL] Proceder ao fallback de forma correta quando Hive.getWithoutRegisterFns não estiver disponível
• [SPARK-37050] [PYTHON] Atualizar instruções de instalação do Conda
• [SPARK-37067] [SQL] Use ZoneId.of() para manipular a cadeia de caracteres de fuso horário em DatetimeUtils
• [SPARK-35925] [SQL] Suporte a DayTimeIntervalType na função width-bucket
• [SPARK-35926] [SQL] Adicionar suporte a YearMonthIntervalType para width_bucket
• [SPARK-35973] [SQL] Adicionar comando SHOW CATALOGS
• [SPARK-36922] [SQL] As funções SIGN/SIGNUM devem dar suporte a intervalos ANSI
• [SPARK-37078] [CORE] Suporte a construtores Sink antigos de três parâmetros
• [SPARK-37061] [SQL] Corrigir CustomMetrics ao usar classes internas
• [SPARK-35918] [AVRO] Unificar o tratamento de incompatibilidade de esquema para leitura/gravação e melhorar as mensagens de erro
• [SPARK-36871] [SQL] Migrar comando CreateViewStatement para v2
• [SPARK-36898] [SQL] Tornar o fator de junção hash aleatória configurável
• [SPARK-36921] [SQL] Suporte para intervalos ANSI por DIV
• [SPARK-36794] [SQL] Ignorar chaves de associação duplicadas ao criar a relação para a junção hash SEMI/ANTI aleatorizada
• [SPARK-36867] [SQL] Corrigir mensagem de erro com alias GROUP BY
• [SPARK-36914] [SQL] Implementar dropIndex e listIndexes no JDBC (dialeto MySQL)
• [SPARK-35531] [SQL] Passar diretamente a tabela Hive para o HiveClient ao chamar getPartitions, evitando assim a conversão desnecessária de HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Colapsar projetos apenas se não duplicarmos expressões caras
• [SPARK-37046] [SQL]: Alterar exibição não preserva as maiúsculas e minúsculas da coluna
• [SPARK-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez do tipo aninhado raiz
• [SPARK-37052] [CORE] O Spark só deve passar o argumento –verbose para a classe principal quando for uma shell SQL
• [SPARK-37017] [SQL] Reduzir o escopo da sincronização para evitar um possível deadlock
• [SPARK-37032] [SQL] Corrigir o link de sintaxe SQL quebrado na página de referência do SQL
• [SPARK-36905] [SQL] Correção: Leitura de views do Hive sem nomes de colunas explícitos
• [SPARK-36678] Migrar SHOW TABLES para usar o comando V2 por padrão
• [SPARK-36943] [SQL] Aprimorar a legibilidade da mensagem de erro de coluna ausente
• [SPARK-36980] [SQL] Inserir consulta de suporte com CTE
• [SPARK-37001] [SQL] Desativar dois níveis do mapa para agregação do hash final por padrão
• [SPARK-36970] [SQL] Formato desabilitado manualmente da função B para tornar o Java 17 compatível com o Java 8
• [SPARK-36546] [SQL] Adicionar suporte de matriz à união por nome
• [SPARK-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
• [SPARK-36949] [SQL] Não permitir tabelas de provedor do Hive com intervalos ANSI
• [SPARK-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
• [SPARK-36868] [SQL] Migrar CreateFunctionStatement para a estrutura de comando v2
• [SPARK-36841] [SQL] Adicionar sintaxe ANSI set catalog xxx para alterar o catálogo atual
• [SPARK-36821] [SQL] Tornar a classe ColumnarBatch estendível – adendo
• [SPARK-36963] [SQL] Adicionar max_by/min_by ao sql.functions
• [SPARK-36913] [SQL] Implementar CreateIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
• [SPARK-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
• [SPARK-36526] [SQL] Suporte ao índice DSV2: adicionar interface supportsIndex
• [SPARK-36960] [SQL] Filtros de pushdown com valores de intervalo ANSI para ORC
• [SPARK-36929] [SQL] Remover método não utilizado ElimineSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados ORC
• [SPARK-34980] [SQL] Suporte à partição de coalesce através da operação de união no AQE
• [SPARK-36809] [SQL] Remover transmissão para InSubqueryExec usada no DPP
• [SPARK-36813] [SQL][python] Propor uma infraestrutura de junção as-of e implementar ps.merge_asof
• [SPARK-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
• [SPARK-36891] [SQL] Refatorar SpecificParquetRecordReaderBase e adicione mais cobertura na decodificação de Parquet vetorizada
• [SPARK-36920] [SQL] Suporte a intervalos ANSI por ABS()
• [SPARK-36888] [SQL] Adicionar casos de testes para a função de sha2
• [SPARK-36889] [SQL] O construtor de varredura parquet v2 deve respeitar spark.sql.parquet.filterPushdown
• [SPARK-36830] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados JSON
• [SPARK-36870] [SQL] Introduzir classe de erro INTERNAL_ERROR
• [SPARK-36831] [SQL] Suporte à leitura e gravação de intervalos ANSI de/para fonte de dados CSV.
• [SPARK-36550] [SQL] Causa de propagação quando a reflexão da UDF falha
• [SPARK-36866] [SQL] Filtros de pushdown com valores de intervalo ANSI para Parquet
• [SPARK-33832] [SQL] Forçar a simplificação e o aprimoramento do código de skew join.
• [SPARK-36642] [SQL] Adicionar API df.withMetadata do pyspark
• [SPARK-35765] [SQL] As agregações distintas não são sensíveis a duplicatas
• [SPARK-36825] [SQL] Ler/gravar dataframes com intervalos ANSI de/para arquivos parquet
• [SPARK-36829] [SQL] Refatorar verificação de NULL para collectionOperators
• [SPARK-32712] [SQL] Suporte à gravação de tabela em bucket do Hive (formatos de arquivo Hive com hash do Hive)
• [SPARK-36797] [SQL] Union deve tratar colunas aninhadas como colunas de nível superior
• [SPARK-36838] [SQL] Melhorar o desempenho de código gerado pelo InSet
• [SPARK-36683] [SQL] Adicionar novas funções de SQL: SEC e CSC
• [SPARK-36721] [SQL] Simplificar as igualdades boolianas se um lado for literal
• [SPARK-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
• [SPARK-36652] [SQL] A seleção de junção dinâmica do AQE não deve se aplicar à junção non-equi
• [SPARK-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais nas chaves de junção
• [SPARK-36107] [SQL] Refatorar o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
• [SPARK-32709] [SQL] Suporte à gravação de tabela em bucket do Hive (formato Parquet/ORC com hash do Hive)
• [SPARK-36735] [SQL] Ajustar a sobrecarga da relação armazenada em cache para o DPP
• [SPARK-33832] [SQL] Suporte para otimização de junção distorcida, mesmo que isso introduza um shuffle extra
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições em vez de uma condição non-equi
• [SPARK-35221] [SQL] Adicionar a verificação de dicas de junção suportadas
• [SPARK-36814] [SQL] Tornar a classe ColumnarBatch estendível
• [SPARK-36663] [SQL] Suporte a nomes de coluna apenas numéricos em fontes de dados ORC
• [SPARK-36751] [SQL][python][R] Adicionar APIs de bit/octet_length ao Scala, Python e R
• [SPARK-36733] [SQL] Corrigir um problema de perf em SchemaPruning quando um struct tem muitos campos
• [SPARK-36724] [SQL] Suporte ao timestamp_ntz como um tipo de coluna de tempo para SessionWindow
• [SPARK-36556] [SQL] Adicionar filtros DSV2
• [SPARK-36687] [SQL][core] Renomear classes de erro com _ERROR sufixo
• [SPARK-35803] [SQL] Suporte para DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Adicionar df.withMetadata: um syntax sugar para atualizar os metadados de um dataframe

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN de 26/10/2021.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)