Databricks Runtime 10.1 (EoL)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.1 e o Databricks Runtime 10.1 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em novembro de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

• Novas configurações de tabela Delta para compactar arquivos pequenos
• Novas métricas de grupo de linhas para verificações de consulta do Parquet
• Trigger.AvailableNow para consultas de streaming de origem Delta
• Trigger.AvailableNow para carregador automático
• Suporte delta para configurações do sistema de arquivos Hadoop que são passadas pelas opções do DataFrame
• O ponto de verificação de estado assíncrono agora é suportado em trabalhos de streaming com monitoração de estado (Visualização pública)
• Sparklyr com passagem de credenciais
• Dados do Databricks Utilities resumem o controle de precisão (Visualização pública)
• Os blocos de anotações do Azure Databricks agora podem ser usados com o kernel do IPython
• Novas funções no Spark SQL

Novas configurações de tabela Delta para compactar arquivos pequenos

A propriedade delta.autoOptimize.autoCompact da tabela Delta agora aceita os novos valores de auto e legacy além dos valores existentes de true e false. Quando definido como auto (recomendado), a Compactação Automática usa padrões melhores, como definir 32 MB como o tamanho do arquivo de destino (embora os comportamentos padrão estejam sujeitos a alterações no futuro). Quando definido como legacy ou true, a Compactação Automática usa 128 MB como o tamanho do arquivo de destino.

Em vez de definir esta propriedade para uma tabela individual, pode definir a configuração para spark.databricks.delta.autoCompact.enabled, auto ou legacy para ativar a compactação automática para todas as tabelas Delta. Essa configuração tem precedência sobre a propriedade de tabela relacionada durante a sessão atual.

O tamanho do arquivo de destino para Auto Compaction pode ser controlado com a spark.databricks.delta.autoCompact.maxFileSize configuração.

Para mais informações sobre Compactação Automática, consulte Compactação Automática.

Novas métricas de grupo de linhas para verificações de consulta do Parquet

As consultas com varreduras do Parquet agora apresentam métricas de grupo de linhas na interface do usuário do Spark. Essas métricas de grupo de linhas são:

• Número total de grupos de linhas de parquet
• Número de grupos de linhas de parquet lidos

Trigger.AvailableNow para consultas de streaming de origem Delta

Esta alteração oferece suporte a um novo tipo de gatilho para consultas de streaming com origem Delta no Scala: Trigger.AvailableNow. É como Trigger.Once, que processa todos os dados disponíveis e interrompe a consulta. No entanto, Trigger.AvailableNow fornece melhor escalabilidade, porque os dados podem ser processados em vários lotes em vez de um. Esta alteração não introduz uma nova interface; ele implementa uma API Spark existente. Esse gatilho também suporta todas as opções de limitação de taxa que já são suportadas pela Delta como fonte.

Exemplo:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Consulte a cobertura de Trigger.AvailableNow em O que é o Auto Loader?.

Trigger.AvailableNow para carregador automático

Trigger.AvailableNow é um novo modo de gatilho de streaming semelhante ao Trigger.Once. Trigger.Once processa todos os dados disponíveis e, em seguida, interrompe a consulta. Trigger.AvailableNow tem melhor escalabilidade, porque os dados podem ser processados em vários lotes em vez de um. O Auto Loader agora suporta Trigger.AvailableNow nos modos de listagem de diretórios e notificação de arquivos para Scala. Confira a abrangência de Trigger.AvailableNow em O que é Auto Loader?.

Suporte delta para configurações do sistema de arquivos Hadoop que são passadas pelas opções do DataFrame

Semelhante ao Parquet, o Delta agora suporta ler as configurações do sistema de arquivos Hadoop a partir de DataFrameReader e DataFrameWriter quando a tabela é lida ou escrita, usando DataFrameReader.load(path) ou DataFrameWriter.save(path). Consulte Configurar credenciais de armazenamento Delta.

O ponto de verificação de estado assíncrono agora é suportado em trabalhos de streaming com monitoração de estado (Visualização pública)

O ponto de verificação de estado assíncrono é um novo recurso que reduz potencialmente a latência de microlote de ponta a ponta em trabalhos de streaming com monitoração de estado com atualizações de estado grandes. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Sparklyr com passagem de credenciais

Agora você pode usar as APIs do sparklyr para ler e gravar dados de e para o armazenamento em nuvem usando a passagem de credenciais. Essa funcionalidade é limitada a clusters padrão com acesso de usuário único. Consulte Acessar o Armazenamento do Azure Data Lake usando a passagem de credenciais (legado) do Microsoft Entra ID.

Dados do Databricks Utilities resumem o controle de precisão (Visualização pública)

Um novo precise parâmetro para dbutils.data.summarize controlar a precisão dos resultados resumidos. Quando precise é definido como false (o padrão), o resumo retorna resultados aproximados para contagens distintas, percentis e contagens de itens frequentes. Quando precise é definido como verdadeiro, os resumos estatísticos são agora calculados com a contagem distinta exata e as contagens de itens recorrentes, com estimativas de percentis mais precisas. Consulte o comando summarize (dbutils.data.summarize).

Os blocos de anotações do Azure Databricks agora podem ser usados com o kernel do IPython

Agora você pode configurar um cluster do Azure Databricks para usar o kernel do IPython para executar código Python. Usar o kernel do IPython no Azure Databricks adiciona suporte para as ferramentas de exibição e saída do IPython. Além disso, o kernel IPython captura as saídas stdout e stderr de processos filho criados por um notebook, permitindo que essa saída seja incluída nos resultados de comando do notebook.

Para obter mais informações, consulte Kernel IPython.

Novas funções no Spark SQL

Os seguintes objetos e comandos foram adicionados para trabalhar com dados no Unity Catalog (Preview):

• Localizações externas
• ALTER CATALOG
• ALTER CREDENTIAL
• ALTERAR LOCALIZAÇÃO
• CREATE CATALOG
• CRIAR LOCALIZAÇÃO
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• DESCREVER LOCALIZAÇÃO
• DROP CATALOG
• DROP CREDENTIAL
• LOCAL DE ENTREGA
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• MOSTRAR LOCALIZAÇÕES
• USE CATALOG

Os seguintes comandos foram adicionados para o Compartilhamento Delta (Visualização), que permite compartilhar dados somente leitura com destinatários fora da sua organização:

• Partilha
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT PARTILHAR
• REVOKE PARTILHAR
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Correções de erros

• Corrigida uma condição de corrida que poderia causar uma falha de consulta com um IOException, tal como No FileSystem for scheme, ou que poderia fazer com que modificações em sparkContext.hadoopConfiguration não tivessem efeito nas consultas.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • filelock de 3.0.12 para 3.3.1
  • Koalas de 1.8.1 para 1.8.2
  • plotly de 5.1.0 a 5.3.0
• Bibliotecas R atualizadas:
  • bslib de 0.3.0 a 0.3.1
  • Intervalo de versão de 6.0-88 a 6.0-90
  • cpp11 de 0.3.1 para 0.4.0
  • data.table de 1.14.0 a 1.14.2
  • Desc de versão 1.3.0 para versão 1.4.0
  • diffobj de 0.3.4 a 0.3.5
  • resumo de 0.6.27 a 0.6.28
  • Genéricos de 0.1.0 a 0.1.1
  • HMS de 1.1.0 para 1.1.1
  • knitr de 1,34 a 1,36
  • rede de 0,20-44 a 0,20-45
  • ciclo de vida de 1.0.0 a 1.0.1
  • lubridato de 1.7.10 a 1.8.0
  • mgcv de 1.8-37 a 1.8-38
  • MIME de 0,11 a 0,12
  • pkgload de 1.2.2 a 1.2.3
  • Atualização do progressr da versão 0.8.0 para 0.9.0
  • rcmdcheck de 1.3.3 para 1.4.0
  • readr de 2.0.1 a 2.0.2
  • receitas de 0.1.16 a 0.1.17
  • Versões de Remotos de 2.4.0 a 2.4.1
  • RLANG de 0.4.11 a 0.4.12
  • rvest de 1.0.1 a 1.0.2
  • brilhante de 1.6.0 a 1.7.1
  • stringi de 1.7.4 para 1.7.5
  • testthat de 3.0.4 para 3.1.0
  • tidyr d 1.1.3 a 1.1.4
  • tinytex de 0,33 a 0,34
  • usethis da versão 2.0.1 para a versão 2.1.2
  • xfun de 0,26 a 0,27
• Bibliotecas Java atualizadas:
  • com.zaxxer.HikariCP de 3.1.0 a 4.0.3

Apache Spark

O Databricks Runtime 10.1 inclui o Apache Spark 3.2.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.0 (EoL), bem como as seguintes correções adicionais de bugs e melhorias feitas ao Spark:

• [SPARK-37037] [SQL] Melhore a classificação da matriz de bytes unificando a função compareTo para UTF8String e ByteArray
• [SPARK-37091] [R] Requisitos do Sistema que inclui Java < 18
• [SPARK-37041] [SQL] Retroportar HIVE-15025: Suporte Secure-Socket-Layer (SSL) para HMS
• [FAÍSCA-37098] [SQL] Alterar propriedades da tabela deve invalidar o cache
• [SPARK-36992] [SQL] Melhore o desempenho da ordenação de matriz de bytes unificando a função getPrefix do UTF8String e ByteArray
• [SPARK-37047] [SQL] Adicionar funções lpad e rpad para strings binárias
• [SPARK-37076] [SQL] Implementar StructType.toString explicitamente para Scala 2.13
• [SPARK-37075] [SQL] Mover a construção de expressões UDAF de sql/catalyst para sql/core
• [SPARK-37084] [SQL] Definir spark.sql.files.openCostInBytes como bytesConf
• [SPARK-37088] [PYSPARK][sql] O thread do gravador não deve acessar a entrada após o retorno do ouvinte de conclusão de tarefa
• [SPARK-37069] [SQL] Recorrer corretamente quando Hive.getWithoutRegisterFns não está disponível
• [SPARK-37050] [PYTHON] Atualize instruções de instalação do Conda
• [SPARK-37067] [SQL] Use ZoneId.of() para manipular a string de fuso horário em DatetimeUtils
• [SPARK-35925] [SQL] Suporte para DayTimeIntervalType na função width-bucket
• [SPARK-35926] [SQL] Adicionar suporte para o tipo de intervalo AnoMês em width_bucket
• [SPARK-35973] [SQL] Adicionar comando SHOW CATALOGS
• [SPARK-36922] [SQL] As funções SIGN/SIGNUM devem suportar intervalos ANSI
• [SPARK-37078] [CORE] Suporte a construtores antigos de 3 parâmetros Sink
• [SPARK-37061] [SQL] Corrigir CustomMetrics ao usar inner classes
• [FAÍSCA-35918] [AVRO] Unificar o tratamento de desalinhamento de esquema para operações de leitura e escrita e melhorar as mensagens de erro
• [SPARK-36871] [SQL]Migrar o comando CreateViewStatement para v2
• [FAÍSCA-36898] [SQL] Torne o fator de junção de hash aleatório configurável
• [SPARK-36921] [SQL] Suporte a intervalos ANSI por DIV
• [SPARK-36794] [SQL] Ignorar chaves de junção duplicadas ao criar a relação para junção hash com embaralhamento SEMI/ANTI
• [SPARK-36867] [SQL] Corrigir mensagem de erro com alias GROUP BY
• [FAÍSCA-36914] [SQL] Implementar dropIndex e listIndexes em JDBC (dialeto MySQL)
• [SPARK-35531] [SQL] Passe diretamente a tabela Hive para o HiveClient ao chamar getPartitions para evitar a conversão desnecessária de HiveTable -> CatalogTable - -> HiveTable
• [SPARK-36718] [SQL] Só colapsamos projetos se não houver duplicação de expressões caras
• [FAÍSCA-37046] [SQL]: Alterar visão não preserva o caso das letras das colunas
• [SPARK-36978] [SQL] A regra InferConstraints deve criar restrições IsNotNull no campo aninhado acessado em vez do tipo aninhado raiz
• [SPARK-37052] [CORE] O Spark só deve passar o argumento –verbose para a classe principal quando for a sql shell
• [FAÍSCA-37017] [SQL] Reduza o escopo do sincronizado para evitar possíveis impasses
• [SPARK-37032] [SQL] Corrigir ligação de sintaxe SQL incorreta na página de referência do SQL
• [SPARK-36905] [SQL] Corrigir a consulta de vistas do Hive sem nomes de colunas explícitos
• comando [SPARK-36678] Migrar SHOW TABLES para usar V2 por padrão
• [SPARK-36943] [SQL] Melhorar a legibilidade da mensagem de erro de coluna em falta
• [SPARK-36980] [SQL] Inserir consulta com suporte a CTE
• [SPARK-37001] [SQL] Desativar dois níveis de mapa para agregação de hash final por omissão
• [SPARK-36970] [SQL] Formato desativado manualmente da função B para tornar o Java 17 compatível com o Java 8.
• [SPARK-36546] [SQL] Adicionar suporte de array à união de colunas por nome
• [SPARK-36979] [SQL] Adicionar regra RewriteLateralSubquery em nonExcludableRules
• [FAÍSCA-36949] [SQL] Proibir tabelas do provedor Hive com intervalos ANSI
• [FAÍSCA-36849] [SQL] Migrar UseStatement para a estrutura de comando v2
• [SPARK-36868] [SQL] Migrar CreateFunctionStatement para a framework de comandos v2
• [SPARK-36841] [SQL] Adicionar sintaxe ANSI set catalog xxx para modificar o catálogo atual
• [SPARK-36821] [SQL] Tornar a classe ColumnarBatch extensível - aditamento
• [SPARK-36963] [SQL] Adicionar max_by/min_by a sql.functions
• [SPARK-36913] [SQL] Implementar createIndex e IndexExists no DS V2 JDBC (dialeto MySQL)
• [FAÍSCA-36848] [SQL] Migrar ShowCurrentNamespaceStatement para a estrutura de comando v2
• [SPARK-36526] [SQL] Suporte de Índice DSV2: Adicionar a interface supportsIndex
• [SPARK-36960] [SQL] Filtros pushdown com valores de intervalo ANSI para ORC
• [SPARK-36929] [SQL] Remover método não utilizado EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Suporta a leitura e gravação de intervalos ANSI a partir de e para fontes de dados ORC
• [FAÍSCA-34980] [SQL] Apoiar a partição de coalescência através da união na AQE
• [SPARK-36809] [SQL] Remover broadcast em relação ao InSubqueryExec usado no DPP
• [SPARK-36813] [SQL][python] Proposta de uma infraestrutura de as-of join e implementação de ps.merge_asof
• [SPARK-36918] [SQL] Ignorar tipos ao comparar structs para unionByName
• [SPARK-36891] [SQL] Refatorar SpecificParquetRecordReaderBase e adicionar mais cobertura à decodificação vetorizada do Parquet
• [SPARK-36920] [SQL] Suporte intervalos ANSI por ABS()
• [SPARK-36888] [SQL] adicionar testes para a função sha2
• [SPARK-36889] [SQL] Respeitar spark.sql.parquet.filterPushdown pelo construtor de varredura de parquet v2
• [SPARK-36830] [SQL] Suporte à leitura e escrita de intervalos ANSI a partir de/e para fontes de dados JSON
• [SPARK-36870] [SQL] Introduzir classe de erro INTERNAL_ERROR
• [SPARK-36831] [SQL] Suporte para leitura e gravação de intervalos ANSI de/para fontes de dados CSV.
• [SPARK-36550] [SQL] Propagação de causa quando a reflexão UDF falha
• [SPARK-36866] [SQL] Otimização de filtro com valores de intervalo ANSI para parquet
• [SPARK-33832] [SQL] Forçar a simplificação e melhoria do código de junção com enviesamento
• [SPARK-36642] [SQL] Adicionar API pyspark df.withMetadata
• [FAÍSCA-35765] [SQL] Aggs distintos não são sensíveis a duplicados
• [SPARK-36825] [SQL] Leitura/escrita de dataframes com intervalos ANSI de/para ficheiros Parquet
• [SPARK-36829] [SQL] Refatore a verificação de NULL para collectionOperators
• [SPARK-32712] [SQL] Apoio à escrita de tabela com baldeamento Hive (formatos de arquivo Hive com hash Hive)
• [SPARK-36797] [SQL] Union deve resolver colunas aninhadas como colunas de nível topo
• [SPARK-36838] [SQL] Melhorar o desempenho do código gerado pelo InSet
• [SPARK-36683] [SQL] Adiciona novas funções SQL integradas: SEC e CSC
• [SPARK-36721] [SQL] Simplifique as igualdades booleanas se um lado for literal
• [SPARK-36760] [SQL] Adicionar interface SupportsPushDownV2Filters
• [SPARK-36652] [SQL] A seleção dinâmica de junção da AQE não deve aplicar-se a junções não-equi
• [SPARK-36745] [SQL] ExtractEquiJoinKeys deve retornar os predicados originais nas chaves de junção
• [SPARK-36107] [SQL] Refatore o primeiro conjunto de 20 erros de execução de consulta para usar classes de erro
• [SPARK-32709] [SQL] Suporte para escrever tabela Hive particionada (formato Parquet/ORC com hash Hive)
• [SPARK-36735] [SQL] Ajustar a sobrecarga da relação em cache para DPP
• [SPARK-33832] [SQL] Suporte para otimização da junção enviesada, mesmo que introduza shuffle extra
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec deve usar todas as condições possíveis em vez da condição não-equi
• [SPARK-35221] [SQL] Adicionar a verificação das "join hints" suportadas
• [SPARK-36814] [SQL] Tornar a classe ColumnarBatch extensível
• [SPARK-36663] [SQL] Suporte a nomes de coluna compostos apenas por números em fontes de dados ORC
• [SPARK-36751] [SQL][python][R] Adicionar APIs bit/octet_length ao Scala, Python e R
• [FAÍSCA-36733] [SQL] Corrigir um problema de desempenho no SchemaPruning quando uma struct tem muitos campos
• [SPARK-36724] [SQL] Suportar timestamp_ntz como tipo de coluna de tempo para SessionWindow
• [SPARK-36556] [SQL] Adicionar filtros DSV2
• [SPARK-36687] [SQL][core] Renomeie classes de erro com sufixo _ERROR
• [SPARK-35803] [SQL] Suporte para DataSource V2 utilizando CreateTempView.
• [SPARK-36642] [SQL] Adicionar df.withMetadata: uma simplificação de sintaxe para atualizar os metadados de um dataframe

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.1.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Píton: 3.8.10
• R: 4.1.1
• Lago Delta: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN a 26 de outubro de 2021.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)