Databricks Runtime 8.3 (EoL)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.3 e o Databricks Runtime 8.3 Photon, com tecnologia Apache Spark 3.1.1. A Databricks lançou esta versão em junho de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

• Colunas geradas em tabelas Delta (Visualização pública)
• Recursos e melhorias do Auto Loader
• Criar tabelas Delta com novas APIs programáticas (Visualização pública)
• Cálculo correto de tamanhos de tabela Delta em SQL ANALYZE
• Métricas detalhadas do desempenho do RocksDB ao usar o RocksDBStateStore
• Gravações otimizadas automáticas
• Habilite junções bucketizadas se apenas um lado de junção for bucketizado
• Segurança melhorada ao definir UDFs do Spark (Pré-visualização Pública)
• Número reduzido de solicitações ao registo de esquemas para consultas com from_avro
• Vários resultados em R com ListResults (Visualização pública)

Colunas geradas em tabelas Delta (Visualização pública)

Delta Lake agora suporta colunas geradas, que são um tipo especial de coluna cujos valores são gerados automaticamente com base em uma função especificada pelo usuário sobre outras colunas na tabela Delta. Você pode usar a maioria das funções SQL internas para gerar os valores dessas colunas geradas. Por exemplo, você pode gerar automaticamente uma coluna de data (para particionar a tabela por data) a partir da coluna de carimbo de data/hora; Todas as gravações na tabela precisam apenas especificar os dados para a coluna de carimbo de data/hora. Você pode criar tabelas Delta com colunas geradas usando APIs SQL, Scala, Java ou Python.

Para obter mais informações, consulte Colunas geradas pelo Delta Lake.

Recursos e melhorias do Auto Loader

• Inferência de esquema para arquivos CSV no Auto Loader
• Tempo de arranque melhorado para fluxos do Auto Loader
• Listagem de diretórios mais rápida no Auto Loader
• Sobrecarga de armazenamento reduzida para pontos de verificação do carregador automático
• O Auto Loader inclui o caminho do arquivo na coluna de dados resgatados, quando disponível
• O Auto Loader suporta renomeações de ficheiros no Armazenamento Azure Data Lake no modo de notificação de ficheiros

Inferência de esquema para arquivos CSV no Auto Loader

O Auto Loader agora suporta inferência de esquema e evolução em arquivos CSV. O Auto Loader fornece os seguintes recursos sobre o analisador CSV existente no Apache Spark:

• Mesclagem de esquemas: o Auto Loader pode ingerir arquivos CSV com esquema diferente (número diferente de colunas, ordenação diferente de colunas) entre arquivos.
• Coluna de dados resgatados: você pode usar a coluna de dados resgatados para resgatar dados inesperados que podem aparecer em seus arquivos CSV. Isso inclui dados que não podem ser analisados no tipo de dados esperado, colunas que têm um invólucro diferente ou valores nulos no cabeçalho ou colunas adicionais que não faziam parte do esquema esperado.

Para obter detalhes, consulte Configurar inferência e evolução de esquema no Auto Loader.

Tempo de arranque melhorado para fluxos do Auto Loader

Os fluxos de dados do Auto Loader agora realizam o backfill inicial de forma assíncrona ao iniciar pela primeira vez, resultando num tempo de inicialização muito mais rápido. Isso pode permitir que você itere rapidamente em seu código com dados de produção, especialmente quando você precisa ingerir dados de diretórios que contêm milhões ou bilhões de arquivos.

Além disso, o tempo de inicialização dos fluxos que estão reiniciando também são melhorados, porque paralelizamos o download e upload dos arquivos RocksDB que o Auto Loader aproveita para fornecer semântica exata uma vez.

Listagem de diretórios mais rápida no Auto Loader

Nós melhoramos muito a eficiência da listagem de diretórios no Auto Loader. Um efeito colateral dessa melhoria de desempenho é que o fluxo pode emitir mais solicitações de lista para o sistema de armazenamento quando não há novos dados para processar, o que pode levar a um aumento nas cobranças de solicitação de lista. Como prática recomendada geral, a Databricks recomenda definir um intervalo de gatilho razoável para pipelines de transmissão em produção. Consulte Considerações sobre produção para Streaming estruturado.

Sobrecarga de armazenamento reduzida para pontos de verificação do carregador automático

Os fluxos do Auto Loader agora limpam automaticamente os arquivos obsoletos no diretório do ponto de verificação de forma assíncrona para evitar que o tamanho do diretório do ponto de verificação cresça indefinidamente e reduza os custos de armazenamento.

O Auto Loader inclui o caminho do arquivo na coluna de dados resgatados, quando disponível

A coluna de dados resgatados fornece automaticamente o caminho do arquivo dos dados resgatados quando aplicável em uma coluna chamada _file_ path. Isso pode ajudá-lo a rastrear a causa raiz dos problemas de qualidade de dados. A coluna não será incluída se o esquema de dados contiver uma coluna chamada _file_path. Você pode usar a configuração spark.databricks.sql.rescuedDataColumn.filePath.name SQL para renomear a coluna, se necessário.

O Auto Loader suporta renomeações de ficheiros no Armazenamento Azure Data Lake no modo de notificação de ficheiros

O Auto Loader agora oferece suporte a eventos BlobRenamed para o Armazenamento do Azure Data Lake quando executado no modo de notificação de arquivo. Para processar arquivos carregados em um contêiner do Armazenamento do Azure Data Lake por meio de uma operação de renomeação com notificações de arquivo, inicie um novo fluxo com o Carregador Automático usando o Databricks Runtime 8.3. Para garantir que um arquivo seja processado exatamente uma vez, certifique-se de que o diretório de origem do qual o arquivo está sendo renomeado não seja observado pelo Auto Loader.

Criar tabelas Delta com novas APIs programáticas (Visualização pública)

Agora você pode criar novas tabelas Delta programaticamente (usando Scala, Java e Python) sem usar APIs DataFrame. As APIs New DeltaTableBuilder e DeltaColumnBuilder permitem especificar todos os detalhes da tabela que você pode especificar usando o SQL CREATE TABLE.

Para obter mais informações, consulte Criar uma tabela.

Cálculo correto de tamanhos de tabela Delta em SQL ANALYZE

A lógica de análise existente calcula incorretamente o tamanho da tabela para tabelas Delta e atualiza o catálogo com tamanho incorreto. Para corrigir, deve-se obter o tamanho de uma tabela Delta a partir do log Delta.

Métricas detalhadas do desempenho do RocksDB ao usar o RocksDBStateStore

Caso tenha configurado a sua consulta de Streaming Estruturado para utilizar RocksDB como sistema de armazenamento de estado, agora pode obter melhor visibilidade do desempenho do RocksDB, com métricas detalhadas sobre latências de leitura/escrita, latências de compactação, acertos de cache, e assim por diante. Essas métricas estão disponíveis por meio das StreamingQueryProgress APIs e StreamingQueryListener para monitorar uma consulta de streaming.

Para obter mais informações, consulte Configurar o armazenamento de estado do RocksDB no Azure Databricks.

Gravações automáticas otimizadas

Gravações otimizadas em tabelas Delta particionadas agora são ativadas automaticamente para atualizar e excluir consultas que contenham subconsultas.

Habilite junções com bucketização se apenas um dos lados da junção for bucketizado

Uma nova configuração spark.databricks.sql.minBucketsForBucketedJoin habilita uma junção bucketed se apenas um lado da junção estiver bucketed e o número de buckets não for menor que esse valor de configuração. Por padrão, esse valor de configuração é o mesmo que o número de partições aleatórias padrão (200).

Segurança melhorada ao definir UDFs do Spark (Pré-visualização Pública)

Funções current_user de informações do usuário e is_member não podem mais ser substituídas por funções temporárias, incluindo Python spark.udf.register ou SQL create or replace temp function.

Número reduzido de solicitações ao registro de esquema para consultas com from_avro

As consultas com from_avro suporte ao registro de esquema não geram mais tantas solicitações para o serviço de registro de esquema, economizando custos operacionais.

Vários resultados em R com ListResults (Visualização pública)

Os notebooks R do Databricks agora suportam vários resultados em cada célula. Anteriormente, apenas um único resultado era renderizado para cada célula do notebook. Atualmente, os resultados de uma única célula em blocos de anotações R são exibidos na seguinte ordem:

1. RShiny URL
2. Desenho
3. displaySaídas HTML
4. Tabelas
5. stdout

Atualizações da biblioteca

• Biblioteca Python atualizada:
  • "Koalas foi atualizado da versão 1.7.0 para a versão 1.8.0."
  • O pandas foi atualizado de 1.1.3 para 1.1.5.
  • S3Transfer atualizado de 0.3.4 para 0.3.6.
• Biblioteca R atualizada:
  • SparkR atualizado de 3.1.1 para 3.1.2.
• Biblioteca Java atualizada:
  • mariadb-java-client do 2.1.2 ao 2.2.5.
  • parquet-column de 1.10.1-databricks6 para 1.10.1-databricks9
  • parquet-comum de 1.10.1-databricks6 a 1.10.1-databricks9
  • codificação Parquet de 1.10.1-databricks6 para 1.10.1-databricks9
  • Parquet-Hadoop de 1.10.1-databricks6 a 1.10.1-databricks9
  • Parquet-Jackson de 1.10.1-databricks6 a 1.10.1-databricks9

Apache Spark

O Databricks Runtime 8.3 inclui o Apache Spark 3.1.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 8.2 (EoL), bem como as seguintes correções adicionais de bugs e melhorias feitas ao Spark:

• [SPARK-34614] [SQL] Modo ANSI: Converter String para Boolean deve lançar exceção em caso de erro de análise
• [SPARK-34246] [SEQUÊNCIA] Altere a definição de "findTightestCommonT"...
• [SPARK-35213] [SQL] Mantenha a ordem correta das estruturas aninhadas em operações encadeadas com withField
• [SPARK-35096] [SQL] O SchemaPruning deve aderir à configuração spark.sql.caseSensitive
• [SPARK-35227] [BUILD] Atualizar o resolver para spark-packages no SparkSubmit
• [SPARK-35224] [SQL] Corrigir estouro de buffer no MutableProjectionSuite
• [SPARK-34245] [CORE] Garantir que o Mestre remove os executores que falharam em enviar o estado concluído
• [SPARK-34856] [SQL] Modo ANSI: permite a conversão de tipos complexos para o tipo string
• [SPARK-34946] [SQL] Bloquear subconsulta escalar correlacionada não suportada no Aggregate
• [SPARK-35014] Corrigir o padrão PhysicalAggregation para não reescrever expressões foldáveis
• [SPARK-34769] [SQL] AnsiTypeCoercion: devolve o mais próximo con...

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (compilação 1.8.0_282-b08)
• Scala: 2.12.10
• Píton: 3.8.8
• R: R versão 4.0.4 (2021-02-15)
• Delta Lake 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da captura instantânea do Microsoft CRAN em 2020-11-02.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)