Databricks Runtime 8.0 (EoL)

O Databricks lançou esta versão em março de 2021.

As notas sobre a versão a seguir fornecem informações sobre o Databricks Runtime 8.0, da plataforma Apache Spark 3.1.1.

Novos recursos

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1. Para obter mais detalhes, confira Apache Spark.

Aprimoramentos

O Delta já é o formato padrão quando um formato não é especificado

O Databricks Runtime 8.0 altera o formato padrão para delta a fim de simplificar a criação de uma tabela Delta. Quando você cria uma tabela usando comandos SQL ou APIs {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} e não especifica um formato, o formato padrão é delta.

Com o Delta Lake, você obtém melhor desempenho em relação ao Parquet, melhor confiabilidade de dados com validação avançada de esquema, restrições de qualidade e garantias transacionais. Com o Delta Lake, você pode simplificar seus pipelines de dados com streaming estruturado unificado e processamento em lote em uma só fonte de dados.

Embora o Databricks recomende o uso do Delta Lake para armazenar seus dados, você pode ter fluxos de trabalho herdados que exijam a migração para o Delta Lake. Para obter informações sobre como migrar fluxos de trabalho existentes, consulte o que é o Delta Lake no Azure Databricks?.

Novo intervalo de gatilho padrão do Streaming Estruturado reduz os custos

Se você não definir um intervalo de gatilho usando Trigger.ProcessingTime na consulta de streaming, o intervalo será definido como 500 ms. Anteriormente, o intervalo padrão era 0 ms. Essa alteração deverá reduzir o número de gatilhos vazios e reduzir os custos do armazenamento em nuvem, como a listagem.

Usar a função de transformação LDA com a passagem de credenciais (versão prévia pública)

Você já pode usar a função de transformação LDA em um cluster configurado para usar a passagem de credenciais para autenticação.

Os clusters de usuário único configurados com a passagem de credenciais não exigem mais sistemas de arquivos confiáveis (versão prévia pública)

Você não precisa mais configurar sistemas de arquivos locais como sistemas de arquivos confiáveis ao usar um cluster padrão ou de trabalho configurado para passagem de credenciais com um só usuário. Essa alteração remove as restrições desnecessárias do sistema de arquivos quando os trabalhos são executados em um cluster de usuário único.

Atualizações da biblioteca

• Várias bibliotecas do Java e do Scala foram atualizadas. Confira Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12).
• Atualização do Python para 3.8.6.
• Várias bibliotecas do Python instaladas foram atualizadas. Confira Bibliotecas do Python instaladas.
• Atualização do R para 4.0.3.
• Atualização de várias bibliotecas do R instaladas. Confira Bibliotecas do R instaladas.

Apache Spark

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1.

Nesta seção:

• Core e Spark SQL
• PySpark
• Streaming estruturado
• MLlib
• SparkR

Core e Spark SQL

Destaque

• Unificação da sintaxe de SQL create table (SPARK-31257)
• Aprimoramento da junção hash em ordem aleatória (SPARK-32461)
• Eliminação de subexpressão aprimorada (SPARK-33092, SPARK-33337, SPARK-33427 e SPARK-33540)
• GA do Kubernetes (SPARK-33005)

Aprimoramentos na compatibilidade com o ANSI SQL

• Suporte ao tipo de dados char/varchar (SPARK-33480)
• Modo ANSI: erros de tempo de execução ao invés de retornar nulo (SPARK-33275)
• Modo ANSI: novas regras de sintaxe de conversão explícita (SPARK-33354)
• Adição do comando SQL SET TIME ZONE padrão (SPARK-32272)
• Unificação da sintaxe de SQL create table (SPARK-31257)
• Unificação da exibição temporária e dos comportamentos de exibição permanentes (SPARK-33138)
• Suporte à lista de colunas na instrução INSERT (SPARK-32976)
• Suporte aos comentários em colchetes aninhados ANSI (SPARK-28880)

Aprimoramentos de desempenho

• Leitura de dados em ordem aleatória local do host sem serviço de ordem aleatória (SPARK-32077)
• Remova ordenações redundantes antes de nós de reparticionamento (SPARK-32276)
• Propagação parcial de predicados (SPARK-32302, SPARK-32352)
• Pushdown de filtros por meio da expansão (SPARK-33302)
• Push de outros possíveis predicados por meio da junção usando a conversão CNF (SPARK-31705)
• Remover o embaralhamento, preservando o particionamento de saída da junção hash broadcast (SPARK-31869)
• Remoção da ordem aleatória aprimorando a reordenação das chaves de junção (SPARK-32282)
• Remoção da ordem aleatória normalizando o particionamento de saída e a ordem de classificação (SPARK-33399)
• Aprimoramento do algoritmo de junção hash embaralhada (SPARK-32461)
  • Preservação do particionamento no lado do build da junção hash em ordem aleatória (SPARK-32330)
  • Preservar o ordenamento do lado do fluxo na junção hash (BHJ e SHJ) (SPARK-32383)
  • União de tabelas em buckets para junção de mesclagem de classificação (SPARK-32286)
  • Adicionar code-gen para junção hash em ordem aleatória (SPARK-32421)
  • Suporte à junção externa completa na junção hash em ordem aleatória (SPARK-32399)
• Suporte à eliminação de subexpressões no projeto com geração de código de estágio completo (SPARK-33092)
• Suporte à eliminação de subexpressão em expressões condicionais (SPARK-33337)
• Suporte à eliminação de subexpressão para avaliação de expressão interpretada (SPARK-33427)
• Suporte à eliminação de subexpressão para predicado interpretado (SPARK-33540)
• Outras regras do otimizador
  • Regra ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
  • Regra EliminateNullAwareAntiJoin (SPARK-32573)
  • Regra EliminateAggregateFilter (SPARK-32540)
  • Regra UnwrapCastInBinaryComparison (SPARK-32858)
  • Regra DisableUnnecessaryBucketedScan (SPARK-32859)
  • Regra CoalesceBucketsInJoin (SPARK-31350)
  • "Remova campos aninhados desnecessários ao gerar sem projeto (SPARK-29721)"
  • Remover campos aninhados desnecessários da agregação e expansão (SPARK-27217)
  • Remoção de campos aninhados desnecessários do reparticionamento por expressão e junção (SPARK-31736)
  • Remoção de campos aninhados desnecessários em variações superficiais (SPARK-32163)
  • Remoção de campos aninhados desnecessários da janela e da classificação (SPARK-32059)
  • Otimizar o tamanho de CreateArray/CreateMap para corresponder ao tamanho dos seus filhos (SPARK-33544)

Aprimoramentos de extensibilidade

• Adicionar APIs SupportsPartitions ao DataSourceV2 (SPARK-31694)
• Adicionar a API SupportsMetadataColumns ao DataSourceV2 (SPARK-31255)
• Torne a serialização do cache SQL plugável (SPARK-32274)
• Introdução da opção purge em TableCatalog.dropTable no catálogo v2 (SPARK-33364)

Melhorias do conector

• Aprimoramento no mecanismo de filtragem de partições no repositório de metadados do Hive (SPARK-33537)
  • Suporte aos filtros Contém, Começa com e Termina com (SPARK-33458)
  • Suporte ao filtro por tipo de data (SPARK-33477)
  • Suporte ao filtro por Não igual a (SPARK-33582)
• Parquete
  • Permitir tipo complexo no tipo de chave do mapa em Parquet (SPARK-32639)
  • Permitir salvar e carregar INT96 em Parquet sem ajuste de base (SPARK-33160)
• ORC
  • Pushdown de predicado de coluna aninhada para ORC (SPARK-25557)
  • Atualização do Apache ORC para 1.5.12 (SPARK-33050)
• CSV
  • Aproveitamento da fonte de dados de texto SQL durante a inferência de esquema CSV (SPARK-32270)
• JSON
  • Suporte ao pushdown de filtros na fonte de dados JSON (SPARK-30648)
• JDBC
  • Implementação das APIs de catálogo para JDBC (SPARK-32375, SPARK-32579, SPARK-32402 e SPARK-33130)
  • Criação da API de desenvolvedor do provedor de autenticação JDBC (SPARK-32001)
  • Adição da possibilidade de desabilitação do provedor de conexão JDBC (SPARK-32047)
• Avro
  • Suporte para a redução de filtros na fonte de dados Avro (SPARK-32346)

Aprimoramentos de funcionalidades

• Descomissionamento de nó (SPARK-20624)
  • Estrutura básica (SPARK-20628)
  • Migração de blocos RDD durante a desativação (SPARK-20732)
  • Desativação controlada como parte da escala dinâmica (SPARK-31198)
  • Migração de blocos de ordem aleatória durante a desativação (SPARK-20629)
  • Saída do executor somente quando as tarefas e a migração de bloco são concluídas (SPARK-31197)
  • Suporte ao armazenamento de reserva durante a desativação (SPARK-33545)
• Novas funções internas
  • json_array_length (SPARK-31008)
  • json_object_keys (SPARK-31009)
  • current_catalog (SPARK-30352)
  • timestamp_seconds, timestamp_millis, timestamp_micros (SPARK-31710)
  • width_bucket (SPARK-21117)
  • regexp_extract_all (SPARK-24884)
  • nth_value (SPARK-27951)
  • raise_error (SPARK-32793)
  • unix_seconds, unix_millis e unix_micros (SPARK-33627)
  • date_from_unix_date e unix_date (SPARK-33646)
  • current_timezone (SPARK-33469)
• EXPLAIN aprimoramento de comando (SPARK-32337, SPARK-31325)
• Fornecimento de uma opção para desabilitar as dicas fornecidas pelo usuário (SPARK-31875)
• Sintaxe REPLACE COLUMNS de estilo hive (SPARK-30613)
• Suporte aos operadores LIKE ANY e LIKE ALL (SPARK-30724)
• Suporte ilimitado a MATCHED e NOT MATCHED em MERGE INTO (SPARK-32030)
• Suporte a literais de ponto flutuante com sufixo F (SPARK-32207)
• Suporte à sintaxe RESET para redefinir a configuração única (SPARK-32406)
• O suporte à expressão de filtro permite o uso simultâneo de DISTINCT (SPARK-30276)
• Suporte ao comando alter table add/drop partition em DSv2 (SPARK-32512)
• Suporte às subconsultas NOT IN dentro de condições aninhadas OR (SPARK-25154)
• Suporte ao comando REFRESH FUNCTION (SPARK-31999)
• Adicção dos métodos sameSemantics e sementicHash ao conjunto de dados (SPARK-30791)
• Suporte ao tipo composto de classe Case no UDF (SPARK-31826)
• Suporte à enumeração em codificadores (SPARK-32585)
• Suporte às APIs de campo aninhado withField e dropFields (SPARK-31317 e SPARK-32511)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-29358)
• Suporte a DataFrameReader.table para uso das opções especificadas (SPARK-32592 e SPARK-32844)
• Suportar localização do HDFS em spark.sql.hive.metastore.jars (SPARK-32852)
• Suportar nativamente a opção --archives (SPARK-33530 e SPARK-33615)
• Aprimoramento da API ExecutorPlugin para inclusão de métodos para eventos de início e de término da tarefa (SPARK-33088)

Outras alterações importantes

• Fornecimento da função de pesquisa no site de documentação do Spark (SPARK-33166)
• Atualização do Apache Arrow para 2.0.0 (SPARK-33213)
• Habilitação da API de tempo Java 8 no servidor Thrift (SPARK-31910)
• Habilitar a API de tempo do Java 8 em UDFs (SPARK-32154)
• Verificação de estouro na soma de agregação com decimais (SPARK-28067)
• Correção da colisão de commit no modo de substituição de partição dinâmica (SPARK-27194 e SPARK-29302)
• Referências removidas a escravo, lista negra e lista branca (SPARK-32004, SPARK-32036 e SPARK-32037)
• Remover a verificação do tamanho do resultado da tarefa para o estágio de mapeamento em ordem aleatória (SPARK-32470)
• Generalização de ExecutorSource para exposição dos esquemas de sistema de arquivos fornecidos pelo usuário (SPARK-33476)
• Adição de StorageLevel.DISK_ONLY_3 (SPARK-32517)
• Expor métricas de memória do executor na interface de usuário da web para executores (SPARK-23432)
• Exibir métricas de memória do executor no nível da fase, na guia Fases (SPARK-26341)
• Correção de configuração explícita de spark.ui.port no modo de cluster YARN (SPARK-29465)
• Adição da configuração spark.submit.waitForCompletion para controlar a saída do Spark-submit no modo de cluster autônomo (SPARK-31486)
• Configuração de yarn.Client para impressão de links diretos para StdOut/stderr do driver (SPARK-33185)
• Correção da perda de memória durante uma falha no armazenamento de partes da difusão (SPARK-32715)
• O tempo limite de pulsação do driver BlockManagerMaster passa a ser configurável (SPARK-34278)
• Unificação e conclusão dos comportamentos do cache (SPARK-33507)

PySpark

Projeto Zen

• Project Zen: aprimoramento da usabilidade do Python (SPARK-32082)
• Suporte às dicas de tipo do PySpark (SPARK-32681)
• Reformulação da documentação do PySpark (SPARK-31851)
• Migração para o estilo de documentação do NumPy (SPARK-32085)
• Opção de instalação para usuários do PyPI (SPARK-32017)
• Reverter a descontinuação da inferência do esquema do DataFrame a partir de uma lista de dicionários (SPARK-32686)
• Simplificação da mensagem de exceção em UDFs do Python (SPARK-33407)

Outras alterações importantes

• Eliminação de duplicações em chamadas determinísticas UDF do Python (SPARK-33303)
• Suporte às funções de ordem superior em funções do PySpark (SPARK-30681)
• Suporte às APIs de gravação V2X da fonte de dados (SPARK-29157)
• Suporte a percentile_approx em funções do PySpark (SPARK-30569)
• Suporte a inputFiles no DataFrame do PySpark (SPARK-31763)
• Suporte a withField em colunas do PySpark (SPARK-32835)
• Suporte a dropFields em colunas do PySpark (SPARK-32511)
• Suporte a nth_value em funções do PySpark (SPARK-33020)
• Suporte acosh, asinh e atanh (SPARK-33563)
• Suporte ao método getCheckpointDir no SparkContext do PySpark (SPARK-33017)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
• Atualização de cloudpickle para v1.5.0 (SPARK-32094)
• Adição de suporte a MapType no PySpark com o Arrow (SPARK-24554)
• DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Streaming estruturado

Aprimoramentos de desempenho

• A lista de arquivos buscados em cache além de maxFilesPerTrigger está marcada como arquivos não lidos (SPARK-30866)
• Simplificação da lógica na origem do fluxo de arquivos e no log de metadados do destino (SPARK-30462)
• Evitar a leitura do log de metadados compactos duas vezes se a consulta é reiniciada do lote compacto (SPARK-30900)

Aprimoramentos de funcionalidades

• Adição da API DataStreamReader.table (SPARK-32885)
• Adição da API DataStreamWriter.toTable (SPARK-32896)
• Junção de semifluxo esquerdo entre fluxos (SPARK-32862)
• Junção externa completa de fluxo-fluxo (SPARK-32863)
• Fornecer uma nova opção para retenção em arquivos de saída (SPARK-27188)
• Adição de suporte ao servidor de histórico do Streaming Estruturado do Spark (SPARK-31953)
• Introdução da validação de esquema de estado entre a reinicialização da consulta (SPARK-27237)

Outras alterações importantes

• Introdução da validação de esquema para o armazenamento de estado de streaming (SPARK-31894)
• Suporte ao uso de um codec de compactação diferente no armazenamento de estado (SPARK-33263)
• Espera infinita do conector do Kafka devido a não atualização dos metadados (SPARK-28367)
• Atualização do Kafka para 2.6.0 (SPARK-32568)
• Suporte à paginação em páginas da interface do usuário do Streaming Estruturado (SPARK-31642 e SPARK-30119)
• Informações de estado na interface do usuário do Streaming Estruturado (SPARK-33223)
• Informações sobre intervalo de marca d'água na interface do usuário do Streaming Estruturado (SPARK-33224)
• Expor informações sobre métricas personalizadas de estado na interface do usuário do SS (SPARK-33287)
• Adicionar uma nova métrica sobre o número de linhas posteriores ao watermark (SPARK-24634)

MLlib

Destaques

• LinearSVC transforma vetores de entrada em blocos (SPARK-30642)
• Blocagem dos vetores de entrada no LogisticRegression (SPARK-30659)
• Bloqueio de LinearRegression dos vetores de entrada (SPARK-30660)
• Bloqueio de AFT dos vetores de entrada (SPARK-31656)
• Adição de suporte para regras de associação no ML (SPARK-19939)
• Adição do resumo de treinamento para LinearSVCModel (SPARK-20249)
• Adição de resumo a RandomForestClassificationModel (SPARK-23631)
• Adição de resumo de treinamento a FMClassificationModel (SPARK-32140)
• Adição de resumo a MultilayerPerceptronClassificationModel (SPARK-32449)
• Adição de FMClassifier ao SparkR (SPARK-30820)
• Adição do wrapper LinearRegression ao SparkR (SPARK-30818)
• Adicionar o wrapper FMRegressor ao SparkR (SPARK-30819)
• Adição do wrapper do SparkR a vector_to_array (SPARK-33040)
• Bloqueio de instâncias de maneira adaptável – LinearSVC (SPARK-32907)
• CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer passam a dar suporte ao avaliador de back-end do Python (SPARK-33520)
• Melhorar o desempenho do ML ALS recommendForAll com GEMV (SPARK-33518)
• Adicionar UnivariateFeatureSelector (SPARK-34080)

Outras alterações importantes

• Resumo de computação do GMM e distribuições de atualização em um trabalho (SPARK-31032)
• Remoção da dependência ChiSqSelector em mllib.ChiSqSelectorModel (SPARK-31077)
• Aplainar o dataframe de resultados dos testes em testChiSquare (SPARK-31301)
• Otimização de MinHash keyDistance (SPARK-31436)
• Otimização do KMeans baseada na desigualdade triangular (SPARK-31007)
• Adição de suporte de peso em ClusteringEvaluator (SPARK-31734)
• Adição de getMetrics em Avaliadores (SPARK-31768)
• Adicionar suporte de peso de instância em LinearRegressionSummary (SPARK-31944)
• Adicionar coluna de dobra especificada pelo utilizador ao CrossValidator (SPARK-31777)
• Igualdade de valor padrão de parâmetros de ML nas funcionalidades e no ajuste (SPARK-32310)
• Corrigir cache duplo em KMeans/BiKMeans (SPARK-32676)
• Otimização da transformação AFT (SPARK-33111)
• Otimização da transformação FeatureHasher (SPARK-32974)
• Adição da função array_to_vector à coluna dataframe (SPARK-33556)
• Paridade de valor padrão de parâmetros do ML na classificação, na regressão, no clustering e no fpm (SPARK-32310)
• Summary.totalIterations maior que maxIters (SPARK-31925)
• Otimização da previsão para modelos de árvore (SPARK-32298)

SparkR

• Adição da interface do SparkR às funções de ordem superior (SPARK-30682)
• Suporte ao preenchimento de nulos para colunas ausentes em unionByName (SPARK-32798)
• Suporte a withColumn em funções do SparkR (SPARK-32946)
• Suporte a timestamp_seconds em funções do SparkR (SPARK-32949)
• Suporte a nth_value em funções do SparkR (SPARK-33030)
• Versão mínima do Arrow aumentada para 1.0.0 (SPARK-32452)
• Suporte a array_to_vector em funções do SparkR (SPARK-33622)
• Suporte a acosh, asinh e atanh (SPARK-33563)
• Suporte para from_avro e to_avro (SPARK-33304)

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 8.0.

Ambiente do sistema

• Sistema operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.8.8 (atualizado da versão 3.8.6 em 26 de maio de 2021 – Atualização de manutenção)
• R: versão do R 4.0.3 (10/10/2020)
• Delta Lake 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas do R foram instaladas por meio do instantâneo do Microsoft CRAN em 02/11/2020.

Bibliotecas do Java e do Scala instaladas (versão do cluster Scala 2.12)