Databricks Runtime 8.0 (EoL)

A Databricks lançou esta versão em março de 2021.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 8.0, alimentado pelo Apache Spark 3.1.1.

Novas funcionalidades

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1. Para obter detalhes, consulte Apache Spark.

Melhorias

Delta é agora o formato padrão quando um formato não é especificado

O Databricks Runtime 8.0 altera o formato padrão para delta simplificar a criação de uma tabela Delta. Quando você cria uma tabela usando comandos SQL, ou {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} APIs, e não especifica um formato, o formato padrão é delta.

Com o Delta Lake, você obtém melhor desempenho em relação ao Parquet, melhor confiabilidade de dados com validação de esquema avançada, restrições de qualidade e garantias transacionais. Com o Delta Lake, você pode simplificar seus pipelines de dados com streaming estruturado unificado e processamento em lote em uma única fonte de dados.

Embora o Databricks recomende o uso do Delta Lake para armazenar seus dados, você pode ter fluxos de trabalho herdados que exigem migração para o Delta Lake. Para obter informações sobre como migrar fluxos de trabalho existentes, consulte O que é Delta Lake no Azure Databricks?.

Novo intervalo de gatilho padrão do Streaming Estruturado reduz custos

Se você não definir um intervalo de gatilho usando Trigger.ProcessingTime sua consulta de streaming, o intervalo será definido como 500 ms. Anteriormente, o intervalo padrão era 0 ms. Essa alteração deve reduzir o número de gatilhos vazios e reduzir os custos de armazenamento em nuvem, como listagem.

Usar a função de transformação LDA com passagem de credenciais (Visualização pública)

Agora você pode usar a função de transformação LDA em um cluster configurado para usar passagem de credenciais para autenticação.

Clusters de usuário único configurados com passagem de credenciais não exigem mais sistemas de arquivos confiáveis (Visualização pública)

Você não precisa mais configurar sistemas de arquivos locais como sistemas de arquivos confiáveis ao usar um cluster padrão ou de trabalho configurado para passagem de credenciais com um único usuário. Essa alteração remove restrições desnecessárias do sistema de arquivos ao executar trabalhos em um único cluster de usuário.

Atualizações da biblioteca

• Atualização de várias bibliotecas Java e Scala. Consulte Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12).
• Python atualizado para 3.8.6.
• Atualizado várias bibliotecas Python instaladas. Consulte Bibliotecas Python instaladas.
• Atualizado R para 4.0.3.
• Várias bibliotecas da linguagem R instaladas foram atualizadas. Consulte Bibliotecas R instaladas.

Apache Spark

O Databricks Runtime 8.0 inclui o Apache Spark 3.1.1.

Nesta secção:

• Core e Spark SQL
• PySpark
• Transmissão em Fluxo Estruturada
• MLlib
• SparkR

Core e Spark SQL

Realce

• Unificar a sintaxe SQL da tabela de criação (SPARK-31257)
• Melhoria do hash join aleatorizado (SPARK-32461)
• Eliminação melhorada de subexpressões (SPARK-33092, SPARK-33337, SPARK-33427, SPARK-33540)
• Kubernetes GA (SPARK-33005)

Aprimoramentos de compatibilidade com ANSI SQL

• Suporte tipo de dados char/varchar (SPARK-33480)
• Modo ANSI: erros de tempo de execução em vez de retornar null (SPARK-33275)
• Modo ANSI: novas regras de sintaxe de transmissão explícita (SPARK-33354)
• Adicionar comando SET TIME ZONE padrão SQL (SPARK-32272)
• Unificar a sintaxe SQL da tabela de criação (SPARK-31257)
• Unificar a visualização temporária e os comportamentos de exibição permanente (SPARK-33138)
• Suporte para lista de colunas na instrução INSERT (SPARK-32976)
• Suporte comentários aninhados envolvidos por colchetes ANSI (SPARK-28880)

Melhorias de desempenho

• Leitura de dados de shuffle local ao host sem serviço de shuffle (SPARK-32077)
• Remover classificações redundantes antes de reparticionar nós (SPARK-32276)
• Reduzir parcialmente predicados (SPARK-32302, SPARK-32352)
• Empurre os filtros para baixo através da expansão (SPARK-33302)
• Empurre mais predicados possíveis através da conversão Join via CNF (SPARK-31705)
• Remover o embaralhamento ao preservar a divisão de partições de saída da associação hash de difusão (SPARK-31869)
• Remova o shuffle melhorando a reordenação das chaves de junção (SPARK-32282)
• Remova o shuffle normalizando o particionamento de saída e a ordem de classificação (SPARK-33399)
• Melhoria da junção de hash aleatória (SPARK-32461)
  • Preservar a criação de partições do lado da compilação da associação hash aleatorizada (SPARK-32330)
  • Preservar a ordem da transmissão da junção hash (BHJ e SHJ) (SPARK-32383)
  • Unir tabelas segmentadas para sort merge join (SPARK-32286)
  • Adicionar o code-gen para associação hash aleatorizada (SPARK-32421)
  • Suportar a associação externa completa na associação hash aleatorizada (SPARK-32399)
• Suporte a eliminação de subexpressão em projeto com codegen de estágio completo (SPARK-33092)
• Suporte à eliminação de subexpressões em expressões condicionais (SPARK-33337)
• Apoiar a eliminação de subexpressões para avaliação de expressões interpretadas (SPARK-33427)
• Suporte a eliminação de subexpressão para predicado interpretado (SPARK-33540)
• Outras regras do otimizador
  • Regra ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
  • Regra EliminateNullAwareAntiJoin (SPARK-32573)
  • Regra EliminateAggregateFilter (SPARK-32540)
  • Regra UnwrapCastInBinaryComparison (SPARK-32858)
  • Regra DisableUnnecessaryBucketedScan (SPARK-32859)
  • Regra CoalesceBucketsInJoin (SPARK-31350)
  • Remover campos aninhados desnecessários da geração sem projeto (SPARK-29721)
  • Podar campos aninhados desnecessários de agregação e expansão (SPARK-27217)
  • Remover campos aninhados desnecessários da repartição por expressão e unir (SPARK-31736)
  • Remover campos aninhados desnecessários sobre variações cosméticas (SPARK-32163)
  • Remover campos aninhados desnecessários da janela e classificar (SPARK-32059)
  • Otimizar o tamanho de CreateArray/CreateMap para ser o tamanho de seus filhos (SPARK-33544)

Aprimoramentos de extensibilidade

• Adicionar APIs SupportsPartitions no DataSourceV2 (SPARK-31694)
• Adicionar SupportsMetadataColumns API no DataSourceV2 (SPARK-31255)
• Tornar a serialização de cache SQL plugável (SPARK-32274)
• Introduzir a opção do purge no TableCatalog.dropTable para o catálogo v2 (SPARK-33364)

Melhorias do conector

• Melhoria do pushdown do filtro de partição do Hive Metastore (SPARK-33537)
  • O suporte contém, começa com e termina com filtros (SPARK-33458)
  • Filtro de suporte por tipo de data (SPARK-33477)
  • Filtro de suporte por não-iguais (SPARK-33582)
• Parquet
  • Permitir tipo complexo no tipo de chave do mapa no Parquet (SPARK-32639)
  • Permitir salvar e carregar INT96 em Parquet sem rebasing (SPARK-33160)
• ORC
  • Preenchimento de predicados de colunas aninhadas para ORC (SPARK-25557)
  • Atualize o Apache ORC para 1.5.12 (SPARK-33050)
• CSV
  • Aproveite a fonte de dados de texto SQL durante a inferência de esquema CSV (SPARK-32270)
• JSON
  • Suporte para a aplicação de filtros na fonte de dados JSON (SPARK-30648)
• JDBC
  • Implementar APIs de catálogo para JDBC (SPARK-32375, SPARK-32579, SPARK-32402, SPARK-33130)
  • Criar API de desenvolvedor do provedor de autenticação JDBC (SPARK-32001)
  • Adicionar possibilidade de desativação do provedor de conexão JDBC (SPARK-32047)
• Avro
  • Suporte ao pushdown de filtros na fonte de dados Avro (SPARK-32346)

Melhorias de funcionalidades

• Descomissionamento de nós (SPARK-20624)
  • Quadro básico (SPARK-20628)
  • Migrar blocos RDD durante a desativação (SPARK-20732)
  • Descomissionamento gracioso como parte do dimensionamento dinâmico (SPARK-31198)
  • Migrar blocos aleatórios durante a desativação (SPARK-20629)
  • Só saia do executor quando as tarefas e a migração de blocos estiverem concluídas (SPARK-31197)
  • Suporte ao armazenamento de fallback durante a desativação (SPARK-33545)
• Novas funções incorporadas
  • json_array_length (SPARK-31008)
  • json_object_keys (SPARK-31009)
  • current_catalog (SPARK-30352)
  • timestamp_seconds, timestamp_millis, timestamp_micros (SPARK-31710)
  • width_bucket (SPARK-21117)
  • regexp_extract_all (SPARK-24884)
  • nth_value (SPARK-27951)
  • raise_error (SPARK-32793)
  • unix_seconds, unix_millis e unix_micros (SPARK-33627)
  • date_from_unix_date e unix_date (SPARK-33646)
  • current_timezone (SPARK-33469)
• EXPLAIN aprimoramento de comando (SPARK-32337, SPARK-31325)
• Fornecer uma opção para desativar as dicas fornecidas pelo usuário (SPARK-31875)
• Suporte à sintaxe estilo Hive de REPLACE COLUMNS (SPARK-30613)
• Suporte LIKE ANY e LIKE ALL operadores (SPARK-30724)
• Suporte ilimitado MATCHED e NOT MATCHED em MERGE INTO (SPARK-32030)
• Suporte para literais de ponto flutuante com sufixo F (SPARK-32207)
• Suportar a sintaxe RESET para redefinir uma única configuração (SPARK-32406)
• A expressão de filtro de suporte permite o uso simultâneo de DISTINCT (SPARK-30276)
• Suporte ao comando de alteração de tabela para adicionar/remover partições para DSv2 (SPARK-32512)
• Suporte de NOT IN sub-queries dentro de condições aninhadas OR (SPARK-25154)
• Comando de apoio REFRESH FUNCTION (SPARK-31999)
• Adicionar sameSemantics e sementicHash métodos no Dataset (SPARK-30791)
• Suporte para tipo composto de case class em UDF (SPARK-31826)
• Suporte à enumeração em codificadores (SPARK-32585)
• Suporte a APIs de campo aninhado withField e dropFields (SPARK-31317, SPARK-32511)
• Suporte para preencher nulos para colunas ausentes em unionByName (SPARK-29358)
• Suporte DataFrameReader.table para usar as opções especificadas (SPARK-32592, SPARK-32844)
• Suporte para a localização HDFS em spark.sql.hive.metastore.jars (SPARK-32852)
• Suporte nativo para a opção --archives (SPARK-33530, SPARK-33615)
• Aprimore ExecutorPlugin a API para incluir métodos para eventos de início e término de tarefas (SPARK-33088)

Outras mudanças notáveis

• Fornecer função de pesquisa no site de documentos do Spark (SPARK-33166)
• Atualize a seta Apache para 2.0.0 (SPARK-33213)
• Ativar a API de tempo Java 8 no servidor thrift (SPARK-31910)
• Ativar Java 8 time API em UDFs (SPARK-32154)
• Verificação de sobrefuxo para total agregado com decimais (SPARK-28067)
• Corrigir colisão de commit no modo de partição dinâmica de substituição (SPARK-27194, SPARK-29302)
• Removidas as referências a escravo, lista negra e lista branca (SPARK-32004, SPARK-32036, SPARK-32037)
• Remover a verificação do tamanho do resultado da tarefa para o estágio de mapa de shuffle (SPARK-32470)
• Generalizar ExecutorSource para expor esquemas de sistema de arquivos fornecidos pelo usuário (SPARK-33476)
• Adicionar StorageLevel.DISK_ONLY_3 (SPARK-32517)
• Exposição de métricas de memória do executor na interface web para executores (SPARK-23432)
• Expor métricas de memória do executor no nível do estágio, na guia Estágios (SPARK-26341)
• Corrigir explicitamente a configuração de spark.ui.port no modo de cluster do YARN (SPARK-29465)
• Adicionar spark.submit.waitForCompletion configuração para controlar a saída do spark-submit no modo de cluster independente (SPARK-31486)
• yarn.Client Configurar para imprimir links diretos para driver stdout/stderr (SPARK-33185)
• Corrigir vazamento de memória quando não for possível armazenar partes da transmissão (SPARK-32715)
• Torne BlockManagerMaster o tempo limite de pulsação do driver configurável (SPARK-34278)
• Unificar e concluir comportamentos de cache (SPARK-33507)

PySpark

Projeto Zen

• Projeto Zen: Melhorando a usabilidade do Python (SPARK-32082)
• Suporte a anotações de tipo PySpark (SPARK-32681)
• Redesenhar a documentação do PySpark (SPARK-31851)
• Migrar para o estilo de documentação do NumPy (SPARK-32085)
• Opção de instalação para usuários PyPI (SPARK-32017)
• Un-deprecate inferindo esquema DataFrame da lista de dict (SPARK-32686)
• Simplifique a mensagem de exceção de UDFs Python (SPARK-33407)

Outras mudanças notáveis

• Desduplicar chamadas determinísticas PythonUDF (SPARK-33303)
• Suporte a funções de ordem superior em funções PySpark (SPARK-30681)
• Suporte a APIs de gravação v2x da fonte de dados (SPARK-29157)
• Suporte percentile_approx em funções PySpark (SPARK-30569)
• Suporte inputFiles em PySpark DataFrame (SPARK-31763)
• Suporte withField na Coluna do PySpark (SPARK-32835)
• Suporte à dropFields na coluna do PySpark (SPARK-32511)
• Suporte nth_value em funções PySpark (SPARK-33020)
• Suporte acosh, asinh e atanh (SPARK-33563)
• Suporte ao método getCheckpointDir no PySpark SparkContext (SPARK-33017)
• Suporte para preencher nulos para colunas ausentes em unionByName (SPARK-32798)
• Atualização cloudpickle para v1.5.0 (SPARK-32094)
• Adicionar MapType suporte para PySpark com seta (SPARK-24554)
• DataStreamReader.table e DataStreamWriter.toTable (SPARK-33836)

Transmissão em Fluxo Estruturada

Melhorias de desempenho

• Lista de arquivos recuperados pelo cache para além de maxFilesPerTrigger como arquivo não lido (SPARK-30866)
• Simplifique a lógica na origem do fluxo de arquivos e no log de metadados do coletor (SPARK-30462)
• Evite ler o log de metadados compacto duas vezes se a consulta for reiniciada a partir do lote compacto (SPARK-30900)

Melhorias de funcionalidades

• Adicionar DataStreamReader.table API (SPARK-32885)
• Adicionar DataStreamWriter.toTable API (SPARK-32896)
• Junção semi-stream-stream esquerda (SPARK-32862)
• Junção de fluxo externo completo (SPARK-32863)
• Fornecer uma nova opção para ter retenção em arquivos de saída (SPARK-27188)
• Adicionar suporte ao Spark Structured Streaming History Server (SPARK-31953)
• Introduzir a validação do esquema de estado entre a reinicialização da consulta (SPARK-27237)

Outras mudanças notáveis

• Introduzir a validação de esquema para armazenamento de estado de streaming (SPARK-31894)
• Suporte para usar um codec de compressão diferente no armazenamento de estado (SPARK-33263)
• Espera infinita do conector Kafka porque os metadados nunca foram atualizados (SPARK-28367)
• Atualize Kafka para 2.6.0 (SPARK-32568)
• Suporte de paginação para páginas de interface do usuário de streaming estruturado (SPARK-31642, SPARK-30119)
• Informações de estado na interface do usuário de streaming estruturado (SPARK-33223)
• Informações sobre a lacuna da marca d'água na interface do utilizador de Streaming Estruturado (SPARK-33224)
• Expor informações de métricas personalizadas de estado na interface do usuário do SS (SPARK-33287)
• Adicionar uma nova métrica em relação ao número de linhas posteriores à marca d'água (SPARK-24634)

MLlib

Destaques

• LinearSVC bloqueia vetores de entrada (SPARK-30642)
• LogisticRegression bloqueia vetores de entrada (SPARK-30659)
• LinearRegression bloqueia vetores de entrada (SPARK-30660)
• AFT bloqueia vetores de entrada (SPARK-31656)
• Adicionar suporte para regras de associação em ML (SPARK-19939)
• Adicionar resumo de treinamento para LinearSVCModel (SPARK-20249)
• Adicionar resumo a RandomForestClassificationModel (SPARK-23631)
• Adicionar resumo de treinamento ao FMClassificationModel (SPARK-32140)
• Adicionar resumo a MultilayerPerceptronClassificationModel (SPARK-32449)
• Adicionar FMClassifier ao SparkR (SPARK-30820)
• Adicionar o wrapper LinearRegression do SparkR (SPARK-30818)
• Adicionar invólucro FMRegressor ao SparkR (SPARK-30819)
• Adicionar empacotador SparkR para vector_to_array (SPARK-33040)
• organizar instâncias em blocos de forma adaptativa - LinearSVC (SPARK-32907)
• suportar CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer para estimador/avaliador de back-end Python (SPARK-33520)
• Melhorar o desempenho do ML ALS recommendForAll by GEMV (SPARK-33518)
• Adicionar UnivariateFeatureSelector (SPARK-34080)

Outras mudanças notáveis

• Resumo da computação do GMM e atualização das distribuições num trabalho (SPARK-31032)
• Remova a dependência do ChiSqSelector no mllib. ChiSqSelectorModel (SPARK-31077)
• Nivelar o dataframe de resultados de testes no testChiSquare (SPARK-31301)
• Otimização de MinHash keyDistance (SPARK-31436)
• Otimização de KMeans baseada na desigualdade triangular (SPARK-31007)
• Adicionar suporte de peso no ClusteringEvaluator (SPARK-31734)
• Adicionar getMetrics em avaliadores (SPARK-31768)
• Adicionar suporte de peso de instância em LinearRegressionSummary (SPARK-31944)
• Adicionar coluna de dobra especificada pelo usuário ao CrossValidator (SPARK-31777)
• Igualdade de valores padrão dos parâmetros de ML nas características e ajuste (SPARK-32310)
• Corrigir cache duplo em KMeans/BiKMeans (SPARK-32676)
• Otimização da transformação traseira (SPARK-33111)
• Otimização da transformação FeatureHasher (SPARK-32974)
• Adicionar função array_to_vetor para coluna de dataframe (SPARK-33556)
• Paridade de valores padrão de parâmetros de ML em classificação, regressão, agrupamento e fpm (SPARK-32310)
• Summary.totalIterations maior que maxIters (SPARK-31925)
• otimização da previsão de modelos arborísticos (SPARK-32298)

SparkR

• Adicionar interface SparkR para funções de ordem superior (SPARK-30682)
• Suporte para preencher nulos para colunas ausentes em unionByName (SPARK-32798)
• Suporte a withColumn em funções SparkR (SPARK-32946)
• Suporte timestamp_seconds em funções SparkR (SPARK-32949)
• Suporte nth_value em funções SparkR (SPARK-33030)
• Versão mínima do Arrow atualizada para 1.0.0 (SPARK-32452)
• Suporte array_to_vetor em funções SparkR (SPARK-33622)
• Suporte acosh, asinh e atanh (SPARK-33563)
• Suporte from_avro e to_avro (SPARK-33304)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 8.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
• Scala: 2.12.10
• Python: 3.8.8 (atualizado de 3.8.6 na atualização de manutenção de 26 de maio de 2021)
• R: R versão 4.0.3 (2020-10-10)
• Lago Delta 0.8.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da captura instantânea do Microsoft CRAN em 2020-11-02.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)