Databricks Runtime 10.0 (EoL)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em outubro de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

• Nova versão do Apache Spark
• SELECT declaração agora suporta a cláusula QUALIFY para filtrar os resultados da função de janela
• Suporte de cluster para JDK 11 (visualização pública)
• O Auto Loader agora trata esquemas como anuláveis

Nova versão do Apache Spark

O Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon incluem o Apache Spark 3.2.0. Para obter detalhes, consulte Apache Spark.

SELECT instrução agora suporta a cláusula QUALIFY para filtrar resultados de funções de janela

A SELECT declaração agora apoia a QUALIFY cláusula. QUALIFY pode ser usado para filtrar os resultados das funções da janela. Uma ou mais funções de janela devem estar presentes na lista de SELECT ou na condição QUALIFY. Por exemplo:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Suporte de cluster para JDK 11 (visualização pública)

O Databricks agora fornece suporte a cluster para Java Development Kit (JDK) 11.

Ao criar um cluster, você pode especificar que o cluster use o JDK 11 (para o driver e o executor). Para fazer isso, adicione a seguinte variável de ambiente para Advanced Options > Spark > Environment Variables:

JNAME=zulu11-ca-amd64

O Auto Loader agora trata esquemas como anuláveis

O Auto Loader agora trata todos os esquemas inferidos e fornecidos pelo usuário como anuláveis por padrão. Isso é para evitar corrupção de dados em potencial nos casos em que os dados contêm campos nulos para colunas não anuláveis. Uma nova configuração é introduzida para rastrear esse comportamento, spark.databricks.cloudFiles.schema.forceNullable. Por padrão, essa configuração contém a configuração de spark.sql.streaming.fileSource.schema.forceNullable, que o FileStreamSource no Apache Spark usa e está definida como true por padrão.

Alterações interruptivas

Alterações disruptivas para todos os utilizadores do Spark SQL

• Nova configuração de spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled: quando definido como true, permite um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada. A predefinição é true.
• Nova configuração spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled: quando definido como true, bloqueia a geração automática de aliases quando as visualizações são criadas. A predefinição é true.
• Nova configuração spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled: quando definido como true, não permite CREATE TABLE AS SELECT com um local não vazio. A predefinição é true. Observe que quando spark.sql.legacy.allowNonEmptyLocationInCTAS também está definido como true, essa configuração não tem efeito e CREATE TABLE AS SELECT com um local não vazio é sempre permitido.

Alterações recentes para usuários do Spark SQL que habilitam o modo ANSI

Para obter informações sobre o modo ANSI, consulte Conformidade ANSI no Databricks Runtime.

• Nova configuração spark.databricks.behaviorChange.SC83587NextDayDOW.enabled: quando definido como true, um argumento dayOfWeek inválido para a função next_day lança um IllegalArgumentException no modo ANSI; caso contrário, ele retorna null. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC83796CanCast.enabled: quando definido como true, permite novas regras de sintaxe de transmissão explícita no modo ANSI. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled: quando definido como true, uma exceção de erro de análise é lançada ao converter uma cadeia de caracteres para um Booleano; caso contrário, retorna null. A predefinição é true.

• Nova configuração spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled: quando definida como true, a função abs lança uma exceção se a entrada estiver fora do intervalo. A predefinição é true.

Alterações significativas para todos os usuários do Python

• A API delta.tables.DeltaTable.convertToDelta Python agora retorna o objeto Python correto DeltaTable que pode ser usado para executar comandos Delta Lake. Anteriormente, ele retornava um objeto interno que não podia ser chamado diretamente.

Atualizações da biblioteca

Atualização do Apache Hadoop 3

• O Databricks Runtime 10.0 atualiza a dependência do Hadoop do Hadoop 2.7.4 para o Hadoop 3.3.1.

Alterações de comportamento

• O Hadoop 3 usa as bibliotecas hadoop-client-api e hadoop-client-runtime em vez da biblioteca hadoop-common, que sombreia determinadas dependências de terceiros que poderiam ser usadas em APIs ou extensões públicas do Hadoop.
• As opções de configuração do Hadoop 3 foram alteradas desde o Hadoop 2. Para opções do Hadoop 3.3.1, consulte core-default.xml.
• O Databricks atualizou algumas das configurações padrão do Hadoop 3 para serem consistentes com o Hadoop 2, para garantir que os conectores de armazenamento tenham as mesmas configurações de autenticação padrão e níveis de desempenho:
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• O conector do Google Cloud Storage (GCS) foi atualizado da versão 2.1.6 para a 2.2.2.
• O conector do Amazon Redshift agora usa o s3a:// esquema. O s3n:// esquema foi preterido.
• Manipula os nomes de classe OSS para a API do Amazon S3 MetadataStore, além das classes sombreadas. Isso permite processar configurações de OSS sem exigir os nomes de classe sombreados.
  • Por exemplo, você pode especificar a org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore classe na configuração do Hadoop.
• Torna o new Configuration() e o sparkContext.hadoopConfiguration consistentes.
  • Agora, sempre que uma nova configuração do Hadoop for criada, ela será consistente com a configuração predefinida do Hadoop no sparkContext.hadoopConfiguration Databricks Runtime, incluindo esquemas de sistema de arquivos e sua configuração padrão.
• Embora os conectores de armazenamento Hadoop incluídos no Databricks Runtime sejam totalmente compatíveis com o Hadoop 3.3.1, não é garantido que estejam sincronizados com os conectores OSS Hadoop 3.3.1 e podem ter um comportamento diferente.
  • O conector do Amazon S3 ainda permite (embora com um aviso) a autenticação *user:secret* em URLs do S3, em comparação com o HADOOP-14833, que a remove.
• globStatus agora sempre retorna resultados classificados (HADOOP-10798)
• Adicionado fs.s3a.endpoint se não definido e a região do fs.s3a.endpoint for nulo(SPARK-35878)
  • O recurso de resolução automática da região do Amazon S3 fornecido pela Databricks pode não ser acionado em alguns casos, devido à configuração do endpoint global. Isso não é um problema, pois o AWS SDK resolverá a região corretamente.
• Adicione fs.s3a.downgrade.syncable.exceptions se não estiver definido(SPARK-35868)
• Os codecs LZ4 e Snappy não dependem da biblioteca Hadoop nativa (HADOOP-17125)

Problemas conhecidos

• SPARK-36681 Usando SnappyCodec para escrever ficheiro de sequência falhará com UnsatisfiedLinkError devido a problema conhecido no Hadoop 3.3.1 (HADOOP-17891)

Apache Spark

O Databricks Runtime 10.0 inclui o Apache Spark 3.2.0.

Nesta secção:

• Destaques
• Core e Spark SQL
• Transmissão em Fluxo Estruturada
• PySpark
• MLlib
• Descontinuações e remoções

Destaques

• Suporte para a camada de API do Pandas no PySpark (SPARK-34849)
• Sessionização baseada em EventTime (janela de sessão)(SPARK-10816)
• Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
• Modo ANSI GA (SPARK-35030)
• Padronizar mensagens de exceção no Spark (SPARK-33539)

Core e Spark SQL

Aprimoramentos de compatibilidade com ANSI SQL

• Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
• Novas regras de sintaxe de coerção de tipo no modo ANSI (SPARK-34246)

Melhorias de desempenho

• Otimização de consultas
  • Remover agregados redundantes no Optimizer (SPARK-33122)
  • Empurre o limite para baixo através do Project com Join(SPARK-34622)
  • Estimativa da cardinalidade do operador de união, classificação e intervalo (SPARK-33411)
  • Suporte para predicado In/InSet em UnwrapCastInBinaryComparison (SPARK-35316)
  • Mantenha as estatísticas necessárias após a poda da partição(SPARK-34119)
• Execução de consultas
  • Habilitar pool de buffer Zstandard por padrão (SPARK-34340, SPARK-34390)
  • Adicionar geração de código para todos os tipos de junção de mesclagem ordenada (SPARK-34705)
  • Melhoria da junção por loop aninhado de transmissão(SPARK-34706)
  • Suporta dois níveis de mapas de hash para agregação de hash final (SPARK-35141)
  • Permitir gravadores simultâneos para escrever partições dinâmicas e tabelas de compartimentos (SPARK-26164)
  • Melhorar o desempenho do processamento de FETCH_PRIOR no Thriftserver(SPARK-33655)

Melhorias do conector

• Parquet
  • Atualize o Parquet para 1.12.1 (SPARK-36726)
  • Leia tipos não assinados de parquet que são armazenados como tipo físico int32 em parquet (SPARK-34817)
  • Leia o tipo lógico int64 não assinado do Parquet, que é armazenado como tipo físico int64 assinado, como decimal(20, 0)(SPARK-34786)
  • Melhorar o Parquet no filtro pushdown (SPARK-32792)
• ORC
  • Atualize o ORC para a versão 1.6.11 (SPARK-36482)
  • Suporte à evolução forçada de posição do ORC (SPARK-32864)
  • Suporte coluna aninhada no leitor vetorizado ORC(SPARK-34862)
  • Suporte a compressão ZSTD e LZ4 na fonte de dados ORC (SPARK-33978, SPARK-35612)
• Avro
  • Atualize o Avro para a versão 1.10.2 (SPARK-34778)
  • Suportando a evolução do esquema Avro para tabelas Hive particionadas com "avro.schema.literal"(SPARK-26836)
  • Adicione novas opções de fonte de dados Avro para controlar a rebase de data/hora em leitura (SPARK-34404)
  • Adicionando suporte para url de esquema fornecido pelo usuário em Avro(SPARK-34416)
  • Adicione suporte para correspondência posicional de esquema Catalyst-to-Avro (SPARK-34365)
• JSON
  • Atualize Jackson para a versão 2.12.3 (SPARK-35550)
  • Permitir que fontes de dados Json escrevam caracteres não-ascii como pontos de código (SPARK-35047)
• JDBC
  • Calcule um passo de partição mais preciso em JDBCRelation(SPARK-34843)
• Suporte de filtro do Hive Metastore por not-in(SPARK-34538)

Melhorias de funcionalidades

• Subconsulta
  • Melhorar subconsultas correlacionadas (SPARK-35553)
• Novas funções incorporadas
  • ilike(SPARK-36674, SPARK-36736)
  • current_user(SPARK-21957)
  • produto (SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add(SPARK-35162)
  • try_divide(SPARK-35162)
  • bit_get(SPARK-33245)
• Usar o Apache Hadoop 3.3.1 por padrão (SPARK-29250)
• Adicionar soma de verificação para blocos aleatórios(SPARK-35275)
• Habilite spark.storage.replication.proactive por padrão (SPARK-33870)
• Suporte a limpeza de armazenamento de fallback durante a interrupção do SparkContext (SPARK-34142)
• Suporte a enumerações Java nas APIs Dataset do Scala (SPARK-23862)
• ADD JAR com as coordenadas do Ivy deve ser compatível com o comportamento transitivo do Hive(SPARK-34506)
• Suporte ao comando S para ADD ARCHIVE e LIST ARCHIVE(SPARK-34603)
• Suportar vários caminhos para comandos ADD FILE/JAR/ARCHIVE (SPARK-35105)
• Suporte a arquivos arquivados como recursos para CREATE FUNCTION USANDO sintaxe(SPARK-35236)
• Carregando SparkSessionExtensions de ServiceLoader(SPARK-35380)
• Adicionar função de frases a functions.{scala,py}(SPARK-35418)
• Aplicar spark.sql.hive.metastorePartitionPruning para tabelas que não sejam do Hive que usam o metastore do Hive para gerenciamento de partições(SPARK-36128)
• Propagar o motivo da perda de execução para a interface do utilizador da Web (SPARK-34764)
• Evite inserir With-CTEs não determinísticos (SPARK-36447)
• Suportar a análise de todas as tabelas num banco de dados específico(SPARK-33687)
• Padronizar mensagens de exceção no Spark (SPARK-33539)
• Suporte (IGNORE | RESPECT) NULLS para LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Outras mudanças notáveis

• Monitorização
  • Novas métricas para ExternalShuffleService(SPARK-35258)
  • Adicionar novas APIs e parâmetros REST de nível de estágio (SPARK-26399)
  • Tarefa de suporte e executor Distribuições de métricas Distribuições de métricas na API REST (SPARK-34488)
  • Adicionar métricas de fallback para agregação de hash(SPARK-35529)
• Adicionar count_distinct como uma opção a Dataset#summary(SPARK-34165)
• Implementar ScriptTransform em sql/core(SPARK-31936)
• Torne o tempo limite de pulsação do driver BlockManagerMaster configurável (SPARK-34278)
• Torne o nome do serviço de shuffle configurável no lado do cliente e permita a substituição da configuração com base no classpath no lado do servidor (SPARK-34828)
• ExecutorMetricsPoller deve manter a entrada do estágio no stageTCMP até que ocorra um batimento cardíaco (SPARK-34779)
• Substitua o condicional "if" pela cláusula "filter" em RewriteDistinctAggregates(SPARK-34882)
• Corrigir falha ao aplicar CostBasedJoinReorder em autojunção(SPARK-34354)
• CREATE TABLE LIKE deve respeitar as propriedades da tabela reservada(SPARK-34935)
• Enviar arquivo ivySettings para o driver no modo de cluster YARN (SPARK-34472)
• Resolver colunas comuns duplicadas de JOINUSING/NATURAL (SPARK-34527)
• Ocultar propriedades de visualização interna para o comando descrever tabela (SPARK-35318)
• Suporte para a resolução de atributos ausentes para distribuir/agrupar por/sugestão de repartição (SPARK-35331)
• Ignore o erro ao verificar o caminho em FileStreamSink.hasMetadata(SPARK-34526)
• Melhore o suporte ao s3a magic committer inferindo configurações ausentes (SPARK-35383)
• Permitir omitir : na cadeia de caracteres do tipo STRUCT (SPARK-35706)
• Adicione um novo operador para distinguir se a AQE pode otimizar com segurança (SPARK-35786)
• Acrescentar novos campos struct aninhados em vez de classificar para unionByName com preenchimento nulo (SPARK-35290)
• ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador (SPARK-35876)
• Utilize Void como o nome de tipo para NullType (SPARK-36224)
• Introduzir nova API para FileCommitProtocol permitir nomenclatura flexível de arquivos (SPARK-33298)

Mudanças de comportamento

Consulte os guias de migração para cada componente: Spark Core.

Transmissão em Fluxo Estruturada

Principais características

• Sessionização baseada em EventTime (janela de sessão)(SPARK-10816)
• Atualize o cliente Kafka para 2.8.0 (SPARK-33913)
• Trigger.AvailableNow para executar consultas de transmissão de maneira semelhante ao Trigger.Once em múltiplos lotes no Scala (SPARK-36533)

Outras mudanças notáveis

• Introduza uma nova opção na fonte Kafka para especificar um número mínimo de registros a serem lidos por gatilho (SPARK-35312)
• Adicionar os deslocamentos mais recentes ao progresso da origem (SPARK-33955)

PySpark

Projeto Zen

• API Pandas no Spark (SPARK-34849)
  • Ativar mypy para pandas-on-Spark (SPARK-34941)
  • Implementar suporte CategoricalDtype (SPARK-35997, SPARK-36185)
  • Conclua as operações básicas de Série e Índice (SPARK-36103, SPARK-36104, SPARK-36192)
  • Combinar comportamentos com pandas 1.3 (SPARK-36367)
  • Alinhar comportamentos em séries com NaN aos pandas' (SPARK-36031, SPARK-36310)
  • Implementar operador unário 'inverter' de série integral e índice (SPARK-36003)
  • Implementar CategoricalIndex.map e DatetimeIndex.map(SPARK-36470)
  • Implementar Index.map(SPARK-36469)
• suporte de faulthandler para Python worker falhou (SPARK-36062)
• Usar a regra de nomenclatura Snake nas APIs de função (SPARK-34306)
• Habilite spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled por padrão (SPARK-35419)
• Suporte para inferir dicionário aninhado como uma estrutura ao criar um DataFrame (SPARK-35929)

Outras mudanças notáveis

• Ativar o modo de thread fixo por padrão (SPARK-35303)
• Adicionar suporte para NullType nas execuções do Arrow (SPARK-33489)
• Adicionar suporte a self_destruct do Arrow para toPandas (SPARK-32953)
• Adicionar API de encapsulamento de destino de thread para o modo de fixação de thread do pyspark (SPARK-35498)

Mudanças de comportamento

Consulte os guias de migração.

MLlib

Melhoramentos de desempenho

• Otimização da transformação do BucketedRandomProjectionLSH (SPARK-34220)
• w2v findSinónimos otimização(SPARK-34189)
• optimizar GEMM esparso ao ignorar a verificação de limites(SPARK-35707)
• Melhorar o desempenho do ML ALS recommendForAll by GEMV (SPARK-33518)

Melhorias no treinamento do modelo

• Refactor Logistic Aggregator - suporte à centralização virtual (SPARK-34797)
• Regressão logística binária com centralização de suporte de intercetação (SPARK-34858, SPARK-34448)
• Regressão Logística Multinomial com centralização de suporte de intercetação (SPARK-34860)

Melhorias no BLAS

• Substitua totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0(SPARK-35295)
• Adicionar uma implementação BLAS vetorizada (SPARK-33882)
• Acelere o BLAS de fallback com dev.ludovic.netlib(SPARK-35150)

Outras mudanças notáveis

• A transformação OVR corrige o potencial conflito da coluna(SPARK-34356)

Descontinuações e remoções

• Depreciar spark.launcher.childConnectionTimeout(SPARK-33717)
• descontinuar GROUP BY ... AGRUPAR CONJUNTOS (...) e promover GROUP BY GROUPING SETS (...)(SPARK-34932)
• Descontinuar a API ps.broadcast (SPARK-35810)
• Depreciar o num_files argumento (SPARK-35807)
• Descontinuar DataFrame.to_spark_io(SPARK-35811)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.0.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Píton: 3.8.10
• R: 4.1.1
• Lago Delta: 1.0.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir da imagem instantânea da CRAN da Microsoft da data de 2021-09-21.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)