Ambiente sem servidor versão 4

Este artigo descreve as informações do ambiente do sistema para o ambiente sem servidor versão 4.

Para garantir a compatibilidade do aplicativo, as cargas de trabalho sem servidor usam uma API versionada, conhecida como versão do ambiente, que permanece compatível com as versões mais recentes do servidor.

Você pode selecionar a versão do ambiente usando o painel lateral Ambiente em seus blocos de anotações sem servidor. Veja Selecionar um ambiente base.

Novos recursos e melhorias

Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 4.

Suporte ao Spark ML em computação sem servidor

A computação sem servidor agora suporta Spark ML no PySpark (pyspark.ml) e MLflow para Spark (mlflow.spark) na versão 4 do ambiente. Para ajuste de hiperparâmetros na computação sem servidor, o Databricks recomenda o uso do Optuna e do Joblib Spark.

As seguintes limitações se aplicam ao executar o SparkML em computação sem servidor:

• O tamanho máximo do modelo é de 100MB.
• O tamanho total máximo dos modelos na memória por sessão é de 1 GB.
• O treinamento do modelo de árvore é interrompido antecipadamente se o tamanho do modelo estiver prestes a exceder 100 MB.
• Os seguintes modelos SparkML não são suportados:
  • Modelo LDA Distribuído
  • FPGrowthModel

UDFs Python escalares agora suportam credenciais de serviço

UDFs Python escalares podem usar credenciais de serviço Unity Catalog para acessar com segurança serviços de nuvem externos. Para obter mais informações, consulte Credenciais de serviço em UDFs Python escalares.

O PySpark e o Spark Connect agora suportam a API DataFrames df.mergeInto

PySpark e Spark Connect agora suportam a API df.mergeInto, que antes só estava disponível para Scala.

Atualizações da API

O ambiente sem servidor 4 inclui as seguintes atualizações de API:

• SPARK-50915 Adicionar getCondition e descontinuar getErrorClassPySparkException
• SPARK-50719 Suporte interruptOperation para PySpark
• SPARK-50718 Suporte addArtifact(s) para PySpark
• SPARK-49530 Suporte para subparcelas circulares na plotagem do PySpark
• SPARK-50357 Suporte de APIs Interrupt(Tag|All) para PySpark
• SPARK-51178 Gerar erro adequado em PySpark em vez de SparkConnectGrpcException
• SPARK-51227 Atualizar PySpark Connect _minimum_grpc_version para a versão 1.67.0
• SPARK-50778 Adicionar metadataColumn ao PySpark DataFrame
• SPARK-50311 APIs de suporte (add|remove|get|clear)Tag(s) para PySpark
• SPARK-50310 Adicionar um sinalizador para desativar DataFrameQueryContext para PySpark
• SPARK-50238 Adicionar suporte a diferentes tipos em UDFs/UDTFs/UDAFs do PySpark e UDFs de UC em Python
• SPARK-50183 Unifique as funções internas para a API do Pandas e o Plotting do PySpark
• SPARK-50170 Mover _invoke_internal_function_over_columns para pyspark.sql.utils
• SPARK-50167 Melhorar as mensagens de erro e importações do PySpark para plotagem.
• SPARK-48961 Tornar a nomenclatura dos parâmetros de PySparkException consistente com a JVM
• SPARK-49567 Utilizar clássico em substituição de padrão da base de código PySpark
• SPARK-48755transformWithState Implementação base do PySpark e ValueState suporte
• FAÍSCA-48714 Implementar DataFrame.mergeInto no PySpark
• SPARK-47365 Adicionar método DataFrame ao PySpark
• SPARK-48075 A verificação de tipo para funções avro PySpark
• SPARK-46984 Remover pyspark.copy_func
• SPARK-46213 Introduzir PySparkImportError para o framework de erro
• SPARK-46226 Migrar todo o restante RuntimeError para o framework de erros do PySpark
• SPARK-45450 Corrigir as importações de acordo com o PEP8: pyspark.pandas e pyspark (core)

Ambiente do sistema

• Sistema Operacional: Ubuntu 24.04.2 LTS
• Píton: 3.12.3
• Databricks Connect: 17 (O Databricks Connect é continuamente atualizado na versão mais recente do ambiente serverless. Corre pip list para confirmar a versão exata no teu ambiente atual.)
• Escala: 2.13.16
• JDK: 17

Bibliotecas Python instaladas

Para reproduzir o ambiente sem servidor 4 em seu ambiente virtual Python local, baixe o arquivo requirements-env-4.txt e execute pip install -r requirements-env-4.txt. Este comando instala todas as bibliotecas de código aberto do ambiente sem servidor 4.

Instalei bibliotecas Java e Scala (Scala 2.13)