Ambiente sem servidor versão 5

Esta página descreve as informações de ambiente do sistema para o ambiente sem servidor versão 5.

Para garantir a compatibilidade do aplicativo, as cargas de trabalho sem servidor usam uma API com versão, conhecida como a versão do ambiente, que permanece compatível com versões mais recentes sem servidor.

Para selecionar um ambiente base, use o seletor de ambiente base no painel lateral ambiente em seus blocos de anotações sem servidor. Consulte Selecionar um ambiente base.

Novos recursos e melhorias

Os novos recursos e melhorias a seguir estão disponíveis no ambiente sem servidor 5.

Suporte ao MLflow 3.8.1

O ambiente sem servidor 5 inclui o MLflow 3.8.1, uma atualização importante do MLflow 2.22.0 no ambiente versão 4. Essa atualização inclui vários novos recursos, melhorias e correções de bugs. Para obter uma lista completa de alterações, consulte as notas de versão do MLflow.

Trabalhos JAR sem servidor

Agora há suporte para trabalhos JAR sem servidor no ambiente versão 5. Esse recurso permite que você execute aplicativos baseados em JAR na infraestrutura de computação sem servidor.

Otimização de seta habilitada por padrão para UDFs do Python

No ambiente versão 5, a otimização de seta é habilitada por padrão para UDFs do Python, melhorando significativamente o desempenho da execução de UDF. Além disso, a conversão do serializador pandas baseado em Arrow foi aprimorada para maior eficiência.

Isso representa uma mudança de comportamento em relação às versões anteriores, em que a otimização do Arrow era optativa.

Alterações comportamentais

As alterações comportamentais a seguir são introduzidas no ambiente sem servidor 5.

BinaryType mapeia consistentemente a bytes em Python

No PySpark, BinaryType agora é mapeado de forma consistente para Python bytes. Anteriormente, o PySpark mapeou BinaryType para bytes ou bytearray dependendo do contexto.

Para obter mais informações, consulte SPARK-53696.

API de soquete em nível de Kernel do Linux para criptografia

A partir do ambiente versão 5, a API de soquete de criptografia no nível do Kernel do Linux que opera em criptografias não compatíveis com FIPS pode falhar não deterministicamente. Não use essa API para operações de criptografia de conformidade não FIPS.

Atualizações de API

O ambiente sem servidor 5 inclui as seguintes atualizações de API:

• SPARK-53635 Suporte para UDFs do Scala com argumentos de entrada do tipo Seq[Row]
• SPARK-54220 Suporte ao tipo NullType/VOID/UNKNOWN no Parquet
• SPARK-54153 Suporte ao perfilamento de UDFs do Python com base em iterador
• SPARK-54213 Remover o Python 3.9 do Spark Connect
• SPARK-53977 Suporte para log em UDTFs
• SPARK-53976 Suporte ao registro de logs em UDFs Pandas/Arrow
• SPARK-53573 Permitir literais de string em coalescimento em todos os contextos
• SPARK-54269 Atualizar o cloudpickle para 3.1.2 para Python 3.14
• SPARK-54287 Adicionar suporte ao Python 3.14 no pyspark-client e pyspark-connect
• SPARK-53614 Adicionar suporte a Iterator[pandas.DataFrame] para applyInPandas
• SPARK-53921 Introduzir GeometryType e GeographyType à API do PySpark
• SPARK-53920 Introduzir GeometryType e GeographyType à API Java
• SPARK-53956 Adicionar suporte ao tipo TIME na função try_make_timestamp no PySpark
• SPARK-53930 Suporte ao tipo TIME na função make_timestamp no PySpark
• SPARK-53111 Implementar a função time_diff no PySpark
• SPARK-53877 Introduzir a função BITMAP_AND_AGG
• SPARK-53357 Atualizar o Pandas para 2.3.2
• SPARK-52980 Suporte a UDTFs Python do Arrow
• SPARK-52844 Atualizar o numpy para 1.22
• SPARK-50359 Atualizar o PyArrow para 18.0
• SPARK-50564 Atualizar o pacote protobuf Python para 5.29.1
• SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
• SPARK-51814 Introduzir uma nova transformação de APIWithState no PySpark
• SPARK-52821 add int-DecimalType> pyspark udf return type coercion
• SPARK-53112 Suporte para TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz no PySpark
• SPARK-53319 Suporte ao tipo de tempo com try_make_timestamp_ltz()
• SPARK-53696 Definir bytes como padrão para BinaryType no PySpark
• SPARK-55090 Implementar DataFrame.toJSON no cliente Python

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.3 LTS
• Python: 3.12.3
• Databricks Connect: 18 (o Databricks Connect é atualizado continuamente na versão mais recente do ambiente sem servidor. Execute pip list para confirmar a versão exata em seu ambiente atual.)
• Scala: 2.13.16
• JDK: 21

Bibliotecas do Python instaladas

Para reproduzir o ambiente sem servidor 5 em seu ambiente virtual python local, baixe o arquivo requirements-env-5.txt e execute pip install -r requirements-env-5.txt. Esse comando instala todas as bibliotecas de software livre do ambiente sem servidor 5.

Bibliotecas Java e Scala instaladas (Scala 2.13)