Partilhar via

Versão 5 do ambiente serverless

Esta página descreve as informações do sistema para a versão 5 do ambiente serverless.

Para garantir a compatibilidade das aplicações, as cargas de trabalho serverless utilizam uma API versionada, conhecida como versão do ambiente, que permanece compatível com versões serverless mais recentes.

Para selecionar um ambiente base, use o seletor de ambiente Base no painel lateral Ambiente dos seus notebooks serverless. Veja Selecionar um ambiente base.

Novos recursos e melhorias

As seguintes novas funcionalidades e melhorias estão disponíveis no ambiente serverless 5.

Suporte para MLflow 3.8.1

O ambiente serverless 5 inclui o MLflow 3.8.1, uma grande atualização do MLflow 2.22.0 na versão 4 do ambiente. Esta atualização inclui inúmeras novas funcionalidades, melhorias e correções de bugs. Para uma lista completa de alterações, consulte as notas de lançamento do MLflow.

Tarefas JAR sem servidor

Importante

Este recurso está no Public Preview.

Os jobs JAR serverless são agora suportados na versão 5 do ambiente. Esta funcionalidade permite executar aplicações baseadas em JAR numa infraestrutura de computação serverless.

Otimização por setas ativada por defeito para UDFs em Python

Na versão 5 do ambiente, a otimização do Arrow está ativada por defeito para UDFs em Python, melhorando significativamente o desempenho de execução das UDFs. Além disso, a conversão do serializador pandas, que é baseado no Arrow, foi aprimorada para melhorar a eficiência.

Isto representa uma alteração comportamental em relação às versões anteriores, em que a otimização Arrow era por adesão.

Mudanças comportamentais

As seguintes alterações comportamentais são introduzidas no ambiente serverless 5.

BinaryType corresponde consistentemente a bytes Python

No PySpark, BinaryType agora mapeia consistentemente para Python bytes. Anteriormente, o PySpark mapeava BinaryType para bytes ou bytearray conforme o contexto.

Para mais informações, consulte SPARK-53696.

API de socket ao nível do kernel do Linux para criptografia

A partir da versão 5 do ambiente, a API de soquete criptográfico ao nível do kernel do Linux que opera em cifras não compatíveis com FIPS pode falhar de forma não determinística. Não utilize esta API para operações criptográficas que não estejam em conformidade com FIPS.

Atualizações da API

O ambiente serverless 5 inclui as seguintes atualizações da API:

  • SPARK-53635 Suportar UDFs Scala com argumentos de entrada do tipo Seq[Row]
  • SPARK-54220 Suporte de Tipos NullType/VOID/UNKNOWN em Parquet
  • SPARK-54153 Suportar UDFs Python baseados em iteradores para perfilar
  • SPARK-54213 Remover o Python 3.9 do Spark Connect
  • SPARK-53977 Suporte ao registo em UDTFs
  • SPARK-53976 Suporte ao login em Pandas/Arrow UDFs
  • SPARK-53573 Permitir a coalescência de literais de strings em qualquer contexto
  • SPARK-54269 Atualizar o Cloudpickle para a 3.1.2 para Python 3.14
  • SPARK-54287 Adicionar suporte a Python 3.14 no pyspark-client e no pyspark-connect
  • SPARK-53614 Adicionar suporte a Iterador[pandas.DataFrame] ao applyInPandas
  • SPARK-53921 Introduza GeometryType e GeographyType na API PySpark
  • SPARK-53920 Introduzir GeometryType e GeographyType na API Java
  • SPARK-53956 Suporte ao TIME na função try_make_timestamp no PySpark
  • SPARK-53930 Suporte ao TIME na função make_timestamp no PySpark
  • SPARK-53111 Implementar a função time_diff no PySpark
  • SPARK-53877 Introduzir a função BITMAP_AND_AGG
  • SPARK-53357 Atualizar o pandas para a versão 2.3.2
  • SPARK-52980 Suporte Arrow Python UDTFs
  • SPARK-52844 Atualizar o numpy para a versão 1.22
  • SPARK-50359 Atualizar o PyArrow para a versão 18.0
  • SPARK-50564 Atualizar o pacote protobuf Python para 5.29.1
  • SPARK-50601 Suporte para withColumns / withColumnsRenamed em subconsultas
  • SPARK-51814 Introduza uma nova API transformWithState em PySpark
  • SPARK-52821 adicionar coerção do tipo de retorno int-DecimalType no udf do pyspark
  • SPARK-53112 Suportar o TIME nas funções make_timestamp_ntz e try_make_timestamp_ntz no PySpark
  • SPARK-53319 Suportar o tipo de hora por try_make_timestamp_ltz()
  • SPARK-53696 Usar bytes como padrão para BinaryType no PySpark
  • SPARK-55090 Implementar DataFrame.toJSON no cliente Python

Ambiente do sistema

  • Sistema Operacional: Ubuntu 24.04.3 LTS
  • Píton: 3.12.3
  • Databricks Connect: 18 (O Databricks Connect é continuamente atualizado na versão mais recente do ambiente serverless. Corre pip list para confirmar a versão exata no teu ambiente atual.)
  • Escala: 2.13.16
  • JDK: 21

Bibliotecas Python instaladas

Para reproduzir o ambiente serverless 5 no seu ambiente virtual Python local, descarregue o ficheirorequirements-env-5.txt e execute pip install -r requirements-env-5.txt. Este comando instala todas as bibliotecas open source do ambiente serverless 5.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
aiohappyeyeballs 2.4.4 AIOHTTP 3.11.10 aiosignal 1.2.0
documento anotado 0.0.4 tipos com anotações 0.7.0 anyio 4.7.0
Argão2-CFFI 21.3.0 argon2-cffi-vinculações 21.2.0 arro3-core 0.6.5
seta 1.3.0 AstTokens 3.0.0 "Astunparse" 1.6.3
Async-LRU 2.0.4 Atributos 24.3.0 Comando automático 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.28.0
Armazenamento de Ficheiros Azure Data Lake 12.22.0 Babel 2.16.0 backports.tarfile 1.2.0
BeautifulSoup4 4.12.3 preto 24.10.0 lixívia 6.2.0
pisca 1.7.0 boto3 1.40.45 Botocore 1.40.45
Ferramentas de cache 5.5.1 certifi 2025.4.26 cffi 1.17.1
Chardet 4.0.0 Normalizador de Charset 3.3.2 clicar 8.1.8
Cloudpickle 3.0.0 Comunicação 0.2.1 contorno 1.3.1
criptografia 44.0.1 ciclista 0.11.0 Cython 3.1.5
Databricks-Agentes 1.9.1 databricks-connect 18.0.5 Databricks-SDK 0.67.0
DataClasses-JSON 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
decorador 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 Distlib 0.3.9 convertendo docstring em markdown 0.11
executar 1.2.0 facetas-visão geral 1.1.1 fastapi 0.128.0
fastjsonschema (biblioteca para validação rápida de esquemas JSON) 2.21.1 bloqueio de arquivo 3.17.0 Fonttools 4.55.3
FQDN (Nome de Domínio Completo) 1.5.1 Frozenlist 1.5.0 fsspec 2023.5.0
GitDB 4.0.11 GitPython 3.1.43 google-api-core 2.28.1
Google-Auth (Autenticação) 2.47.0 Google Cloud Core 2.5.0 google-armazenamento-em-nuvem 3.7.0
Google-CRC32C 1.8.0 google-media-reutilizável 2.8.0 googleapis-common-protos 1.65.0
Grpcio 1.67.0 grpcio-status 1.67.0 h11 0.16.0
HF-XET 1.2.0 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface_hub 1.2.4 IDNA 3.7
importlib_metadata 8.5.0 flexionar 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 Ipykernel 6.29.5 IPython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate 0.7.2
isoduração 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 Jiter 0.12.0 jmespath 1.0.1
Joblib 1.4.2 JSON5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-especificações 2023.7.1
Jupyter-Eventos 0.12.0 Jupyter-LSP 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 jupyter_servidor 2.15.0 jupyter_server_terminals 0.5.3
Jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-núcleo 1.2.6
langchain-openai 1.1.6 Langsmith 0.6.1 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 litellm 1.75.9
markdown-it-py 2.2.0 MarkupSafe 3.0.2 Espuma 3.26.2
Matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 Mistune 3.1.2 mlflow-skinny 3.8.1
MMH3 5.2.0 more-itertools 10.3.0 MSAL 1.34.0
MSAL-extensões 1.3.1 multidict 6.1.0 mypy extensions 1.0.0
nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4
nest-asyncio 1.6.0 nodeenv 1.10.0 bloco de notas 7.3.2
notebook_shim 0.2.4 numpy 2.1.3 OAuthlib 3.2.2
OpenAI 2.14.0 OpenTelemetry API 1.39.1 OpenTelemetry-Proto 1.39.1
OpenTelemetry SDK 1.39.1 Convenções Semânticas de OpenTelemetry 0.60b1 Orjson 3.11.5
sobrescrições 7.4.0 embalagem 24,2 pandas 2.2.3
PandocFilters 1.5.0 Parso 0.8.4 PathSpec 0.10.3
vítima 1.0.1 pexpect 4.8.0 almofada 11.1.0
pip 25.0.1 platformdirs 4.3.7 enredo 5.24.1
Pluggy 1.5.0 prometheus_client 0.21.1 kit de ferramentas de prompt 3.0.43
propcache 0.3.1 Proto-Plus 1.27.0 Protobuf 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
puro-eval 0.2.2 py4j 0.10.9.9 Pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-módulos 0.2.8 pyccolo 0.0.71
Pycparser 2.21 Pidântico 2.10.6 pydantic_core 2.27.2
Pyflakes 3.2.0 Pigmentos 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 Pyright 1.1.394 Piroaring 1.0.3
Pytest 8.3.5 python-dateutil (uma biblioteca de software para manipulação de datas em Python) 2.9.0.post0 Python-Dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-servidor 1.12.2
pytoolconfig 1.2.6 Pytz 2024.1 PyYAML 6.0.2
Pyzmq 26.2.0 referenciação 0.30.2 regex 2024.11.6
pedidos 2.32.3 pedidos-cinto de ferramentas 1.0.0 rfc3339-verificador 0.1.4
rfc3986-validador 0.1.1 rico 13.9.4 corda 1.13.0
rpds-py 0.22.3 RSA 4.9.1 s3transfer 0.14.0
scikit-learn (biblioteca de aprendizado de máquina em Python) 1.6.1 SciPy 1.15.3 nascido no mar 0.13.2
Send2Trash 1.8.2 Ferramentas de configuração 78.1.1 Shellingham 1.5.4
seis 1.17.0 smmap 5.0.0 sniffio 1.3.0
contentores classificados 2.4.0 Coador de sopa 2.5 SQLPARSE 0.5.5
ssh-import-id 5.11 stack-data 0.6.3 Starlette 0.50.0
strictyaml 1.7.3 tenacidade 9.0.0 terminado 0.17.1
Threadpoolctl 3.5.0 tiktoken 0.12.0 tinycss2 1.4.0
tokenize_rt 6.1.0 Tokenizadores 0.22.2 Tomli 2.0.1
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
Protetor de Tipografia 4.3.0 Typer-Slim 0.21.1 types-python-dateutil 2.9.0.20251115
inspeção de digitação 0.9.0 typing_extensions (extensões de digitação) 4.12.2 tzdata 2024.1
Ujson 5.10.0 Atualizações não supervisionadas 0.1 uri-modelo 1.3.0
urllib3 2.3.0 uuid_utils 0.12.0 uvicorn 0.40.0
virtualenv 20.29.3 wadllib 1.3.6 wcwidth 0.2.5
Webcolors 25.10.0 codificações da web 0.5.1 Websocket-cliente 1.8.0
whatthepatch (ferramenta para comparação de patches) 1.0.2 wheel 0.45.1 sempre que 0.7.3
widgetsnbextension 3.6.6 embrulhado 1.17.0 Yapf 0.40.2
yarl 1.18.0 zipp 3.21.0 zstandard 0.23.0

Instalei bibliotecas Java e Scala (Scala 2.13)

ID do grupo ID do artefato Versão
com.databricks databricks-connect_2.13 18.0.0
com.fasterxml.jackson.core Jackson-Annotations 2.15.2
com.fasterxml.jackson.core Jackson-Core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi Ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi Ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi OS-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s JSON4S-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond intérprete-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond Jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond Scala-interpreter_2.13.16 0.14.1-1
sh.almond Scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on