Delen via

Serverloze omgeving versie 5

Op deze pagina vindt u een overzicht van de informatie over de systeemomgeving voor serverloze omgeving versie 5.

Om ervoor te zorgen dat toepassingscompatibiliteit wordt gegarandeerd, gebruiken serverloze workloads een versie van de API, ook wel de omgevingsversie genoemd, die compatibel blijft met nieuwere serverloze versies.

Als u een basisomgeving wilt selecteren, gebruikt u de Base-omgevingsselector in het deelvenster Omgeving in uw serverloze notebooks. Zie Een basisomgeving selecteren.

Nieuwe functies en verbeteringen

De volgende nieuwe functies en verbeteringen zijn beschikbaar in serverloze omgeving 5.

Ondersteuning voor MLflow 3.8.1

Serverloze omgeving 5 bevat MLflow 3.8.1, een belangrijke upgrade van MLflow 2.22.0 in omgevingsversie 4. Deze upgrade bevat tal van nieuwe functies, verbeteringen en bugfixes. Zie de opmerkingen bij de release van MLflow voor een volledige lijst met wijzigingen.

Serverloze JAR-jobs

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Serverloze JAR-taken worden nu ondersteund in omgevingsversie 5. Met deze functie kunt u op JAR gebaseerde toepassingen uitvoeren op een serverloze rekeninfrastructuur.

Pijloptimalisatie standaard ingeschakeld voor Python UDF's

In omgevingsversie 5 is Pijloptimalisatie standaard ingeschakeld voor Python UDF-UDF's, waardoor de prestaties van de UDF-uitvoering aanzienlijk worden verbeterd. Daarnaast is de Arrow-gebaseerde pandas serializer conversie verbeterd voor een hogere efficiëntie.

Dit vertegenwoordigt een gedragswijziging ten opzichte van eerdere versies, waarin Arrow-optimalisatie handmatig kon worden ingeschakeld.

Gedragswijzigingen

De volgende gedragswijzigingen worden geïntroduceerd in serverloze omgeving 5.

BinaryType komt consistent overeen met Python bytes

In PySpark wordt BinaryType nu consistent toegewezen aan Python bytes. Eerder heeft PySpark BinaryType toegewezen aan bytes of bytearray afhankelijk van de context.

Zie SPARK-53696 voor meer informatie.

Socket-API op Linux-kernelniveau voor cryptografie

Vanaf omgevingsversie 5 kan de crypto socket-API op Linux-kernelniveau die op niet-FIPS-compatibele coderingen werkt, niet-deterministisch mislukken. Gebruik deze API niet voor niet-FIPS-nalevings cryptobewerkingen.

API-updates

Serverloze omgeving 5 bevat de volgende API-updates:

  • SPARK-53635 Ondersteuning voor Scala UDF's met invoerargumenten van het type Seq[Rij]
  • SPARK-54220 Ondersteuning voor NullType/VOID/ONBEKEND Type in Parquet
  • SPARK-54153 Ondersteuning voor python-UDF's op basis van profilerings-iterator
  • SPARK-54213 Python 3.9 verwijderen uit Spark Connect
  • SPARK-53977 Ondersteuning voor logboekregistratie in UDTF's
  • SPARK-53976 Ondersteuning voor logboekregistratie in Pandas/Arrow UDF's
  • SPARK-53573 Toestaan van het samenvoegen van letterlijke tekenreeksen overal
  • SPARK-54269 Cloudpickle upgraden naar 3.1.2 voor Python 3.14
  • SPARK-54287 Python 3.14-ondersteuning toevoegen in pyspark-client en pyspark-connect
  • SPARK-53614 Voeg ondersteuning van Iterator[pandas.DataFrame] toe aan applyInPandas
  • SPARK-53921 GeometryType en GeographyType introduceren in PySpark-API
  • SPARK-53920 GeometryType en GeographyType introduceren in de Java API
  • SPARK-53956 Ondersteuning voor tijd in de functie try_make_timestamp in PySpark
  • SPARK-53930 Ondersteuning van TIJD in de functie make_timestamp in PySpark
  • SPARK-53111 De time_diff-functie implementeren in PySpark
  • SPARK-53877 De functie BITMAP_AND_AGG introduceren
  • SPARK-53357 Pandas bijwerken naar 2.3.2
  • SPARK-52980 Ondersteuning voor Arrow Python UDTFs
  • SPARK-52844 Numpy bijwerken naar 1.22
  • SPARK-50359 PyArrow upgraden naar 18.0
  • SPARK-50564 Protobuf Python-pakket upgraden naar 5.29.1
  • SPARK-50601 Ondersteuning voor withColumns / withColumnsRenamed in subquery's
  • SPARK-51814 Een nieuwe API-transformWithState introduceren in PySpark
  • SPARK-52821 int-DecimalType> pyspark udf retourtype omvorming
  • SPARK-53112 Ondersteun TIME in de functies make_timestamp_ntz en try_make_timestamp_ntz in PySpark
  • SPARK-53319 Het tijdtype ondersteunen op try_make_timestamp_ltz()
  • SPARK-53696 Standaard ingesteld op bytes voor BinaryType in PySpark
  • SPARK-55090 DataFrame.toJSON implementeren in Python-client

Systeemomgeving

  • Besturingssysteem: Ubuntu 24.04.3 LTS
  • Python: 3.12.3
  • Databricks Connect: 18 (Databricks Connect wordt continu bijgewerkt in de nieuwste serverloze omgevingsversie. Voer uit pip list om de exacte versie in uw huidige omgeving te bevestigen.)
  • Scala: 2.13.16
  • JDK: 21

Geïnstalleerde Python-bibliotheken

Als u serverloze omgeving 5 wilt reproduceren in uw lokale virtuele Python-omgeving, downloadt u het requirements-env-5.txt-bestand en voert u het uit pip install -r requirements-env-5.txt. Met deze opdracht worden alle opensource-bibliotheken van serverloze omgeving 5 geïnstalleerd.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
geannoteerd document 0.0.4 geannoteerde typen 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi koppelstukken 21.2.0 arro3-core 0.6.5
pijl 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 kenmerken 24.3.0 autocommando 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 Azure Storage Blob 12.28.0
Azure Storage File Data Lake 12.22.0 Babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 zwart 24.10.0 bleekmiddel 6.2.0
knipperlicht 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certificaat 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 klikken 8.1.8
cloudpickle 3.0.0 communicatie 0.2.1 contourpy 1.3.1
cryptografie 44.0.1 wielrijder 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-connect 18.0.5 databricks-sdk (softwareontwikkelkit) 0.67.0
dataclasses-json 0.6.7 dbus-python 1.3.2 debugpy 1.8.11
decorateur 5.1.1 defusedxml 0.7.1 deltalake 1.1.4
Deprecated 1.2.18 distlib 0.3.9 Van docstring naar markdown 0.11
Uitvoeren 1.2.0 facettenoverzicht 1.1.1 fastapi 0.128.0
fastjsonschema 2.21.1 bestandsvergrendeling 3.17.0 lettertypegereedschappen 4.55.3
fqdn 1.5.1 bevroren lijst 1.5.0 fsspec 2023.5.0
gitdb 4.0.11 GitPython 3.1.43 google-api-core 2.28.1
Google-authenticatie 2.47.0 google-cloud-core 2.5.0 Google Cloud Storage (opslag in de cloud van Google) 3.7.0
google-crc32c 1.8.0 google-heropneembare-media 2.8.0 googleapis-common-protos 1.65.0
grpcio 1.67.0 grpcio-status 1.67.0 h11 0.16.0
hf-xet 1.2.0 httpcore 1.0.9 httplib2 0.20.4
httpx 0.28.1 huggingface_hub 1.2.4 IDNA 3.7
importlib_metadata 8.5.0 vervoegen 7.3.1 iniconfig 1.1.1
ipyflow-core 0.0.209 ipykernel 6.29.5 ipython 8.30.0
ipython-genutils 0.2.0 ipywidgets 7.8.1 isodate (ISO-datum) 0.7.2
isoduratie 20.11.0 jaraco.collections 5.1.0 jaraco.context 5.3.0
jaraco.functools 4.0.1 jaraco.text 3.12.1 Jedi 0.19.2
Jinja2 3.1.6 jiter 0.12.0 jmespath 1.0.1
joblib 1.4.2 json5 0.9.25 jsonpatch 1.33
jsonpointer 3.0.0 jsonschema 4.23.0 jsonschema-specifications 2023.7.1
jupyter-evenementen 0.12.0 jupyter-lsp 2.2.5 jupyter_client 8.6.3
jupyter_core 5.7.2 Jupyter-server 2.15.0 Jupyter-serverterminals 0.5.3
jupyterlab 4.3.4 jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3
jupyterlab_widgets 1.1.11 kiwisolver 1.4.8 langchain-core 1.2.6
langchain-openai 1.1.6 langsmith 0.6.1 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 litellm 1.75.9
markdown-it-py 2.2.0 MarkupSafe 3.0.2 spekje 3.26.2
matplotlib 3.10.0 matplotlib-inline 0.1.7 Mccabe 0.7.0
mdurl 0.1.0 onstemmen 3.1.2 mlflow-skinny 3.8.1
mmh3 5.2.0 more-itertools 10.3.0 msal (Microsoft Authentication Library) 1.34.0
msal-uitbreidingen 1.3.1 meervoudig woordenboek 6.1.0 mypy-extensions 1.0.0
nbclient 0.10.2 nbconvert 7.16.6 nbformat 5.10.4
nest-asyncio 1.6.0 nodeenv 1.10.0 notebook 7.3.2
notitieboek_shim 0.2.4 numpy 2.1.3 oauthlib 3.2.2
openai 2.14.0 opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1
opentelemetry-sdk 1.39.1 opentelemetry-semantische-conventies 0.60b1 orjson 3.11.5
Overschrijvingen 7.4.0 verpakking 24,2 Pandas 2.2.3
pandocfilters 1.5.0 parso 0.8.4 pathspec 0.10.3
Patsy 1.0.1 pexpect 4.8.0 kussen 11.1.0
ropje 25.0.1 platformdirs 4.3.7 plotly 5.24.1
plugachtig 1.5.0 prometheus_client 0.21.1 prompt-hulpmiddelenpakket 3.0.43
propcache 0.3.1 proto-plus 1.27.0 protocolbuffers 5.29.4
psutil 5.9.0 psycopg2 2.9.11 ptyprocess 0.7.0
pure-eval 0.2.2 py4j 0.10.9.9 pyarrow 21.0.0
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.71
pycparser 2.21 pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 2.10.6 pydantic_core 2.27.2
pyflakes 3.2.0 Pygments 2.19.1 PyGObject 3.48.2
pyiceberg 0.10.0 PyJWT 2.10.1 pyodbc 5.2.0
pyparsing 3.2.0 pyright 1.1.394 pyroaring 1.0.3
pytest 8.3.5 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.9.0.post0 python-dotenv 1.2.1
python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2 python-lsp-server 1.12.2
pytoolconfig 1.2.6 pytz 2024.1 PyYAML 6.0.2
pyzmq 26.2.0 verwijzen 0.30.2 regex 2024.11.6
Verzoeken 2.32.3 requests-toolbelt 1.0.0 rfc3339-validator 0.1.4
rfc3986-validator 0.1.1 rijk 13.9.4 touw 1.13.0
rpds-py 0.22.3 rsa 4.9.1 s3transfer 0.14.0
scikit-learn 1.6.1 Scipy (een wetenschappelijke bibliotheek voor Python) 1.15.3 geboren op zee 0.13.2
Send2Trash 1.8.2 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 78.1.1 shellingham 1.5.4
Zes 1.17.0 smmap 5.0.0 sniffio 1.3.0
gesorteerde containers 2.4.0 Soupsieve 2.5 sqlparse 0.5.5
ssh-import-id 5.11 stapelgegevens 0.6.3 sterretje 0.50.0
strictyaml 1.7.3 vasthoudendheid 9.0.0 afgerond 0.17.1
threadpoolctl 3.5.0 tiktoken 0.12.0 tinycss2 1.4.0
tokenize_rt 6.1.0 tokeniseerders 0.22.2 tomli 2.0.1
tornado 6.5.1 tqdm 4.67.1 Traitlets (Python library voor het configureren van Python-objecten) 5.14.3
typebeveiliging 4.3.0 typer-slim 0.21.1 types-python-dateutil 2.9.0.20251115
typinspectie 0.9.0 typuitbreidingen 4.12.2 tzdata 2024.1
ujson (een Python-bibliotheek voor snelle JSON-verwerking) 5.10.0 ongecontroleerde upgrades 0,1 URI-sjabloon 1.3.0
urllib3 2.3.0 uuid_utils 0.12.0 uvicorn 0.40.0
virtualenv 20.29.3 wadllib 1.3.6 wcwidth 0.2.5
webcolors 25.10.0 Webencoderingen 0.5.1 websocket-client 1.8.0
whatthepatch 1.0.2 wiel 0.45.1 wanneer 0.7.3
widgetsnbextension 3.6.6 omsloten 1.17.0 yapf 0.40.2
yarl 1.18.0 ritssluiting 3.21.0 zstandard 0.23.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.13)

Groeps-id Artefact-ID Versie
com.databricks databricks-connect_2.13 18.0.0
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.lihaoyi ammonite-compiler-interface_2.13.16 3.0.2
com.lihaoyi ammonite-compiler_2.13.16 3.0.2
com.lihaoyi ammonite-interp-api_2.13.16 3.0.2
com.lihaoyi ammonite-interp_2.13.16 3.0.2
com.lihaoyi ammonite-repl-api_2.13.16 3.0.2
com.lihaoyi ammonite-repl_2.13.16 3.0.2
com.lihaoyi ammonite-runtime_2.13.16 3.0.2
com.lihaoyi ammonite-util_2.13 3.0.2
com.lihaoyi fansi_2.13 0.5.0
com.lihaoyi os-lib_2.13 0.11.3
com.lihaoyi pprint_2.13 0.9.0
com.lihaoyi scalaparse_2.13 3.1.1
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
sh.almond channels_2.13 0.14.1-1
sh.almond interpreter-api_2.13 0.14.1-1
sh.almond interpreter_2.13 0.14.1-1
sh.almond jupyter-api_2.13 0.14.1-1
sh.almond kernel_2.13 0.14.1-1
sh.almond logger_2.13 0.14.1-1
sh.almond protocol_2.13 0.14.1-1
sh.almond scala-interpreter_2.13.16 0.14.1-1
sh.almond scala-kernel_2.13.16 0.14.1-1
sh.almond shared-directives_2.13 0.14.1-1
  • Last updated on