Databricks Runtime 13.0 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 13.0, basate su Apache Spark 3.4.0.

Databricks ha rilasciato questa versione nell'aprile 2023.

Miglioramenti e nuove funzionalità

• Le espressioni H3 ora supportano aree geografiche lineari
• Ganglia sostituita con le metriche del cluster
• Spark 3.4.0 rilasciato
• Photon restituisce un errore se un file viene modificato tra la pianificazione della query e l'esecuzione
• Nuove funzionalità per l'I/O predittivo
• Supporto esteso per le funzionalità di I/O predittive
• Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks
• Opzioni Kafka aggiuntive per Structured Streaming con cluster condiviso nel catalogo Unity
• Ignorare le modifiche alla tabella Delta con Structured Streaming
• CREATE TABLE LIKE funzionalità per le tabelle Delta
• Nuovi campi della colonna di metadati che denonotano l'inizio e la lunghezza del blocco di file
• Nuove funzioni geospaziali H3
• Nuove funzioni integrate SQL
• %sql nei notebook di Python
• %pip non riavvia automaticamente Python
• Le librerie Python con ambito cluster vengono installate usando un utente non radice

Le espressioni H3 ora supportano aree geografiche lineari

Le h3_coverash3 funzioni e h3_coverash3string ora supportano aree geografiche lineari (linestring e multilinestring). Le funzioni producono un set di copertura minimo di celle H3 alla risoluzione specificata. Vedere h3_coverash3 e h3_coverash3string.

Ganglia sostituita con le metriche del cluster

Per Databricks Runtime versioni 13 e successive, le metriche Ganglia vengono sostituite con le metriche del cluster di Azure Databricks. Per Databricks Runtime versioni 12 e successive, è possibile continuare a usare le metriche Ganglia. Se si dispone di un flusso di lavoro che dipende dalle metriche Ganglia che non possono essere soddisfatte dalle metriche del cluster, contattare il team del tuo account di Azure Databricks. Vedere le metriche di calcolo

Spark 3.4.0 rilasciato

Apache Spark 3.4.0 è ora disponibile a livello generale. Vedere Spark Release 3.4.0.

Photon restituisce un errore se un file viene modificato tra la pianificazione della query e l'esecuzione

Le query photon restituiscono ora un errore se un file viene aggiornato tra la pianificazione delle query e l'esecuzione. Prima di questa modifica, Photon leggerebbe un file anche se il tempo di modifica cambia tra la pianificazione della query e l'esecuzione, il che potrebbe causare risultati imprevedibili.

Nuove funzionalità per l'I/O predittivo

Photon supporta ora finestre mobili, sia per le modalità ROWS che RANGE, usando {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

Supporto esteso per le funzionalità di I/O predittive

Photon ha esteso il supporto per le origini dati CSV, AVRO, e il caching dei DataFrame quando lo schema contiene esclusivamente colonne scalari. Il supporto viene esteso anche per i tipi annidati, ad esempio mappe, struct e matrici.

Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks

Il connettore Azure Databricks consente di connettersi alle risorse di calcolo configurate in un'altra area di lavoro e restituire i risultati all'area di lavoro corrente di Azure Databricks. Il driver JDBC di Azure Databricks è ora incluso in Databricks Runtime. Vedere Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks.

Opzioni Kafka aggiuntive per Structured Streaming con cluster condiviso nel catalogo Unity

È ora possibile usare le impostazioni kakfa.ssl.truststore.location e kafak.ssl.keystore.location per archiviare i certificati Kafka in posizioni esterne gestite dal catalogo Unity quando si usa Structured Streaming nei cluster di accesso condiviso. Non è possibile usare le posizioni nella radice del DBFS.

Ignorare le modifiche alla tabella Delta con Structured Streaming

È ora possibile usare skipChangeCommits per ignorare i commit di modifica dei dati nella tabella Delta per le operazioni UPDATE, MERGE e DELETE. In questo modo viene sostituito ignoreChanges, che è ora deprecato. Vedere Gestire le modifiche alle tabelle Delta di origine.

CREATE TABLE LIKE funzionalità per le tabelle Delta

CREATE TABLE LIKE è ora supportato quando si usano tabelle Delta.

Nuovi campi della colonna di metadati che denonotano l'inizio e la lunghezza del blocco di file

È ora possibile ottenere le seguenti informazioni sui metadati per i file di input con la colonna _metadata, file_block_start e file_block_length. Per ulteriori informazioni, vedere la colonna dei metadati del file.

Nuove funzioni geospaziali H3

Le nuove espressioni h3_coverash3 e h3_coverash3string sono disponibili per l'elaborazione geospaziale quando Photon è abilitato. Si veda Funzioni geospaziali H3.

Nuove funzioni predefinite SQL

Sono state aggiunte le funzioni seguenti:

• array_insert(matrice, indice, elem) Restituisce un oggetto espanso array in cui elem viene inserito nella index posizione.
• luhn_check(numStr) Restituisce true se numStr supera il controllo dell'algoritmoLuhn.

%sql nei notebook Python

Tutti i risultati non vuoti %sql nei notebook Python sono ora accessibili usando _sqldf o il sistema di memorizzazione nella cache dell'output di IPython. Questo semplifica l'utilizzo del risultato del dataframe in Python. Si tratta di una modifica del comportamento rispetto alle versioni precedenti di Databricks Runtime, poiché in passato, _sqldf non era sempre riassegnato.

_sqldf non viene riassegnato in un %sql risultato di cella se la cella è stata eseguita usando l'esecuzione parallela della cella SQL.

%pip non riavvia automaticamente Python

Dopo aver eseguito %pip i comandi all'interno di notebook Python che modificano virtualEnv, Databricks non riavvia più automaticamente il processo Python. Per riavviare il processo Python, chiamare dbutils.library.restartPython(). Con questa modifica, i comandi %pip in Databricks si comportano in modo analogo ai notebook di Jupyter e sono coerenti con i comandi !pip e %sh pip. Databricks consiglia %pip invece di !pip o %sh pip.

Le librerie Python con ambito cluster vengono installate usando un utente non radice

Le librerie vengono ora installate usando un utente non radice responsabile delle installazioni di librerie. Se desideri configurare il comportamento di installazione pip nei file di script di inizializzazione, usa il file a livello globale [https://pip.pypa.io/en/stable/topics/configuration/#configuration-files].

Correzioni di bug

• Nei %sh comandi sono state apportate le correzioni seguenti:
  • L'output contenente caratteri non UTF-8 è ora supportato.
  • I sottoprocessi vengono ora interrotti quando il comando viene annullato.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • asttokens da 2.0.5 a 2.2.1
  • nero da 22.3.0 a 22.6.0
  • boto3 da 1.21.32 a 1.24.28
  • botocore da 1.24.32 a 1.27.28
  • certifi dall'8.10.2021 al 14.9.2022
  • cffi da 1.15.0 a 1.15.1
  • crittografia da 3.4.8 a 37.0.1
  • Cython da 0.29.28 a 0.29.32
  • dbus-python da 1.2.16 a 1.2.18
  • docstring-to-markdown da 0.11 a 0.12
  • esecuzione da 0.8.3 a 1.2.0
  • facet-overview dalla versione 1.0.0 alla versione 1.0.2
  • fastjsonschema da 2.16.2 a 2.16.3
  • versione di filelock da 3.9.0 a 3.10.7
  • Il pacchetto ipykernel dalla versione 6.15.3 alla 6.17.1
  • ipython da 8.5.0 a 8.10.0
  • joblib da 1.1.1 a 1.2.0
  • jsonschema da 4.4.0 a 4.16.0
  • jupyter-client dalla versione 6.1.12 alla versione 7.3.4
  • kiwisolver da 1.3.2 a 1.4.2
  • matplotlib da 3.5.1 a 3.5.2
  • matplotlib-inline da 0.1.2 a 0.1.6
  • nbformat da 5.3.0 a 5.5.0
  • notebook dalla versione 6.4.8 alla versione 6.4.12
  • pandas da 1.4.2 a 1.4.4
  • Cuscino da 9.0.1 a 9.2.0
  • pip da 21.2.4 a 22.2.2
  • platformdirs dalla versione 2.6.2 alla versione 2.5.2
  • tracciato da 5.6.0 a 5.9.0
  • prometheus-client da 0.13.1 a 0.14.1
  • prompt-toolkit dalla versione 3.0.20 alla versione 3.0.36
  • psutil da 5.8.0 a 5.9.0
  • pyflakes versione da 2.5.0 a 3.0.1
  • PyGObject dalla versione 3.36.0 alla versione 3.42.1
  • pyparsing da 3.0.4 a 3.0.9
  • pyright da 1.1.283 a 1.1.294
  • python-lsp-server da 1.6.0 a 1.7.1
  • pytz dal 2021.3 al 2022.1
  • pyzmq da 22.3.0 a 23.2.0
  • richieste dalla versione 2.27.1 alla versione 2.28.1
  • corda da 0.22.0 a 1.7.0
  • s3transfer dalla versione 0.5.0 alla versione 0.6.0
  • scikit-learn dalla versione 1.0.2 alla versione 1.1.1
  • scipy da 1.7.3 a 1.9.1
  • setuptools da 61.2.0 a 63.4.1
  • ssh-import-id da 5.10 a 5.11
  • stack-data da 0.2.0 a 0.6.2
  • testpath da 0.5.0 a 0.6.0
  • tomli da 1.2.2 a 2.0.1
  • ujson da 5.1.0 a 5.4.0
  • urllib3 da 1.26.9 a 1.26.11
  • virtualenv da 20.8.0 a 20.16.3
  • whatthepatch da 1.0.4 a 1.0.2
  • ruota da 0.37.0 a 0.37.1
• Librerie R aggiornate:
  • freccia da 10.0.0 a 10.0.1
  • bit da 4.0.4 a 4.0.5
  • scopa da 1.0.1 a 1.0.3
  • bslib da 0.4.1 a 0.4.2
  • chron da 2.3-58 a 2.3-59
  • cli da 3.4.1 a 3.6.0
  • spazi di colore da 2.0-3 a 2.1-0
  • curl da 4.3.3 a 5.0.0
  • data.table da 1.14.4 a 1.14.6
  • dbplyr da 2.2.1 a 2.3.0
  • digest da 0.6.30 a 0.6.31
  • dplyr da 1.0.10 a 1.1.0
  • e1071 da 1.7-12 a 1.7-13
  • valutare da 0,18 a 0,20
  • fansi da 1.0.3 a 1.0.4
  • fontawesome da 0.4.0 a 0.5.0
  • forcats da 0.5.2 a 1.0.0
  • fs da 1.5.2 a 1.6.1
  • futuro da 1.29.0 a 1.31.0
  • gargle da 1.2.1 a 1.3.0
  • Aggiornamento di gert dalla versione 1.9.1 alla 1.9.2
  • glmnet da 4.1-4 a 4.1-6
  • globals da 0.16.1 a 0.16.2
  • Aggiornamento di gower dalla versione 1.0.0 alla versione 1.0.1
  • incremento da 0.9 a 0.10
  • htmltools da 0.5.3 a 0.5.4
  • htmlwidgets da 1.5.4 a 1.6.1
  • httpuv da 1.6.6 a 1.6.8
  • isoband da 0.2.6 a 0.2.7
  • jsonlite da 1.8.3 a 1.8.4
  • knitr dalla versione 1.40 alla versione 1.42
  • lava da 1.7.0 a 1.7.1
  • versioni listenv da 0.8.0 a 0.9.0
  • lubridate da 1.9.0 a 1.9.1
  • markdown da 1.3 a 1.5
  • modelr da 0.1.9 a 0.1.10
  • openssl dalla versione 2.0.4 alla versione 2.0.5
  • parallelamente da 1.32.1 a 1.34.0
  • pkgbuild da 1.3.1 a 1.4.0
  • pkgdown da 2.0.6 a 2.0.7
  • pkgload da 1.3.1 a 1.3.2
  • plyr da 1.8.7 a 1.8.8
  • progressr da 0.11.0 a 0.13.0
  • purrr da 0.3.5 a 1.0.1
  • ragg da 1.2.4 a 1.2.5
  • Rcpp da 1.0.9 a 1.0.10
  • readxl da 1.4.1 a 1.4.2
  • ricette da 1.0.3 a 1.0.4
  • rmarkdown da 2.18 a 2.20
  • RODBC da 1.3-19 a 1.3-20
  • roxygen2 da 7.2.1 a 7.2.3
  • RSQLite da 2.2.18 a 2.2.20
  • sass da 0.4.2 a 0.4.5
  • brillante da 1.7.3 a 1.7.4
  • sourcetools da 0.1.7 a 0.1.7-1
  • sparklyr da 1.7.8 a 1.7.9
  • SparkR dalla versione 3.3.2 alla versione 3.4.0
  • spaziale da 7.3-11 a 7.3-15
  • stringi da 1.7.8 a 1.7.12
  • stringr da 1.4.1 a 1.5.0
  • sopravvivenza da 3,4-0 a 3,5-3
  • testthat da 3.1.5 a 3.1.6
  • tidyr da 1.2.1 a 1.3.0
  • Aggiornamento del tempo da 0.1.1 a 0.2.0
  • timeDate da 4021.106 a 4022.108
  • tinytex da 0.42 a 0.44
  • utf8 da 1.2.2 a 1.2.3
  • vctrs da 0.5.0 a 0.5.2
  • vroom da 1.6.0 a 1.6.1
  • aggiornamento di whisker da 0.4 a 0.4.1
  • Il passaggio di xfun dalla versione 0.34 alla versione 0.37
  • yaml da 2.3.6 a 2.3.7
• Librerie Java aggiornate:
  • com.amazonaws.aws-java-sdk-autoscaling da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch dalla versione 1.12.189 alla versione 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch da 1.12.189 a 1.12.390
  • Aggiornamento della versione di com.amazonaws.aws-java-sdk-cloudwatchmetrics da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-config da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-core da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-directory da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ecs da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-efs da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-emr da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glacier da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-glue da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-iam da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-importexport da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-kms da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-lambda da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-logs da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-rds da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-redshift da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-route53 da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-s3 da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ses da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sns da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sqs da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-ssm da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-sts da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-support da 1.12.189 a 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces da 1.12.189 a 1.12.390
  • com.amazonaws.jmespath-java da 1.12.189 a 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations da 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-core da 2.13.4 a 2.14.2
  • com.fasterxml.jackson.core.jackson-databind da 2.13.4.2 a 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.4 a 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.4 a 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.4 a 2.14.2
  • com.github.luben.zstd-jni da 1.5.2-1 a 1.5.2-5
  • com.google.code.gson.gson da 2.8.6 a 2.8.9
  • com.google.crypto.tink.tink da 1.6.1 a 1.7.0
  • com.h2database.h2 da 2.0.204 a 2.1.214
  • com.jcraft.jsch da 0.1.50 a 0.1.55
  • com.ning.compress-lzf da 1.1 a 1.1.2
  • commons-fileupload.commons-fileupload da 1.3.3 a 1.5
  • dev.ludovic.netlib.arpack da 2.2.1 a 3.0.3
  • dev.ludovic.netlib.blas da 2.2.1 a 3.0.3
  • dev.ludovic.netlib.lapack da 2.2.1 a 3.0.3
  • io.delta.delta-sharing-spark_2.12 da 0.6.9 a 0.6.3
  • io.dropwizard.metrics.metrics-core da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-graphite da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks dalla versione 4.1.1 alla versione 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jmx da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-json da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-jvm da 4.1.1 a 4.2.10
  • io.dropwizard.metrics.metrics-servlets da 4.1.1 a 4.2.10
  • io.netty.netty-all dalla versione 4.1.74.Final alla versione 4.1.87.Final
  • io.netty.netty-buffer da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-codec da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-common da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-handler dalla versione 4.1.74.Final alla versione 4.1.87.Final
  • io.netty.netty-resolver da 4.1.74.Final a 4.1.87.Final
  • trasporto io.netty.netty da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-epoll da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.74.Final a 4.1.87.Final
  • io.netty.netty-transport-native-unix-common da 4.1.74.Final a 4.1.87.Final
  • joda-time.joda-time da 2.10.13 a 2.12.1
  • net.razorvine.pickle da 1.2 a 1.3
  • Versioni del software net.snowflake.snowflake-jdbc, da 3.13.29 a 3.13.22.
  • org.antlr.antlr4-runtime da 4.8 a 4.9.3
  • org.apache.ant.ant da 1.9.2 a 1.9.16
  • org.apache.ant.ant-jsch da 1.9.2 a 1.9.16
  • org.apache.ant.ant-launcher da 1.9.2 a 1.9.16
  • org.apache.arrow.arrow-format da 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-core da 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-memory-netty da 7.0.0 a 11.0.0
  • org.apache.arrow.arrow-vector da 7.0.0 a 11.0.0
  • org.apache.avro.avro da 1.11.0 a 1.11.1
  • org.apache.avro.avro-ipc da 1.11.0 a 1.11.1
  • org.apache.avro.avro-mapred da 1.11.0 a 1.11.1
  • org.apache.httpcomponents.httpclient da 4.5.13 a 4.5.14
  • org.apache.httpcomponents.httpcore da 4.4.14 a 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api da 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-api da 2.18.0 a 2.19.0
  • org.apache.logging.log4j.log4j-core da 2.18.0 a 2.19.0
  • org.apache.orc.orc-core da 1.7.8 a 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce da 1.7.8 a 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims da 1.7.8 a 1.8.2
  • org.apache.xbean.xbean-asm9-shaded da 4.20 a 4.22
  • org.apache.zookeeper.zookeeper da 3.6.2 a 3.6.3
  • org.apache.zookeeper.zookeeper-jute da 3.6.2 a 3.6.3
  • org.eclipse.jetty.jetty-client da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet da 9.4.46.v20220331 a 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator da 6.1.0.Final a 6.1.7.Final
  • org.mlflow.mlflow-spark dalla versione 2.1.1 alla versione 2.2.0
  • org.postgresql.postgresql da 42.3.3 a 42.3.8
  • org.roaringbitmap.RoaringBitmap da 0.9.25 a 0.9.39
  • org.roaringbitmap.shims da 0.9.25 a 0.9.39
  • org.rocksdb.rocksdbjni da 6.28.2 a 7.8.3
  • org.scala-lang.scala-compiler_2.12 da 2.12.14 a 2.12.15
  • org.scala-lang.scala-library_2.12 da 2.12.14 a 2.12.15
  • org.scala-lang.scala-reflect_2.12 da 2.12.14 a 2.12.15
  • org.scalanlp.breeze-macros_2.12 da versione 1.2 a 2.1.0
  • org.scalanlp.breeze_2.12 da 1.2 a 2.1.0
  • org.slf4j.jcl-over-slf4j da 1.7.36 a 2.0.6
  • org.slf4j.jul-to-slf4j da 1.7.36 a 2.0.6
  • org.slf4j.slf4j-api da 1.7.36 a 2.0.6
  • "org.threeten.threeten-extra" da 1.5.0 a 1.7.1
  • org.wildfly.openssl.wildfly-openssl da 1.0.7.Final a 1.1.3.Final
  • org.yaml.snakeyaml da 1.24 a 1.33

Apache Spark

Databricks Runtime 13.0 includono Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• Structured Streaming
• Spark Connect
• PySpark
• MLLIB
• SparkR
• Servizio server di cronologia e interfaccia utente dinamica
• Costruire

Spark SQL

Funzionalità

• Implementare il supporto per i valori DEFAULT per le colonne nelle tabelle (SPARK-38334)
• Aggiungere Dataset.as(StructType) (SPARK-39625)
• Supporto di SQL con parametri (SPARK-41271, SPARK-42702)
• Aggiungere unpivot/melt (SPARK-38864, SPARK-39876)
• Supporto di "riferimenti alias di colonna laterale" (SPARK-27561)
• Clausola di offset dei risultati di supporto (SPARK-28330, SPARK-39159)
• Supporto per il timestamp senza informazioni sul fuso orario (SPARK-35662)
• Supportare la sottoquery scalare nel tempo di spostamento (SPARK-39306)
• Rendere l'API catalogo compatibile con uno spazio dei nomi a 3 livelli (SPARK-39235)
• Supporto del timestamp in secondi per TimeTravel usando le opzioni del dataframe (SPARK-39633)
• Aggiungere SparkSession.config(Map) (SPARK-40163)
• Supporto della modifica del database predefinito del catalogo di sessioni (SPARK-35242)
• Supporto protobuf per Spark - from_protobuf AND to_protobuf (SPARK-40654)
• Aggiungere la clausola WHEN NOT MATCHED BY SOURCE a MERGE INTO (SPARK-40921)
• Allentare il vincolo di ordinamento per le opzioni di colonna CREATE TABLE (SPARK-40944)
• Equivalente SQL per il comando di sovrascrittura del dataframe (SPARK-40956)
• Supporto alla generazione senza necessità di output figlio per gestire riferimenti esterni (SPARK-41441)
• ORDER BY ALL (SPARK-41637)
• GROUP BY ALL (SPARK-41635)
• Aggiungere flatMapSortedGroups e cogroupSorted (SPARK-38591)
• Supportare sottoquery con predicati di non uguaglianza correlati (SPARK-36114)
• Supportare le sottoquery con la correlazione tramite UNION/INTERSECT/EXCEPT (SPARK-36124)

Conformità ANSI

• Modalità SQL ANSI: restituisce sempre Null per l'accesso non valido alla colonna di mapping (SPARK-40066)
• Supportare identificatori tra virgolette doppie (SPARK-40585)
• Modalità SQL ANSI: Round/Bround dovrebbe restituire un errore in caso di overflow intero (SPARK-42045)
• Supporto per la conversione di numeri interi in intervalli ANSI (SPARK-40008)
• Supporto del cast di decimali a intervalli ANSI (SPARK-40014)
• Restituire tipi di intervallo ANSI più ampi dalle funzioni percentili (SPARK-40151)
• Supporto alla conversione di intervalli ANSI in decimali (SPARK-39470)
• Supporto per il casting degli intervalli a integrali in modalità ANSI (SPARK-39451)
• Rafforzare l'utilizzo di SQLSTATE per le classi di errore (SPARK-41994)

Funzioni

• Supportare le funzioni del generatore con valori di tabella nella clausola FROM (SPARK-41594)
• Supporto della funzione di aggregazione ANSI: REGR_SXY (SPARK-37681)
• Supporto della funzione di aggregazione ANSI: REGR_R2 (SPARK-37641)
• Supporto della funzione di aggregazione ANSI: REGR_SXX (SPARK-37672)
• Supporto della funzione di aggregazione ANSI: REGR_SYY (SPARK-37702)
• Supporto della funzione di aggregazione ANSI: REGR_SLOPE (SPARK-39230)
• Supporto della funzione di aggregazione ANSI: REGR_INTERCEPT (SPARK-37623)
• Supportare la funzione di aggregazione ANSI PERCENTILE_CONT come funzione finestra (SPARK-38219)
• Supporto della funzione di aggregazione ANSI: PERCENTILE_DISC (SPARK-37691)
• Supporto della funzione SPLIT_PART (SPARK-38063)
• Supporto della funzione TRY_AVG (SPARK-38589)
• Supporto della funzione TRY_TO_BINARY (SPARK-38590)
• Supportare le funzioni SQL TO_NUMBER e TRY_TO_NUMBER in base a una nuova specifica (SPARK-38796)
• Supporta la specifica del valore generale ANSI e la funzione - USER (SPARK-39138)
• Supportare le funzioni TO_CHAR e TRY_TO_CHAR per formattare i valori decimali come stringhe (SPARK-28516)
• Supporto funzione di aggregazione ANY_VALUE (SPARK-39213)
• Supporto della funzione EQUAL_NUL (SPARK-39305)
• Supporto della funzione di aggregazione MEDIAN (SPARK-39320)
• Supporto della funzione REGEXP_COUNT (SPARK-39618)
• Supporto della funzione REGEXP_INSTR (SPARK-39744)
• Supporto della funzione REGEXP_SUBSTR (SPARK-39695)
• Supporto della funzione UNPIVOT (SPARK-39876)
• Supporto della funzione TRY_TO_TIMESTAMP (SPARK-39795)
• Supportare la codifica/decodifica dell'URL come funzione predefinita e riordinare le funzioni correlate all'URL (SPARK-39741)
• Supporto alla funzione di aggregazione MODE (SPARK-39808)
• Supporto della funzione GET (SPARK-40109)
• Aggiungere alias di funzione: LEN, DATEPART, DATEADD, DATE_DIFF, CURDATE (SPARK-40352)
• Migliorare la funzione TO_BINARY (SPARK-40112)
• Supporto CURRENT_SCHEMA (SPARK-41323)
• Supporto della funzione integrata di mascheramento dati MASK (SPARK-40687)
• Supporto per la funzione ad alto livello: ARRAY_COMPACT (SPARK-41235)
• Supporto della funzione ARRAY_APPEND (SPARK-41232)
• Supporto della funzione ARRAY_INSERT (SPARK-41234)
• Supporto della funzione LUHN_CHECK (SPARK-42191)
• Supporto di ARRAY_SORT(colonna, confronto) (SPARK-39925)

Origini dati

• Supporto delle statistiche delle colonne in DS v2 (SPARK-41378)
• Join partizionato di archiviazione (SPJ) in DS v2 (SPARK-37375)
• Operazioni a livello di riga in DS v2 (SPARK-35801)
• Aggiungere il mix-in SupportsReportOrdering nell'interfaccia per la scansione DS v2 (SPARK-38647)
• Determinazione del tipo DATE per lo schema CSV (SPARK-39469)
• Supporto delle metriche dei driver nell'API metrica personalizzata DS v2 (SPARK-39635)
• La funzione DS v2 supporta la distribuzione e l'ordinamento nella scrittura (SPARK-39607)
• StringEndsWith/Contains supporta il push verso Parquet in modo da poter sfruttare il filtro del dizionario (SPARK-39002)
• Supporto UDT nel lettore vettoriale Spark Parquet (SPARK-39086)
• Estendere la colonna METADATA per supportare gli indici di riga per i file Parquet (SPARK-37980)
• Supporto alla lettura del tipo parquet FIXED_LEN_BYTE_ARRAY (SPARK-41096)
• Ottimizzare l'ordine dei predicati di filtro (SPARK-40045)
• Supportare le query CTE e le tabelle temporanee con MSSQL JDBC (SPARK-37259)
• Supporto di ignoreCorruptFiles e ignoreMissingFiles nelle opzioni origine dati (SPARK-38767)
• Estrarre la scrittura v1 in WriteFiles (SPARK-41407)
• Aggiungere spaziatura di caratteri della parte di lettura per coprire i file di dati esterni (SPARK-40697)

Ottimizzazione delle query

• Unire sottoquery scalari non correlate (SPARK-34079)
• Abilitare i join del filtro Bloom per impostazione predefinita (SPARK-38841)
• Rimuovere valori distinti non necessari nell'espressione di aggregazione da distinctKeys (SPARK-38832)
• Supporto del pushdown del predicato e dell'eliminazione delle colonne per le CTE deduped (SPARK-37670)
• Rimuovere outer join se le funzioni di aggregazione sono indipendenti dai duplicati sul lato in streaming (SPARK-38886)
• Rimuovi l'outer join sinistro/destro se sono selezionate solo le colonne dal lato sinistro/destro e le chiavi di join sull'altro lato sono uniche (SPARK-39172)
• Ottimizzare il sort globale verso RepartitionByExpression (SPARK-39911)
• Ottimizzare la regola TrasponiWindow (SPARK-38034)
• Migliorare EliminaSorts per supportare la rimozione degli ordinamenti tramite LocalLimit (SPARK-40050)
• Eseguire il push del limite locale su entrambi i lati se la condizione di join è vuota (SPARK-40040)
• Aggiungere PushProjectionThroughLimit per Optimizer (SPARK-40501)
• Supporto di PIVOT/UNPIVOT con unione dei componenti figli (SPARK-41195)
• Supportare l'eliminazione delle colonne con più filtri non deterministici (SPARK-41017)
• Migliorare il partizionamento e l'ordinamento dell'output con la cache AQE (SPARK-41048)
• Migliorare le prestazioni del multi-simile creando un predicato dell'albero di espressioni bilanciato (SPARK-41167)
• Rimuovere l'ordinamento se è figlio di RepartitionByExpression (SPARK-36703)
• Usare le statistiche delle colonne disponibili dalle fasi di query completate (SPARK-39991)
• Riutilizzare le espressioni in WindowSpecDefinition (SPARK-41805)
• Migliorare AliasAwareOutputPartitioning e AliasAwareQueryOutputOrdering per tenere conto di tutti gli alias (SPARK-40086, SPARK-42049)
• Applicare un limite attraverso le UDF di Python (SPARK-42115)

Generazione di codice ed esecuzione di query

• Impostare defaultJoin in BroadcastNestedLoopJoinExec in esecuzione in parallelo (SPARK-40487)
• Supporto di Codegen per HiveGenericUDF (SPARK-42051)
• Introdurre shuffle in SinglePartition (SPARK-41986)
• Rende il supporto DPP compatibile con il lato di potatura che include Union (SPARK-39217)

Altre modifiche rilevanti

• Supportare la raccolta di statistiche delle partizioni automatiche (SPARK-38573)
• Formattare i messaggi di errore nel server Thrift (SPARK-40098)
• Aggiungere un'API di estensione per pianificare la normalizzazione per la memorizzazione nella cache (SPARK-41183)
• Eseguire il refactoring dei tipi Spark introducendo tipi fisici (SPARK-41226)
• Supporto per i campi OneOf e controllo della ricorsione (SPARK-41396)
• Centralizzare la logica di risoluzione delle colonne (SPARK-41405)
• Migliorare la convalida delle modifiche del piano (SPARK-42081)
• Introdurre SparkPath per la sicurezza dei tipi (SPARK-41970)
• Generare un'eccezione per db_name.view_name durante la creazione della visualizzazione temporanea dall'API del set di dati (SPARK-41090)
• Modificare il valore predefinito dell'argomento della funzione Mask da -1 a NULL (SPARK-42070)

Spark Core

Disattivazione

• Evitare il riavvio non necessario delle attività su un executor dismesso perso se i dati di shuffle sono stati migrati (SPARK-41469)
• Ignorare l'errore di richiamo dei dati della fase causato dall'executor dismesso (SPARK-40481)
• Abilitare spark.storage.decommission.(rdd|shuffle)Blocks.enabled per impostazione predefinita (SPARK-40198)
• Aggiunta del supporto per il decommissionamento YARN quando ESS è disabilitato (SPARK-30835)

Pianificatore

• Rendere la pianificazione delle fasi compatibile con la modalità cluster locale (SPARK-41949)
• Supporto del profilo delle risorse delle attività a livello di fase per il cluster autonomo quando l'allocazione dinamica è disabilitata (SPARK-39853)
• Ritardare onDisconnected per consentire al Driver di ricevere ExecutorExitCode (SPARK-39957)
• Migliorare la speculazione tramite le metriche delle attività di fase (SPARK-32170)
• Aggiungere il supporto per la pianificazione delle risorse a livello di fase per il cluster autonomo (SPARK-39062)
• Migliorare il processo LaunchTask per evitare errori di fase causati da messaggi LaunchTask non riusciti (SPARK-39955)

Cambiare

• Aggiungere metriche di lettura Push Based Shuffle lato client (SPARK-36620)
• Metriche lato server per lo shuffle basato su push (SPARK-33573)
• Assicurarsi che mergedShuffleCleaner sia stato arrestato prima della chiusura del database (SPARK-40186)
• Aggiungere il supporto di RocksDB per il servizio di shuffle nell'archivio di stato (SPARK-38888)
• Incapsulare LevelDB utilizzato per archiviare lo stato shuffle remoto/esterno come database (SPARK-38909)
• Abilitare spark.dynamicAllocation.shuffleTracking.enabled come impostazione predefinita (SPARK-3984)
• Abilitare il servizio shuffle basato su push per archiviare lo stato nel database a livello di NM per il riavvio con mantenimento del lavoro (SPARK-33236)
• Rimuovere blocchi shuffle usando il servizio shuffle per gli executor rilasciati (SPARK-37618)

Altre modifiche rilevanti

• Supportare l'ambiente solo IPv6 (SPARK-39457)
• Abilitare spark.kryo.unsafe per impostazione predefinita (SPARK-42137)
• Non consentire un classpath personalizzato arbitrario con l'utente proxy in modalità cluster (SPARK-41958)
• Evitare la nuova registrazione di BlockManager se l'executor è stato perso (SPARK-41360)
• Rimuovere la limitazione che il risultato di una singola attività deve rientrare in 2 GB (SPARK-40622)
• Rimuovere il supporto delle configurazioni spark.akka.* deprecate (SPARK-40401)
• Modificare la registrazione predefinita in stderr in modo che sia coerente con il comportamento di log4j (SPARK-40406)
• Escludere i metadati DirectTaskResult durante il calcolo delle dimensioni dei risultati (SPARK-40261)
• Consenti la personalizzazione del numero di partizioni iniziali nel comportamento take() (SPARK-40211)
• Usare il blocco interrompibile anziché sincronizzato in Executor.updateDependencies() (SPARK-40235)
• Il fallimento dell'attività deve sempre attivare i listener di fallimenti delle attività (SPARK-40106)
• Aggiungere la possibilità di disabilitare in modo selettivo il monitoraggio o il polling (SPARK-36462)
• Non memorizzare nella cache le relazioni di trasmissione non serializzate sul driver (SPARK-39983)
• Correzione del deadlock tra TaskMemoryManager e UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• Presentare le partizioni di numeri in una fase a TaskContext (SPARK-38679)
• Rendere configurabile il fattore di overhead della memoria (SPARK-38194)
• Evitare di usare bash -c in ShellBasedGroupsMappingProvider (SPARK-38992)

Streaming Strutturato

Funzionalità principali

• Tracciamento del progresso asincrono (SPARK-39591)
• Elaborazione arbitraria con stato python in structured streaming (SPARK-40434)
• Supporto Protobuf in Structured Streaming (SPARK-40653)
• Correzione del filtro dei record in ritardo per supportare il concatenamento degli operatori con stato (SPARK-40925)

Altre modifiche rilevanti

• Introduzione a un gestore di file checkpoint per lo streaming basato sull'interfaccia Abortable di Hadoop (SPARK-40039)
• Deprecare Trigger.Once e Promuovere Trigger.AvailableNow (SPARK-39805)
• Esporre le informazioni della tabella del catalogo al piano logico nella query di streaming (SPARK-39564)
• Supporto per la raccolta di metriche dai sink di streaming (SPARK-38564)
• Deprecare l'API DStream (SPARK-42075)
• Invertire il valore predefinito della configurazione di recupero offset Kafka (SPARK-40844)
• Fornire una sessione Spark clonata nel dataframe nella funzione utente per il sink foreachBatch in PySpark (SPARK-41379)

Spark Connect

Python Client

• Implementare l'API DataFrame (SPARK-41279)
• Implementare l'API Column (SPARK-41282)
• Implementare l'API funzioni (SPARK-41283)
• Implementare l'API SparkSession (SPARK-41281)
• Implementare l'API di I/O (SPARK-41284)
• Implementare l'API catalogo (SPARK-41289)
• Supporto per le funzioni definite dall'utente in Python (SPARK-41661)
• Supporto per l'API di funzione Pandas/Arrow (SPARK-42393)
• Supporto per la configurazione SQL di runtime (SPARK-42499)
• Creare, impacchettare e infrastruttura per Spark Connect (SPARK-41286)
• Annotazioni dei tipi per il client Python Spark Connect (SPARK-40451)

Scala Client

• Implementare il client Scala di base (SPARK-41534, SPARK-42133, SPARK-42043, SPARK-41822)
• Implementare l'API SparkSession (SPARK-42639, SPARK-42581, SPARK-42564, SPARK-42544, SPARK-42631)
• Implementare l'API Dataframe (SPARK-42440, SPARK-42559, SPARK-42558, SPARK-42556, SPARK-42468, SPARK-42529, SPARK-42561, SPARK-42894, SPARK-41874, SPARK-42691, SPARK-42692, SPARK-42481, SPARK-42541, SPARK-42542, SPARK-42520, SPARK-41823)
• Implementare l'API Colonna (SPARK-42441, SPARK-42560)
• Implementare l'API funzioni (SPARK-42461, SPARK-42579, SPARK-42527, SPARK-42531, SPARK-42495, SPARK-42557)
• Implementare l'API di I/O (SPARK-42457, SPARK-42555, SPARK-42690, SPARK-42878, SPARK-42757, SPARK-42482, SPARK-42733, SPARK-42518)
• Implementare la configurazione SQL di runtime (SPARK-42586)
• Supporto della funzione definita dall'utente di base (SPARK-42283, SPARK-42653, SPARK-42543)
• Supporto dell'API tipizzata di base (SPARK-42580, SPARK-42605)
• Testare l'infrastruttura per Spark Connect (SPARK-42172, SPARK-42377, SPARK-42599)
• Implementare il supporto REPL (SPARK-42656, SPARK-42884)

PySpark

API Pandas su Spark

• Miglioramento principale
  • Elaborazione arbitraria con stato python in structured streaming (SPARK-40434)
  • Implementare i parametri mancanti dell'API Pandas (SPARK-42883)
  • Supporto di Pandas 1.5 (SPARK-40576)
• Funzionalità principale
  • Implementare Series.searchsorted (SPARK-40330)
  • Implementare Series.autocorr (SPARK-38774)
  • Implementare DataFrame.mode (SPARK-40138)
  • Implementare DataFrame.boxplot e DataFrame.plot.box (SPARK-38993)
  • Implementare DataFrame.corrwith (SPARK-38907)
  • Implementare DataFrame.resample e Series.resample (SPARK-39081)
  • Implementare DataFrame.interpolate e Series.interpolate (SPARK-38844)
  • Implementare DataFrame.ewm e Series.ewm (SPARK-38785)
  • Implementare GroupBy.prod (SPARK-40334)
  • Implementare GroupBy.nth (SPARK-40333)
  • Implementare GroupBy.quantile (SPARK-40332)
  • Implementare GroupBy.sem (SPARK-40305)
  • Implementare GroupBy.mad (SPARK-39284)
  • Implementare GroupBy.skew (SPARK-39246)
  • Implementare GroupBy.ewm (SPARK-39129)
  • Supportare GroupBy per indicizzazione posizionale (SPARK-38947)

Altre modifiche rilevanti

• Miglioramenti principali
  • Fornire un profiler di memoria per le funzioni definite dall'utente pySpark (SPARK-40281)
  • Rendere l'API catalogo compatibile con uno spazio dei nomi a 3 livelli (SPARK-39235)
  • Supporto dell'input NumPy in PySpark (SPARK-39405)
  • Miglioramenti nella gestione degli errori di PySpark (SPARK-41597)
• Funzionalità principali
  • Supporto di SQL con parametri in PySpark (SPARK-41666)
  • Implementare la funzione 'median' (SPARK-40003)
  • Implementare la funzione 'mode' (SPARK-40007)
  • Implementare la funzione 'unpivot/melt' (SPARK-39877)
  • Supporto di Varchar in PySpark (SPARK-39760)
  • Supporto di CharType in PySpark (SPARK-39809)

MLLIB

• Implementare il server di distribuzione PyTorch (SPARK-41589)
• Unificare la convalida dei dati (SPARK-38584)
• Ridurre le dimensioni casuali di ALS (SPARK-40476, SPARK-40745)
• Funzionalità duplicate di regressione isotonica Dedup (SPARK-41008)
• KMeans bloccano i vettori di input (SPARK-30661)
• Aggiungere un punteggio di pertinenza per la valutazione nDCG (SPARK-39446)

SparkR

• Aggiungere unpivot/melt (SPARK-41267)
• Aggiungere array_sort(column, comparator) (SPARK-40167)
• Supportare l'eliminazione di più "colonne" in R (SPARK-40087)
• Supporto di Arrow 9.0.0 con SparkR (SPARK-40114)
• Rendere compatibile l'API del catalogo con uno spazio dei nomi a 3 livelli (SPARK-39579, SPARK-39646, SPARK-39645, SPARK-39236, SPARK-39716, SPARK-39719)
• Supporto di R 4.2.0 (SPARK-39372)

Servizio server di cronologia e interfaccia utente dinamica

• Migliore scalabilità dell'interfaccia utente Spark e stabilità dei driver per applicazioni di grandi dimensioni (SPARK-41053)
• Usare RocksDB per spark.history.store.hybridStore.diskBackend per impostazione predefinita (SPARK-42277)
• Raggruppare le esecuzioni annidate nell'esecuzione radice (SPARK-41752)
• Visualizzare le proprietà delle metriche nella scheda ambiente (SPARK-39110)
• Risoluzione delle dimensioni di input della StagePage e dei record non visualizzati quando i record sono maggiori di zero (SPARK-34777)
• Migliorare le prestazioni jsonProtocol di registrazione degli eventi usando Jackson anziché Json4s (SPARK-39489)
• Supporto di spark.history.fs.update.batchSize (SPARK-39225)

Costruire

• Aggiornare cloudpickle alla versione 2.2.0 (SPARK-40991)
• Deprecare il supporto di Python 3.7 (SPARK-39861)
• Supporto di Python 3.11 (SPARK-41454)
• Aggiornare dev.ludovic.netlib alla versione 3.0.2 (SPARK-40251)
• Aggiornare Breeze alla versione 2.0 (SPARK-39616)
• Aggiornare la versione slf4j alla versione 2.0.6 (SPARK-41561)
• Aggiornare la versione kubernetes-client alla versione 6.4.1 (SPARK-42362)
• Aggiornare rocksdbjni a 7.9.2 ( SPARK-42129)
• Aggiornare Apache Arrow alla versione 11.0.0 (SPARK-42161)
• Aggiornare Apache Kafka alla versione 3.3.2 (SPARK-42109)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 13.0.

Ambiente di sistema

• Sistema operativo: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2023-02-10.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)