Databricks Runtime 8.1 (EoL)

Databricks ha rilasciato questa versione nel marzo 2021.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 8.1, basate su Apache Spark 3.1.1.

Miglioramenti e nuove funzionalità

• I nuovi operatori SQL riducono l'ETL complesso nelle stringhe JSON
• Controllare la visibilità degli elenchi di controllo di accesso alle tabelle
• Le nuove opzioni del caricatore automatico consentono prestazioni migliori
• Eseguire l'autenticazione ad Azure Synapse Analytics con OAuth 2.0 e un'entità servizio (anteprima pubblica)
• inserire manualmente colonne IDENTITY nelle tabelle di Azure Synapse Analytics
• Il caricatore automatico di Azure supporta ora l'autenticazione con un servizio principal per le operazioni di accodamento
• Tenere traccia dello stato di avanzamento del flusso con le metriche Kafka
• Monitora il progresso dello streaming con le metriche della fonte di streaming Delta Lake

I nuovi operatori SQL riducono l'ETL complesso nelle stringhe JSON

Due nuovi operatori SQL e:::consentono di estrarre facilmente dati da stringhe JSON.

• Per eseguire il cast dell'espressione in un tipo di dati, usare due punti ::. Ad esempio, invece di specificare cast(col as int), è ora possibile pronunciare col::int.
• Per estrarre campi da dati semistrutturati, usare un singolo punto :. Se si dispone di una colonna STRING contenente dati JSON, è possibile estrarre un campo da tale stringa JSON usando la sintassi <json-column>:<field> che estrae la chiave field dal <json-column> JSON come STRING. È possibile combinare questa operazione con la :: sintassi per eseguire il cast dei dati in un tipo specifico.

Ad esempio, se si hanno i dati JSON:

{
  "store": {
    "bicycle": {
      "price": 19.95,
      "color": "red"
    }
  }
}

e si crea una tabella store_data dai dati:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

l'istruzione SELECT raw:store.bicycle.price::double FROM store_data restituisce:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Per ulteriori dettagli, vedere Query sulle stringhe JSON.

Controllare la visibilità degli elenchi di controllo di accesso alle tabelle

Per evitare perdite di informazioni elencando tutti i permessi definiti in una tabella, è ora possibile eseguire l'istruzione SHOW GRANTS [<user>] <object> solo se si è:

• Un amministratore SQL di Databricks o il proprietario di <object>.
• L’utente specificato in [<user>].

Le nuove opzioni del caricatore automatico consentono prestazioni migliori

Il caricatore automatico supporta ora una nuova opzione cloudFiles.fetchParallelism per specificare il parallelismo per prelevare i messaggi dal servizio di coda.

Vedere Che cos'è l’Autoloader?.

Autenticarsi a Azure Synapse Analytics con OAuth 2.0 e un principal di servizio (Anteprima pubblica)

Il connettore Azure Synapse Analytics supporta ora l'autenticazione con OAuth 2.0 e un principal di servizio Microsoft Entra ID, consentendo alle applicazioni che richiedono l'autenticazione con un principal di servizio anziché utilizzare nome utente e password. Per altre informazioni, vedere Come funziona l'autenticazione tra Azure Databricks e Synapse? per il connettore Azure Synapse Analytics.

Inserire manualmente colonne IDENTITY nelle tabelle di Azure Synapse Analytics

Il connettore Azure Synapse Analytics supporta ora l'inserimento esplicito di valori nelle colonne IDENTITY nelle tabelle di Azure Synapse Analytics in base ai valori impostati nei dataframe. Questa funzionalità è supportata per gli inserimenti batch e di streaming e consente casi d'uso che richiedono valori di colonna IDENTITY personalizzati. Per informazioni dettagliate, vedere il parametro identityInsert nel connettore Azure Synapse Analytics riferimento alle opzioni del connettore Synapse di Azure Databricks.

Il caricatore automatico di Azure ora supporta l'autenticazione con un principale del servizio per le operazioni di gestione delle code.

È ora possibile eseguire l'autenticazione con un principale di servizio Microsoft Entra ID a cui sono state concesse autorizzazioni relative alla coda per le operazioni sulla coda con Auto Loader. Questa modifica rimuove il requisito precedente di usare un stringa di connessione per le operazioni di accodamento e un'entità servizio per le operazioni degli eventi e consente di usare un'entità servizio per entrambi i tipi di operazione. Per altre informazioni, vedere Che cos'è il caricatore automatico?.

Tenere traccia dello stato di avanzamento del flusso con le metriche Kafka

La fonte di streaming Kafka ora segnala il numero di offset che un consumer resta indietro rispetto all'ultimo dopo ogni batch. È possibile usare queste metriche per tenere traccia dello stato di avanzamento del flusso. Per informazioni dettagliate su come visualizzare le metriche, vedere Recuperare le metriche Kafka.

Monitorare il progresso del flusso con le metriche della sorgente di streaming Delta Lake

Un'origine di streaming Delta Lake ora segnala la quantità di backlog e il numero di file presenti nel backlog dopo ogni batch. È possibile usare queste metriche per tenere traccia dello stato di avanzamento del flusso. Per informazioni dettagliate su come visualizzare le metriche, vedere Metriche.

Aggiornamenti della libreria

• Libreria Python aggiornata:
  • Koalas aggiornati dalla versione 1.5.0 alla versione 1.6.0.
• Librerie Python appena installate:
  • plotly 4.14.3
  • Tentativi di ripetizione 1.3.3
• Aggiornamento di R alla versione 4.0.4 dalla versione 4.0.3.
• Aggiornamento di diverse librerie R installate. Visualizza le Librerie R installate.
• Libreria Java aggiornata:
  • jetty da 9.4.34.v20201102 a 9.4.36.v20210114
• Versione di OpenJDK 8 aggiornata a Zulu 8.52.0.23-CA-linux64 (compilazione 1.8.0_282-b08)

Apache Spark

Databricks Runtime 8.1 include Apache Spark 3.1.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 8.0 (EoL), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-34534] Correggere l'ordine dei blockIds quando si usa FetchShuffleBlocks per recuperare i blocchi
• [SPARK-34613] [SQL] Correggi un problema in cui la vista non acquisisce la configurazione degli hint disabilitati.
• [SPARK-34392] [SQL] Aggiungere il supporto per ZoneOffset +h:mm in DateTimeUtils. getZoneId
• [SPARK-34436] [SQL] Supporto DPP per l'espressione LIKE ANY/ALL
• [SPARK-34497] [SQL] Correggere i provider di connessioni JDBC predefiniti per ripristinare le modifiche del contesto di sicurezza JVM
• [SPARK-34543] [SQL] Rispettare la configurazione di spark.sql.caseSensitive durante la risoluzione delle specifiche di partizione in SET LOCATION v1
• [SPARK-34550] [SQL] Ignorare il valore Null di InSet durante il filtro push nel metastore Hive
• [SPARK-34531] [CORE] Rimuovere il tag API sperimentale in PrometheusServlet

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 8.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (aggiornato dalla versione 3.8.6 del 26 maggio 2021)
• R: R versione 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-11-02.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)