Usare il codice Genie per lo sviluppo di pipeline

Questa pagina presenta Genie Code per lo sviluppo di pipeline, un agente dati di intelligenza artificiale disponibile selezionando la modalità agente in Genie Code. Progettato in modo specifico per le pipeline dichiarative di Lakeflow Spark e l'editor di Pipelines Lakeflow, esplora i dati, genera ed esegue il codice della pipeline e corregge gli errori, tutti da un singolo prompt.

Che cos'è Genie Code per lo sviluppo di pipeline?

Genie Code in modalità agente è un partner autonomo che può automatizzare interi flussi di lavoro ingegneristici dei dati a più fasi in SDP e nell'editor di Pipelines Lakeflow.

Rispetto alla modalità chat Genie Code, la modalità agente ha ampliato le funzionalità: pianificazione di una soluzione, recupero di asset pertinenti, esecuzione di codice, uso di output della pipeline per migliorare i risultati, correggere gli errori automaticamente e altro ancora.

Genie Code in modalità agente può pianificare e generare intere pipeline end-to-end da zero o accelerare il lavoro su una pipeline esistente. L'agente collabora con l'utente per approvare i piani e confermare i passaggi successivi prima di procedere. Con l'approvazione, Genie Code può usare strumenti per eseguire attività come la ricerca di tabelle, la modifica di un file di origine SQL o Python, l'esecuzione di aggiornamenti della pipeline e la lettura dei set di dati della pipeline.

L'accesso e le azioni di Genie Code sono regolati dalle autorizzazioni dell'utente. Può accedere solo ai dati a cui si ha accesso ed eseguire operazioni per cui si dispone delle autorizzazioni.

Requisiti

Per usare Genie Code per la progettazione dei dati, l'area di lavoro richiede quanto segue:

• Funzionalità di intelligenza artificiale basate su partner abilitate sia per l'account che per l'area di lavoro. Consulta Funzionalità di AI supportate da partner.
• Anteprima della modalità agente di codice Genie abilitata. Vedere Gestire le anteprime di Azure Databricks.

Usare il codice Genie per lo sviluppo di pipeline

Per usare le funzionalità agentic di Genie Code per lo sviluppo di pipeline:

1. In Lakeflow Pipelines Editor aprire il pannello laterale Genie Code facendo clic Genie Code (Codice Genie ) nell'angolo superiore destro dell'area di lavoro.

2. Nell'angolo in basso a destra selezionare Agente. Questa opzione attiva o disattiva la modalità agente di Genie Code, consentendoti di usare le funzionalità di ingegneria dei dati agentic di Genie Code.

3. Immettere una richiesta per Genie Code.Enter a prompt for Genie Code. Ad esempio, è possibile porre delle domande sulla pipeline, come "descrivi questa pipeline". È anche possibile chiedere di aggiungere nuovi set di dati, ad esempio "creare silver_sales_data in un nuovo file che legge da bronze_sales_data e pulisce i dati e aggiunge aspettative di qualità utili".

   Annotazioni

   Genie Code rispetta le autorizzazioni del catalogo Unity dell'utente, in modo che possa accedere solo ai dati e all'origine della pipeline a cui si ha accesso.

4. Poiché Genie Code genera la risposta, spesso si sospende per ottenere l'input:

   • Per attività più complesse, Genie Code può creare un piano dettagliato e porre domande chiare. Rispondere alle sue domande chiare per aiutarlo a perfezionare il suo piano.

   • Quando Genie Code deve eseguire il codice o aggiornare una pipeline, richiede l'approvazione prima di procedere. Consenti o Rifiuta la richiesta. È anche possibile selezionare Consenti in questo thread (che fa riferimento al thread di conversazione Genie Code) o Consenti sempre.

     Importante

     Il codice Genie in modalità agente può generare ed eseguire codice nella pipeline. Mentre ha guardrail per prevenire azioni pericolose, c'è ancora rischio. È consigliabile usarlo solo con i dati attendibili ed esaminare il codice prima di eseguirlo.

   • Quando Genie Code continua il suo lavoro, potrebbe essere richiesto di selezionare Continua o Rifiuta. Esaminare il lavoro esistente, quindi selezionare Continua per consentire di continuare con i passaggi successivi o Rifiuta per indicare di provare qualcos'altro.

   • Per arrestare Genie Code mentre funziona, fare clic .

Genie Code può creare nuovi file, generare testo, query e codice, eseguire i file o le pipeline e accedere ai set di dati di output per interpretare i risultati.

Capacità

In modalità agente, Genie Code può essere utile per la maggior parte delle attività di sviluppo della pipeline. Le funzionalità principali includono:

• Individuazione dati: Genie Code può cercare tabelle nell'area di lavoro per trovare i dati necessari per un'attività.
• Modifiche al codice della pipeline: Genie Code può creare e modificare più file alla volta. Ti informa su quali file vengono modificati e mostra le differenze del codice in ogni file, in modo che tu possa esaminare le modifiche singolarmente o tutte insieme alla fine.
• Esecuzione della pipeline: Genie Code può eseguire singoli file, effettuare un dry run o eseguire la pipeline, oppure effettuare un aggiornamento completo. Quando Genie Code vuole procedere, richiede la conferma prima di farlo.
• Comprendere e migliorare il comportamento della pipeline: Genie Code può ispezionare i set di dati e gli output della pipeline per aiutarti a capire cosa fa una pipeline dall'inizio alla fine e perché. Ad esempio, può riepilogare le trasformazioni, tracciare il flusso dei dati nelle tabelle downstream ed evidenziare modifiche impreviste nei conteggi delle righe o negli schemi. Quando presenta potenziali problemi di qualità dei dati, Genie Code può aiutare a ragionare sulla loro causa e suggerire dove e come risolverli nella pipeline.

Queste funzionalità supportano casi d'uso comuni, ad esempio:

• Creazione di una nuova pipeline: Genie Code può essere utile per tutti i passaggi della creazione di una nuova pipeline di architettura medallion, dall'inserimento di dati, alla standardizzazione e alla pulizia dei dati, alla trasformazione e all'analisi dei dati.
• Spiegare una pipeline: Genie Code può analizzare e spiegare una pipeline esistente per aumentare rapidamente le prestazioni.
• Correzione dei problemi: quando si verificano errori, Genie Code può aiutare a diagnosticare e risolvere i problemi, iterando più file fino a quando il problema non viene risolto.

Esempi

Provare le istruzioni seguenti per iniziare:

• Compilare ed eseguire una pipeline dell'architettura medallion per il rilevamento delle frodi utilizzando le tabelle delle transazioni e dei clienti in my_catalog.my_schema.
• Spiega ogni passaggio di questa pipeline.
• Correggi il guasto in questa pipeline.

Passaggi successivi

• Altre informazioni sulle funzionalità assistive di intelligenza artificiale di Databricks
• Ottenere suggerimenti per migliorare le risposte al codice Genie
• Usare genie Code per l'analisi scientifica dei dati, per l'individuazione e l'esplorazione dei dati
• Usare Genie Code per la creazione di dashboard
• Esplorare l'editor delle pipeline di Lakeflow