Analizzare l'efficacia dell'agente conversazionale

La pagina Analytics in Copilot Studio offre informazioni dettagliate aggregate sull'efficacia complessiva dell'agente nelle sessioni analytics. La pagina è suddivisa in aree principali incentrate su contesti di prestazioni diversi. La pagina visualizza anche un'area Panoramica che fornisce metriche kpi (Key Performance Indicator) di alto livello per l'agente, un'area Risparmio che analizza il tempo e i risparmi sui costi attribuibili all'agente o agli strumenti dell'agente e un'area Riepilogo che fornisce informazioni analitiche chiave sulle prestazioni dell'agente.

Per ulteriori informazioni su:

• Le aree Riepilogo e Panoramica , vedere Panoramica dell'analisi
• L'area Risparmio , vedere Analizzare il tempo e i risparmi sui costi per gli agenti

Ci sono sei aree principali su cui concentrarsi quando si esamina e si migliora l'efficacia dell'agente conversazionale:

• Temi: i temi consentono di ottenere informazioni dettagliate sull'analisi raggruppando le domande degli utenti nelle categorie suggerite dall'intelligenza artificiale.
• Risultati della conversazione: conoscere il risultato finale di una conversazione consente di iniziare a identificare dove l'agente ha esito positivo e dove ha bisogno di miglioramento.
• Agenti: vedi le metriche del volume di chiamate, percentuali di esito positivo e stato corrente per gli agenti figlio e connessi.
• Tasso di risposta generato e qualità: comprendere quando l'agente fa fatica a fornire risposte alle domande degli utenti e come usa le fonti di conoscenza può aiutare a trovare modi per migliorare la frequenza e la qualità delle risposte dell'agente.
• Uso degli strumenti: imparare con quale frequenza vengono usati gli strumenti e la frequenza con cui hanno successo può aiutare a capire se questi strumenti sono utili e di successo per gli utenti.
• Soddisfazione: la revisione dei commenti e suggerimenti degli utenti consente di identificare nuovi scenari utente e problemi e apportare miglioramenti direttamente in base alle richieste degli utenti.

Puoi visualizzare l'analisi degli eventi che si sono verificati negli ultimi 90 giorni.

Risultati conversazione

La sezione Risultati conversazione mostra un grafico che tiene traccia del tipo di risultato per ogni sessione tra l'agente e gli utenti.

Il grafico, visualizzato come istogramma in pila o un grafico ad area in pila, visualizza i volumi relativi di risultati, codificati a colori e raggruppati per tipo. Ogni oggetto Risolto, Inoltrato, Abbandonato e Non coinvolto è rappresentato dai rispettivi colori per ogni punto dati. L'asse y indica il numero di sessioni.

Per visualizzare le metriche sui singoli risultati specifici di un punto dati (un giorno specifico), passa il puntatore su un'area che rappresenta il colore di un risultato di interesse (ad esempio, verde acqua per Abbandonato) nel giorno a cui si è interessati. Nell'esempio sono state abbandonate 90 sessioni che rappresentano il 35,6% di tutti i risultati della sessione il 24 novembre.

Nella legenda sotto il grafico passa il puntatore del mouse su una delle etichette dei risultati per evidenziare tale risultato nel grafico.

Seleziona (attiva o disattiva) una o più etichette della legenda per visualizzare o nascondere i risultati dal grafico ad area impilata. Esegui questa operazione per aggiungere maggiore chiarezza ai risultati che rimangono quando:

• Le singole righe dei risultati appaiono vicine tra loro.
• Desideri vedere più chiaramente quando le linee di tendenza sono positive o negative, ma l'aggregazione dei risultati impilati nel grafico sta appianando queste linee di tendenza.

Nell'esempio seguente le etichette Riassegnato e Disimpegnato sono state rimosse dal grafico. La descrizione comando mostra che sono state abbandonate 95 sessioni il 23 novembre, che rappresenta il 60,5% dei risultati visibili rimanenti nel grafico (essendo la somma dei risultati Risolti + Abbandonati).

Per scaricare i dati dei risultati della conversazione (dati visualizzati nel grafico), selezionare l'icona del menu e selezionare Scarica CSV.

Per aprire un pannello laterale con informazioni dettagliate sui risultati della conversazione, seleziona Visualizza dettagli nel grafico. Il pannello laterale Risultati della conversazione include:

• Una ripartizione del grafico a torta degli esiti della sessione, che indica la ponderazione relativa (espressa come percentuale) degli esiti Risolto, Escalato e Abbandonato.
• Grafico a barre in pila che mostra il peso relativo, espresso in percentuale, dei motivi dei risultati Risolto confermato e Risolto implicito che descrivono tutti i risultati delle sessioni risolte.
• Grafico a barre impilate che mostra il peso relativo (espresso come percentuale) dei motivi di risultato Previsto dal sistema, Non previsto dal sistema e Richiesto dall'utente che descrivono tutti i risultati delle sessioni escalate.
• Argomenti principali che hanno portato a ogni risultato.

Una sessione rientra in uno dei due stati seguenti:

• Non impegnata: una sessione inizia quando un utente interagisce con il tuo agente o l'agente invia un messaggio proattivo all'utente. La sessione inizia in uno stato non impegnato.

• Attivato: l'utente interagisce attivamente con l'agente. Esiste una differenza nel comportamento in base alla modalità di orchestrazione dell'agente.

  • Orchestrazione classica: una sessione viene attivata quando viene attivato uno degli argomenti seguenti:

    • Argomento personalizzato attivato direttamente dall'utente
    • Escalare argomento
    • Argomento di fallback
    • Argomento per migliorare la conversazione

  • Orchestrazione di intelligenza artificiale generativa: una sessione viene attivata quando un utente attiva direttamente un piano e include uno degli elementi seguenti:

    • Argomento non di sistema
    • Escalare argomento
    • Argomento di fallback
    • Fonte di conoscenza
    • Strumento

Una sessione impegnata ha uno dei seguenti risultati:

È anche possibile impostare il risultato per gli strumenti con il conversationOutcome parametro usando l'editor del codice dello strumento. Ad esempio conversationOutcome: ResolvedConfirmed per successo confermato o conversationOutcome: ResolvedImplied per successo implicito.

Consulta la documentazione delle linee guida sulla misurazione del coinvolgimento per suggerimenti e migliori pratiche su come misurare e migliorare il coinvolgimento.

Agenti

L'elenco Agenti visualizza metriche di volume, prestazione e stato di alto livello per gli agenti connessi e gli agenti figlio dell'agente principale. L'elenco identifica il tipo di relazione che l'agente elencato deve avere all'agente principale nella colonna Tipo. Se un agente è un agente figlio, il tipo è Child. Gli agenti connessi hanno un tipo elencato che riflette la posizione in cui sono stati creati( ad esempio, Copilot Studio, Azure AI Foundry). La metrica Chiamate per ogni agente elencato descrive il volume di chiamate dall'agente principale all'agente connesso o figlio. La Percentuale di successo riflette la percentuale di chiamate (come % di tutte le chiamate) completate correttamente. Lo stato indica il singolo stato amministrativo per ogni agente connesso e figlio.

Per impostazione predefinita, l'elenco Agenti visualizza i primi cinque (5) agenti connessi e figlio dell'agente principale, classificati in base al numero totale di domande (dal più alto al più basso). Se sono presenti più di cinque agenti, seleziona Visualizza tutto per visualizzare tutti gli agenti.

Percentuale e qualità delle risposte generate (anteprima)

Con le risposte generative, l'agente può usare l'intelligenza artificiale per generare risposte alle query degli utenti usando le origini delle informazioni e le istruzioni fornite. Tuttavia, l'agente potrebbe non essere in grado di rispondere a tutte le query utente. La sezione Percentuale di risposte generate e qualità tiene traccia, organizza e analizza le query senza risposta e la qualità delle risposte per fornire indicazioni per migliorare le prestazioni di risposta dell'agente.

La frequenza delle risposte mostra il numero di domande risposte e senza risposta entro il periodo di tempo selezionato e la variazione percentuale nel tempo.

La qualità delle risposte misura la qualità delle risposte usando l'intelligenza artificiale. Copilot Studio esamina un set di esempi di domande risposte e analizza diverse qualità, tra cui completezza, pertinenza e livello di base di una risposta. Se la risposta soddisfa uno standard impostato, Copilot Studio etichetta la risposta come Good qualità. Copilot Studio etichetta come di scarsa qualità le risposte che non soddisfano tale standard. Per le risposte Poor, Copilot Studio assegna un motivo per la classificazione di qualità e mostra la percentuale di risposte assegnate a ogni categoria.

Passa il puntatore del mouse su qualsiasi segmento di una barra nel grafico per visualizzare il peso relativo di un singolo motivo per un'etichetta Buono o Scarso. La descrizione comando indica anche il numero di risposte campionate per arrivare al valore della percentuale calcolata.

Nella legenda sotto il grafico passa il puntatore del mouse su uno dei motivi dell'etichetta di qualità per evidenziare tale motivo nel grafico.

Selezionare Visualizza domande per visualizzare un elenco non filtrato di tutte le domande nel periodo di tempo configurato.

Selezionare Visualizza dettagli per aprire un pannello laterale con percentuali di risposte alle domande, utilizzo dell'origine delle informazioni e percentuali di errore nel periodo di tempo selezionato. Puoi utilizzare questi grafici per identificare le origini della conoscenza che funzionano meglio per aiutare gli utenti e quelle su cui puntare per i miglioramenti.

Se l'agente dispone di agenti figlio, nel pannello laterale, seleziona Tutti per visualizzare le metriche per gli agenti principali e figlio: Agente principale per le metriche relative solo all'agente principale oppure Agente figlio per le metriche solo relative solo all'agente figlio.

• Le domande senza risposta mostrano i motivi per cui l'agente non ha risposto a una query utente.
• Utilizzo dell'origine della conoscenza mostra la percentuale di sessioni che hanno utilizzato ogni origine della conoscenza a cui l'agente ha accesso.
• Tutte le origini mostrano la percentuale di domande che hanno usato ogni origine delle informazioni.
• Errors mostra la percentuale di query che hanno generato un errore correlato alle informazioni per ogni tipo di origine della knowledge base, ad esempio SharePoint.

In Tutte le origini seleziona una singola origine per visualizzare altre informazioni a livello di una delle fonti di informazioni elencate. La descrizione comando include:

• Numero totale di domande che hanno fatto riferimento a questa fonte di conoscenza e numero di reazioni Mi piace e Non mi piace.
• Grafico a barre in pila che mostra la suddivisione della qualità delle ponderazioni relative alle risposte per le domande che fanno riferimento a questa fonte di conoscenza. Passa il puntatore del mouse su qualsiasi segmento del grafico a barre per visualizzare il valore della ponderazione relativa al segmento e il numero di domande campionate per raggiungere a tale valore.

Approfondire un elenco di domande degli agenti

Eseguire il drill-down per visualizzare domande specifiche che hanno contribuito a una metrica e al contesto di supporto, ad esempio come l'agente ha risposto, il modo in cui gli utenti hanno reagito e quali origini informazioni sono state coinvolte. Questa visualizzazione offre informazioni più dettagliate sulla qualità della risposta e consente di identificare possibili lacune nella copertura delle conoscenze.

Il drill-down per l'elenco delle domande è attualmente supportato per i pannelli di metriche seguenti: Percentuale di risposte generate e qualità euso dell'origine delle informazioni.

Per eseguire il drill-down nell'elenco delle domande:

• Nel pannello Percentuale di risposte generate e qualità selezionare Visualizza domande.
• Nel pannello Percentuale di risposte generate e qualità passare il puntatore del mouse e selezionare il segmento barra delle risposte Buono o Povero .
• Nel pannello Percentuale di risposte e qualità generate selezionare la metrica percentuale di domande "Risposte" o "Senza risposta ".
• Nel pannello Uso origine conoscenze, selezionare Visualizza dettagli per aprire il pannello laterale Uso origine conoscenze, selezionare l'origine desiderata e quindi selezionare Visualizza domande nella finestra pop-up.

L'elenco delle domande utente viene filtrato in base al punto dati su cui è stato eseguito il drill-down. Ciò si riflette nelle impostazioni di filtro predefinite sopra l'elenco di domande. Ad esempio, la scelta del segmento barra Irrilevante della barra Poor nel riquadro Qualità delle risposte generate imposta il filtro Qualità risposta su Irrelevant per le domande elencate.

Se lo si desidera, è possibile eseguire le azioni seguenti nella pagina di elenco:

• Applicare un filtro maggiore per restringere ulteriormente l'elenco delle domande usando i filtri dimensionali dell'elenco.
• Valutare le domande elencate in base ai criteri definiti nel metodo di test della valutazione.
• Scaricare le domande elencate come file di .csv.

Nell'elenco delle domande viene visualizzato quanto segue:

Per altre informazioni, selezionare Mostra dettagli su qualsiasi domanda per aprire il pannello laterale dei dettagli della domanda. Questo pannello fornisce informazioni dettagliate aggiuntive sulla qualità della risposta associata a ogni domanda.

¹ La qualità della risposta non è sempre disponibile e viene visualizzata solo se la domanda è stata campionata per l'analisi della qualità.

² Se la qualità della risposta è Good o se la domanda non è stata campionata, al parametro Reason non viene assegnato alcun valore.

Utilizzo degli strumenti

La sezione Uso degli strumenti mostra un grafico e metriche che tengono traccia della frequenza con cui gli strumenti vengono avviati nel tempo e della frequenza con cui l'agente ha usato correttamente tali strumenti. Mostra anche gli indicatori di tendenza per la frequenza con cui l'agente usa ciascuno strumento e la percentuale di strumenti chiamati usati correttamente.

Il grafico visualizza i primi cinque strumenti usati nel periodo di data definito nella parte superiore della pagina Analisi .

Nella legenda sotto il grafico passa il puntatore del mouse su uno degli strumenti per evidenziare tale strumento nel grafico.

Per aprire un pannello laterale con un elenco di tutti gli strumenti usati nel periodo di tempo specificato, insieme agli indicatori di tendenza, selezionare Visualizza dettagli nel grafico. Nel pannello Utilizzo strumento puoi visualizzare i calcoli della percentuale di domande usate per ciascuno strumento. Se l'agente dispone di agenti figlio, puoi scegliere di visualizzare i calcoli sia per l'agente principale che per gli agenti figlio (Tutti), solo Agente principale o solo Agente figlio.

Soddisfazione

La sezione Soddisfazione mostra i feedback degli utenti raccolti dalle reazioni alle risposte degli agenti, i risultati dei sondaggi e il punteggio di sentiment per una sessione. La soddisfazione è suddivisa in due sottosezioni: una sezione Reazioni , che mostra i feedback in su, il pollice giù e i commenti degli utenti per risposte specifiche degli agenti, e una sezione dei risultati del sondaggio , che mostra il punteggio esplicito di soddisfazione del cliente (CSAT) e l'analisi del sentiment basata sull'IA per l'intera sessione.

I dati di feedback vengono archiviati nella tabella di trascrizione della conversazione in Dataverse. Per un elenco dei canali che supportano questa funzionalità, vedi Dettagli delle funzionalità.

Reazioni

La sezione Reazioni mostra il feedback degli utenti raccolti dalle reazioni alle risposte degli agenti e ai risultati del sondaggio per una sessione. Il grafico conta il numero di volte in cui gli utenti hanno selezionato i pulsanti Mi piace (positivi) o Non mi piace (negativi) disponibili per ogni risposta ricevuta dall'agente.

Dopo che un utente fornisce una reazione, può lasciare un commento. Per visualizzare i commenti, selezionare Visualizza dettagli. Nel pannello Commenti Reazione, seleziona Tutti, Pollice in su o Pollice giù per filtrare i commenti.

Per ogni reazione, per visualizzare la domanda dell'utente e la risposta dell'agente, seleziona l'opzione accanto al commento. La pagina Analisi archivia le query utente e le risposte dell'agente per un massimo di 28 giorni.

Per impostazione predefinita, il feedback dell'utente è attivato. Se lo desideri, puoi disattivare questa funzione. Puoi anche aggiungere o modificare una dichiarazione di non responsabilità per gli utenti su come viene utilizzato il loro feedback:

1. Apri l'agente, vai a Impostazioni e individua la sezione Feedback dell'utente.

2. Imposta Consenti agli utenti di fornire feedback quando usano questo agente su Attivato o Disattivato.

3. Aggiungi o modifica una dichiarazione di non responsabilità in modo che gli utenti sappiano come viene utilizzato il loro feedback. Puoi anche fornire informazioni sulla privacy e suggerimenti.

Soddisfazione dell'utente per le sessioni

La sezione Soddisfazione dell'utente per le sessioni mostra informazioni sulla soddisfazione dell'utente basate sui risultati dei sondaggi e sull'analisi AI del sentiment in un campione di sessioni:

• Punteggio di soddisfazione del sondaggio: Un punteggio su 5 calcolato a partire dai punteggi medi di soddisfazione del cliente (CSAT) per le sessioni in cui gli utenti hanno risposto a richieste di fine sessione per partecipare a un sondaggio.

  Nota

  I punteggi di 1 e 2 vengono mappati su Insoddisfatto, un punteggio di 3 è considerato neutro e i punteggi di 4 e 5 vengono mappati su Soddisfatto.

• Soddisfazione per sessione: Un grafico a barre sovrapposte che visualizza il peso relativo per ciascuna delle categorie di punteggio del sondaggio, cioè Dissatisfied, Neutral, e Satisfied. Passa il mouse su ogni segmento del grafico per vedere la dimensione del campione e il valore numerico del peso di ogni categoria di punteggio.

• Analisi del sentiment (anteprima): una metrica complementare al punteggio del sondaggio. Questa metrica utilizza l'IA per analizzare i messaggi degli utenti da un campione di sessioni al fine di valutare il sentimento complessivo dell'utente nei confronti dell'agente. Il valore numerico rappresenta la percentuale di sessioni con un sentimento negativo degli utenti.

Seleziona Vedi dettagli per approfondire i dati di sentiment per il peso relativo di ciascuna delle categorie di sentiment (cioè Positive, Neutral, e Negative), e per vedere come le metriche di soddisfazione si sviluppano nel periodo di tempo configurato dal rapporto.