Condividi tramite


Configurare le funzionalità vocali

Questo articolo descrive le funzionalità disponibili in Copilot Studio per la risposta vocale interattiva con Dynamics 365 Contact Center.

Per preparare l'agente per i servizi vocali, vedere Integrate un agente abilitato per la voce con Dynamics 365 Contact Center.

Per una panoramica dei servizi vocali, vedi Utilizzare la risposta vocale interattiva negli agenti.

Modalità Voce e DTMF

Un agente abilitato alla voce è diverso da un agente che usa la chat. L'agente con comandi vocali include argomenti di sistema vocali specifici per la gestione di scenari vocali. Un agente che utilizza la chat utilizza la modalità testo come impostazione predefinita. Un agente abilitato per la voce usa la modalità Voce e DTMF. Le due modalità non sono compatibili tra loro.

L'ottimizzazione per la voce consente di creare agenti con funzionalità vocali in diverse modalità e garantisce che le funzionalità vocali vengano create correttamente.

Ottimizza per la voce

Se l'agente non è stato avviato usando il modello Voce, è necessario abilitare l'opzione Ottimizza per la voce nelle impostazioni dell'agente.

  1. Con un agente aperto, vai a Impostazioni>Voce.

  2. Seleziona Ottimizza per la voce. Anche l'opzione Utilizza la voce come modalità di creazione principale è configurata per impostazione predefinita.

l'agente riceve i seguenti aggiornamenti quando abiliti le opzioni Ottimizza per la voce e Utilizza voce come modalità di creazione principale:

  • La possibilità di creare funzionalità vocali quando si passa da testo a Riconoscimento vocale e DTMF.
  • Gli argomenti del sistema di voce Rilevazione del silenzio, Voce non riconosciuta, e Pressione della tastiera sconosciuta vengono aggiunti automaticamente per gestire scenari legati alla voce.
  • Aumenta la precisione con i dati dell'agente (attivata per impostazione predefinita), che migliora la precisione del riconoscimento vocale.
  • Il flusso dell'agente esistente non cambia, ad esempio l'argomento Menu principale per avviare conversazioni con trigger DTMF mappati.

Importante

  • L'impostazione Ottimizza per la voce modifica solo le funzionalità di creazione vocale, non l'impostazione del canale. Attiva il canale Telefonia per un agente con comandi vocali completi.
  • Inoltre, l'impostazione Ottimizza per la voce in un agente che non era stato configurato inizialmente per le funzionalità vocali, significa che l'agente non disporrà dell'argomento Menu principale (anteprima). È necessario ricreare quell'argomento, se necessario.
  • Se non riesci ad attivare Ottimizza per la voce, controlla il tuo ambiente Power Platform che ospita l'agente e assicurati che l'opzione Ottieni nuove funzionalità in anteprima sia abilitata per quell'ambiente. Per ulteriori informazioni, vedi Impossibile attivare Ottimizza per la voce.

Disabilita l'ottimizzazione per la voce

Disattiva Ottimizza per la voce nel sistema di creazione dell'agente se non utilizzi il canale Telefonia. Dopo aver disattivato Ottimizza per la voce, vengono visualizzate le modifiche seguenti:

  • Nessuna creazione di agenti per le funzionalità vocali, come DTMF e intrusione.
  • La modalità predefinita è testo.
  • Nessun miglioramento al riconoscimento vocale, poiché non c'è riconoscimento vocale.
  • Nessun argomento di sistema relativo al riconoscimento vocale o all'argomento DTMF globale.

    Nota

    Alcuni argomenti potrebbero segnalare errori durante la pubblicazione se fanno ancora riferimento all'argomento DTMF (ora disattivato).

  • Nessuna modifica al flusso dell'agente e all'impostazione del canale, poiché la disattivazione dell'ottimizzazione non rimuove il canale di telefonia.
  • L'abilitazione o disabilitazione dell'opzione Ottimizza per la voce non avrà effetto finché non pubblichi l'agente. Se lo attivi o lo disattivi accidentalmente e l'agente passa da una modalità all'altra, hai tempo per risolvere il problema.

Importante

Se i tuoi canali di telefonia sono abilitati, la disattivazione di Ottimizza per la voce potrebbe causare problemi all'agente, poiché tutti i trigger DTMF vengono automaticamente disabilitati.

Utilizza la voce come modalità di creazione principale

Selezionare la modalità di riconoscimento vocale e DTMF per ogni nodo nella creazione delle funzionalità vocali. Selezionare la preferenza di creazione dell'agente come usare la voce come modalità di creazione primaria. Questa impostazione garantisce che tutti i campi di input abbiano la modalità corretta. Se hai già abilitato Ottimizza per la voce, l'opzione Utilizza la voce come modalità di creazione principale è abilitata per impostazione predefinita.

Disponibilità messaggi

L'utilizzo della modalità testo o vocale può influire in modo diverso sul tuo canale.

Modalità testo Modalità vocale Canale di testo e voce dell'agente
Messaggio disponibile Messaggio vuoto Messaggio disponibile
Messaggio vuoto Messaggio disponibile Messaggio non disponibile

Riconoscimento vocale automatico personalizzato

Gli agenti abilitati per la voce per un dominio specifico, ad esempio medico o finanziario, potrebbero incontrare utenti che usano termini finanziari o gergo medico. Alcuni termini e gerghi risultano difficili da convertire da parlato a testo per l'agente con comandi vocali.

Per garantire che l'input vocale venga riconosciuto in modo accurato, migliorare il riconoscimento vocale:

  1. Selezionare Impostazioni>Voce nell'agente.

  2. Seleziona Aumenta la precisione con i dati dell'agente per abilitare le impostazioni predefinite di riconoscimento vocale automatico personalizzate dell'agente.

  3. Seleziona Salva per applicare le modifiche.

  4. Pubblica l'agente per vedere le nuove modifiche.

Riferimento alle opzioni vocali a livello di agente

Usa le impostazioni Voce per configurare i timeout per varie funzioni legate alla voce. Le impostazioni applicate in questa pagina diventano le impostazioni predefinite per gli argomenti creati nell'agente.

Per apportare modifiche alle opzioni di timeout a livello di agente:

  1. Vai alla pagina Impostazioni del tuo agente e seleziona Voce.

  2. Seleziona le impostazioni desiderate e regola le impostazioni predefinite dell'agente.

  3. Seleziona Salva per applicare le modifiche.

Impostazioni a livello di agente

La tabella seguente elenca ciascuna opzione e la sua relazione con le impostazioni a livello di nodo.

Sezione a livello di agente con comandi vocali Impostazione Descrizione Valore predefinito Override a livello di nodo
DTMF Timeout tra caratteri Tempo massimo in millisecondi consentito durante l'attesa dell'input successivo della chiave DTMF. Si applica all'input DTMF a più cifre solo quando gli utenti non soddisfano la lunghezza massima di input. 3000 millisecondi Nodo di domanda con proprietà vocali per Input DTMF a più cifre
DTMF Timeout chiusura Durata massima in millisecondi di attesa di una chiave di terminazione DTMF. Il limite si applica quando l'utente raggiunge la lunghezza massima di input e non ha premuto il tasto di terminazione. Si applica solo all'ingresso DTMF a più cifre.

Una volta raggiunto il limite di timeout e se non arriva il tasto DTMF di terminazione, l'agente termina il riconoscimento e restituisce il risultato fino a quel punto.

Se impostato su "continua senza attendere", l'agente non attende la chiave di terminazione. L'agente risponde immediatamente dopo che l'utente ha immesso la lunghezza massima.
2000 ms Nodo di domanda con proprietà vocali per Input DTMF a più cifre
Rilevamento del silenzio Timeout rilevamento silenzio Silenzio massimo in millisecondi consentito durante l'attesa dell'input dell'utente. Il limite si applica quando l'agente non rileva alcun input dell'utente. L'impostazione predefinita è "nessun timeout di silenzio". L'agente attende all'infinito l'input dell'utente.

Rilevamento del silenzio per la voce per il periodo successivo al termine del discorso della voce.
Nessun timeout silenzio Nodo di domanda con proprietà vocali per Input DTMF a più cifre

Argomento di sistema (proprietà trigger rilevamento silenzio) per Configura rilevamento silenzio e timeout
Raccolta voce Timeout fine espressione Il limite si applica quando l'utente fa una pausa durante o dopo il discorso. Se la pausa è più lunga del limite di timeout, l'agente presume che l'utente abbia finito di parlare.

Il valore massimo per il timeout di fine espressione è 3000 ms. Qualsiasi valore superiore a 3000 ms si riduce a 3000 ms.
1500 ms Nodo domanda con proprietà vocali
Raccolta voce Timeout riconoscimento vocale Determina per quanto tempo l'agente concede per l'intervento dell'utente una volta che ha iniziato a parlare. Il valore predefinito è 12.000 millisecondi (circa 12 secondi). Nessun timeout di riconoscimento significa tempo infinito. L'agente ripropone la domanda. In caso di mancata risposta, la voce è oltre Timeout riconoscimento vocale. 12.000 ms Nodo domanda con proprietà vocali
Messaggi di latenza Ritardo invio messaggio Determina per quanto tempo l'agente attende prima di inviare il messaggio di latenza dopo l'avvio di una richiesta di operazione in background. Il tempo è impostato in millisecondi. 500 ms Proprietà del nodo azione per Operazione di lunga durata
Messaggi di latenza Tempo di riproduzione minimo Il messaggio di latenza viene riprodotto per un periodo di tempo minimo, anche se l'operazione in background viene completata durante la riproduzione del messaggio. Il tempo è impostato in millisecondi. 5000 ms Proprietà della modalità azione per Operazione di lunga durata
Sensibilità vocale Riservatezza Controlla il modo in cui il sistema bilancia il rilevamento della voce e del rumore di fondo. Riduci la sensibilità per ambienti rumorosi, spazi pubblici e utilizzo in viva voce. Aumenta la sensibilità per ambienti silenziosi, utenti che parlano a bassa voce o rilevamento dei comandi vocali. L'impostazione predefinita è 0.5. 0.5 Non sono previsti override a livello di nodo per questo comando.

Abilitare l'interruzione

Quando si abilita barge-in, gli utenti dell'agente possono interrompere l'agente. Questa funzionalità è utile quando l'utente dell'agente non deve sentire l'intero messaggio. Ad esempio, i chiamanti potrebbero già conoscere le opzioni del menu perché le hanno ascoltate in passato. Utilizzando la funzionalità di interruzione, l'utente agente può scegliere l'opzione desiderata, anche se l'agente non ha finito di elencare tutte le opzioni.

Quando disabilitare l'accesso barge-in

  • Disattiva l'interruzione se di recente è stato aggiornato un messaggio dell'agente o se il messaggio di conformità non deve essere interrotto.
  • Disattiva l'interruzione per il primo messaggio dell'agente per garantire che gli utenti dell'agente siano a conoscenza di informazioni nuove o essenziali.

Specifiche

  • L'interruzione supporta le interruzioni basate su DTMF e vocali da parte dell'utente dell'agente.

  • È possibile controllare il "barge-in" per ogni messaggio all'interno di un batch. Posiziona nodi barge-in-disabled in sequenza prima di ciascun nodo in cui è consentita l'intrusione. In caso contrario, il sistema considera barge-in-disabled come messaggio allow-barge-in.

    Screenshot dei posizionamenti di intrusione e intrusione disabilitata nei nodi del messaggio.

    Al termine di una coda batch, l'impostazione automatica barge-in viene reimpostata per il batch successivo. L'indicatore di interruzione in ciascun messaggio successivo ne controlla il comportamento. È possibile posizionare nodi disabilitati quando la sequenza ricomincia.

Suggerimento

Se i nodi messaggio consecutivi sono seguiti da un nodo Domanda , i messaggi vocali per questi nodi vengono definiti come un batch. Un batch inizia con un nodo messaggio e si arresta nel nodo della domanda, che attende l'input dell'utente.

Evitare di disabilitare l'interruzione automatica per lunghi messaggi vocali, soprattutto se si prevede che gli utenti interagiscano spesso con l'agente virtuale. Se l'utente dell'agente conosce già le opzioni del menu, permettigli di scegliere autonomamente dove andare.

Configura l'intrusione

  1. Selezionare un nodo Messaggio o Domanda e impostare la modalità desiderata su Speech & DTMF.

  2. Selezionare i tre puntini (...) per il nodo e quindi selezionare Proprietà.

    • Per i nodi Messaggio, il riquadro Proprietà attività di invio si apre sul lato dell'area del contenuto.

      Seleziona Consenti intrusione.

    • Per i nodi Domanda, si apre il riquadro Proprietà domanda, quindi seleziona Voce.

      Dalle proprietà Voce, seleziona Consenti intrusione.

  3. Salva l'argomento.

Configura il rilevamento del silenzio e i timeout

Il rilevamento silenzio consente di configurare per quanto tempo l'agente attende l'input dell'utente e l'azione necessaria se l'agente non riceve alcun input. Il rilevamento del silenzio è particolarmente utile in risposta a una domanda a livello di nodo o quando l'agente attende una frase trigger per iniziare un nuovo argomento.

È possibile configurare i timeout predefiniti per gli argomenti.

Consente di sostituire le impostazioni predefinite per un nodo:

  1. Selezionare i tre puntini (...) per il nodo e quindi selezionare Proprietà.

    Si apre il riquadro Proprietà domanda.

  2. Seleziona Voce e apporta le modifiche alle seguenti impostazioni:

    Opzione di timeout del rilevamento del silenzio Descrizione
    Usa l'impostazione dell'agente Il nodo utilizza l'impostazione globale per il rilevamento del silenzio.
    Disabilita per questo nodo L'agente attende una risposta indefinitamente.
    Personalizza in millisecondi L'agente attende un tempo specificato prima di ripetere la domanda.

Azione di fallback

Puoi configurare alcuni comportamenti come azione di fallback:

  • Quante volte l'agente deve ripetere una domanda
  • Cosa dovrebbe dire il messaggio di risposta
  • Cosa dovrebbe fare l'agente dopo un numero specificato di ripetizioni

Input di riconoscimento vocale

Per l'input vocale, specificare i valori per le impostazioni seguenti:

  • Timeout di fine espressione: tempo di attesa dell'agente dopo che l'utente ha finito di parlare.
  • Timeout del riconoscimento vocale: tempo che l'agente concede all'utente una volta che iniziano a rispondere.

Per configurare il comportamento di rilevamento del silenzio quando l'agente attende una frase trigger, modifica le impostazioni nell'argomento di sistema In caso di silenzio.

Aggiungere un messaggio di latenza per le operazioni ad esecuzione prolungata

Per le operazioni di back-end più lunghe, l'agente può inviare un messaggio agli utenti per avvisarli dei processi più lunghi. Anche gli agenti su un canale di messaggistica possono inviare un messaggio di latenza.

Riproduzione audio dei messaggi di latenza Messaggio di latenza in chat
Continua il ciclo fino al completamento dell'operazione. Inviato solo una volta quando viene raggiunta la latenza specificata.

In Copilot Studio l'agente può ripetere un messaggio dopo aver attivato un flusso di Power Automate:

  1. Aggiungi un nodo Azione che attiva un flusso.

  2. Seleziona i tre punti (...) del nodo, poi seleziona Proprietà. Si apre il riquadro Proprietà azioni.

  3. Seleziona Invia un messaggio.

  4. Nella sezione Messaggio, inserisci ciò che desideri che l'agente dica. Usare SSML per modificare il suono del messaggio. L'agente ripete il messaggio fino al completamento del flusso.

È possibile regolare per quanto tempo l'agente deve attendere prima di ripetere il messaggio nella sezione Ritardo. Impostare una quantità minima di tempo di attesa, anche se il flusso viene completato.

Configurare una terminazione della chiamata

Per configurare l'agente per terminare la chiamata e riagganciare, aggiungere un nuovo nodo (+) e selezionare Gestione argomenti>Termina conversazione.

Screenshot del menu di un nuovo nodo con Gestione argomento e Fine conversazione evidenziati.

Rilevare i computer di risposta

È possibile configurare l'agente per rilevare un computer di risposta e lasciare un messaggio con l'utente dell'agente al termine del messaggio dell'utente dell'agente. Il sistema di rilevamento delle segreterie telefoniche consente di creare un messaggio personalizzato per gli scenari in cui l'agente incontra la segreteria telefonica di un utente. Nel nodo Messaggio definire il messaggio che viene lasciato quando l'agente rileva un computer di risposta.

Screenshot dell'argomento Rilevato Segreteria Telefonica, evidenziando il nodo del messaggio.

Formatta la sintesi vocale con SSML

Usare il linguaggio SSML (Speech Synthesis Markup Language) per modificare il suono dell'agente quando legge i messaggi ad alta voce. Ad esempio, puoi modificare il tono o la frequenza delle parole pronunciate, la velocità e il volume.

SSML utilizza i tag per racchiudere il testo che desideri modificare, in modo simile all'HTML. Usare i tag seguenti in Copilot Studio:

Tag SSML Descrizione Collegamento alla documentazione del servizio vocale
<audio src="_URL to an audio file_"/> Aggiungi l'URL a un file audio all'interno del tag. Il file deve essere accessibile all'utente dell'agente. Aggiungi l'audio registrato
<break /> Inserisci pause o interruzioni tra le parole. Inserisci le opzioni di interruzione all'interno del tag. Aggiungi una pausa
<emphasis> Testo che desideri modificare</emphasis> Aggiungi livelli di accento a parole o frasi. Aggiungi opzioni di enfasi nel tag di apertura. Aggiungi il tag di chiusura dopo il testo che desideri modificare. Regola le opzioni di enfasi
<prosody> Testo che desideri modificare</prosody> Specifica le modifiche a intonazione, contorno, intervallo, frequenza e volume. Aggiungi opzioni di prosodia nel tag di apertura. Aggiungi il tag di chiusura dopo il testo che desideri modificare. Regola le opzioni della prosodia
<lang xml:lang="xx-XX"> Testo che desideri modificare</lang> Regola la lingua parlata all'interno dello stesso messaggio quando si utilizza una voce neurale multilingue. Regola le lingue dell'audio

Nota

Quando si usa il <audio src="_URL to an audio file_"/> tag , se si archivia l'URL in una variabile, codificare l'URL prima di inserirlo nel tag SSML src audio nel messaggio. Usare la funzione EncodeHTML Power Fx per codificare l'URL quando lo si assegna a una variabile nell'azione di assegnazione.

Screenshot di un messaggio vocale con tag SSML aggiunti.

Trova e usa un tag

SSML utilizza i tag per racchiudere il testo che desideri modificare, in modo simile all'HTML.

Usare i tag seguenti in Copilot Studio:

  1. Selezionare un nodo Messaggio o Domanda . Cambiare la modalità in Speech & DTMF.

  2. Seleziona il menu Tag SSML, quindi seleziona un tag.

    La finestra del messaggio viene popolata con il tag. Se hai già del testo nella casella del messaggio, il codice del tag viene aggiunto alla fine del messaggio.

  3. Circonda il testo che desideri modificare con i tag di apertura e chiusura. Puoi combinare più tag e personalizzare singole parti del messaggio con tag individuali.

Suggerimento

Puoi inserire manualmente i tag SSML che non vengono visualizzati nel menu di supporto. Per altre informazioni sugli altri tag che puoi utilizzare, vedi Migliorare la sintesi con Speech Synthesis Markup Language.

Trasferisci una chiamata a un rappresentante o a un numero di telefono esterno

L'agente può trasferire la chiamata a un numero di telefono esterno. Copilot Studio supporta il trasferimento cieco a un numero di telefono PSTN e al numero di routing diretto.

Nota

I trasferimenti di chiamata possono essere gestiti anche usando le intestazioni X SIP. Per ulteriori informazioni, vedi Configura le intestazioni SIP X per agenti abilitati alla voce.

Per eseguire il trasferimento a un numero di telefono esterno:

  1. Nell'argomento che desideri modificare, aggiungi un nuovo nodo (+). Nel menu del nodo, seleziona Gestione argomenti, quindi Trasferisci conversazione.

  2. In Tipo di trasferimento, seleziona Trasferimento numero di telefono esterno e inserisci il numero di trasferimento.

  3. (Facoltativo) aggiungi un'intestazione UUI SIP alla telefonata.

    Questa intestazione è una stringa di coppie key=value, senza spazi o caratteri speciali, visualizzata per la lettura da parte di sistemi esterni.

    1. Seleziona i tre punti (...) del nodo, poi seleziona Proprietà. Si apre il pannello Trasferisci proprietà della conversazione.

    2. In Intestazione UUI SIP, inserisci le informazioni che desideri inviare con il trasferimento di chiamata. Le variabili non sono supportate durante il trasferimento a un numero di telefono esterno.

    Attenzione

    Vengono inviati solo i primi 256 caratteri della stringa. L'intestazione accetta solo numeri, lettere, segni di uguale (=) e punto e virgola (;). Tutti gli altri caratteri, inclusi spazi, parentesi graffe e parentesi quadre o formule, non sono supportati e possono causare il fallimento del trasferimento.

Suggerimento

Includi un + nel tuo numero di telefono per il prefisso internazionale corrispondente.

Il trasferimento in uscita con UUI SIP per il numero di telefono di destinazione deve utilizzare l'instradamento diretto. I numeri di telefono Public Switched Telephone Network (PSTN) non supportano i trasferimenti delle intestazioni UUI SIP.

Per eseguire il trasferimento a un rappresentante, vedi Trigger espliciti.

Usare variabili vocali

Copilot Studio supporta la popolazione di variabili. È possibile usare variabili predefinite o crearne di personalizzate.

Nota

Un agente abilitato per la voce in Copilot Studio supporta le variabili di contesto. Queste variabili consentono di integrare le conversazioni dell'agente con Dynamics 365 Contact Center durante il trasferimento di una chiamata.

Per altre informazioni sulle variabili di contesto in Dynamics 365 Contact Center, vedere variabili Context per bot di Copilot Studio.

Questa integrazione supporta questi scenari con le seguenti variabili durante il trasferimento:

Variabile Type Descrizione
System.Activity.From.Name String ID chiamante dell'agente utente
System.Activity.Recipient.Name String Il numero utilizzato per chiamare o connettersi all'agente
System.Conversation.SipUuiHeaderValue String Valore dell'intestazione SIP durante il trasferimento tramite un numero di telefono con instradamento diretto
System.Activity.UserInputType String Se l'utente dell'agente ha utilizzato DTMF o la voce nella conversazione
System.Activity.InputDTMFKey String Input DTMF grezzo dell'utente dell'agente
System.Conversation.OnlyAllowDTMF Boolean La voce ignora l'input vocale quando è impostata su true
System.Activity.SpeechRecognition.Confidence Numero Il valore di confidenza (tra 0 e 1) dell'ultimo evento di riconoscimento vocale
System.Activity.SpeechRecognition.MinimalFormattedText String I risultati del riconoscimento vocale (come testo non elaborato) prima che Copilot Studio applicasse il suo modello dedicato di comprensione del linguaggio naturale.

Nota

  • Un agente con frasi trigger e dimensioni dell'entità elevate impiega più tempo per la pubblicazione.
  • Se più utenti pubblicano lo stesso agente contemporaneamente, l'azione di pubblicazione viene bloccata. È necessario ripubblicare l'agente dopo che gli altri hanno completato le modifiche agli agenti esistenti.

Per ulteriori informazioni sugli elementi di base della pubblicazione, vedi Concetti chiave: pubblicare e distribuire l'agente.