Analysere effektiviteten af samtaleagent

Siden Analytics i Copilot Studio giver en samlet indsigt i agentens overordnede effektivitet på tværs af analytiksessioner. Siden er opdelt i kerneområder, der fokuserer på forskellige ydeevnekontekster. På siden vises også et oversigtsområde , der indeholder målepunkter for kpi'er (Key Performance Indicator) på højt niveau for din agent, et område med besparelser, der analyserer tids - og omkostningsbesparelser, der kan henføres til din agent eller din agents værktøjer, og et oversigtsområde , der giver vigtig analyseindsigt i din agents ydeevne.

Du kan finde flere oplysninger om:

• Områderne Oversigt og Oversigt , se Oversigt over analyse
• Området Besparelser skal du se Analysér tids- og omkostningsbesparelser for agenter

Der er seks kerneområder at fokusere på, når du gennemgår og forbedrer effektiviteten af samtaleagenter:

• Temaer: Temaer hjælper dig med at få indsigt i analyser ved at gruppere brugerspørgsmål i AI-foreslåede kategorier.
• Samtaleresultater: Hvis du kender slutresultatet af en samtale, kan du begynde at identificere, hvor din agent lykkes, og hvor den skal forbedres.
• Agenter: Se målepunkter for opkaldsvolumen, succesrater og aktuel status for underordnede og forbundne agenter.
• Genereret svarfrekvens og -kvalitet: Forståelse af, hvornår agenten kæmper for at give svar på brugerspørgsmål, og hvordan den bruger videnkilder, kan hjælpe dig med at finde måder at forbedre din agents svarfrekvens og kvalitet på.
• Brug af værktøjer: Hvis du lærer, hvor ofte værktøjer bruges, og hvor ofte de lykkes, kan det hjælpe dig med at forstå, om disse værktøjer er nyttige og vellykkede for brugerne.
• Tilfredshed: Gennemgang af brugerfeedback hjælper dig med at identificere nye brugerscenarier og problemer og foretage forbedringer direkte baseret på det, dine brugere beder om.

Du kan få vist analyser for hændelser, der er opstået inden for de seneste 90 dage.

Samtaleresultater

Afsnittet Samtaleresultater viser et diagram, der sporer resultattypen for hver session mellem din agent og brugerne.

Diagrammet, uanset om det vises som et stablet histogram eller stablet områdediagram, visualiserer de relative mængder resultater, farvekodede og stablede efter type. Hver af Løst, Eskaleret, Afbrudt og Ikke engageret repræsenteres af deres respektive farver for hvert datapunkt. Y-aksen angiver antallet af sessioner.

Hvis du vil se målepunkter for individuelle resultater, der er specifikke for ét datapunkt (en bestemt dag), skal du holde markøren over et område, der repræsenterer farven på et interesseresultat (f.eks. turkis for Afbrudt) på den dag, du er interesseret i. I eksemplet var der 90 afbrudte sessioner, der repræsenterer 35,6 % af alle sessionsresultater den 24. november.

I forklaringen under diagrammet skal du holde markøren over resultatetiketterne for at fremhæve resultatet i diagrammet.

Vælg (til eller fra) et eller flere af forklaringsnavnene for enten at få vist eller skjule resultater fra det stablede områdediagram. Gør dette for at skabe større klarhed om de resultater, der er tilbage, når:

• Individuelle resultatlinjer vises visuelt tæt sammen.
• Du vil gerne se mere tydeligt, når tendenslinjer er positive eller negative, men aggregeringen af stablede resultater i diagrammet gør disse tendenslinjer fladere.

I følgende eksempel blev mærkaterne Eskaleret og Ikke engageret fjernet fra diagrammet. Værktøjstippet viser, at der var 95 afbrudte sessioner den 23. november, hvilket repræsenterer 60,5 % af de resterende synlige resultater i diagrammet (dvs. summen af Løste + Afbrudte resulter).

Hvis du vil downloade data om samtaleresultatet (data visualiseret i grafen), skal du vælge menuikonet og vælge Download CSV.

Hvis du vil åbne et sidepanel med detaljerede oplysninger om samtaleresultater, skal du vælge Se detaljer i diagrammet. Sidepanelet Samtaleresultater indeholder:

• En opdeling som cirkeldiagram af sessionsresultater, der viser relativ vægtning (udtrykt som en procent) af løste, eskalerede og afbrudte resultater.
• Et stablet søjlediagram, der viser den relative vægtning (udtrykt som en procent) af resultatårsagerne Løst bekræftet og Løst underforstået, der beskriver alle løste sessionsresultater.
• Et stablet søjlediagram, der viser den relative vægtning (udtrykt som en procent) af resultatårsagerne Systemtilsigtede, Systemutilsigtede og Brugeranmodet, der beskriver alle eskalerede sessionsresultater.
• De vigtigste emner, der førte til hvert resultat.

En session kan være i en af følgende to tilstande:

• Ikke engageret: En session starter, når en bruger interagerer med din agent, eller agenten sender en proaktiv meddelelse til brugeren. Sessionen starter i en ikke-engageret tilstand.

• Engageret: Brugeren interagerer aktivt med agenten. Der er en forskel i funktionsmåden baseret på agentens orkestreringstilstand.

  • Klassisk orkestrering: En session aktiveres, når et af følgende emner udløses:

    • Brugerdefineret emne, der udløses direkte af brugeren
    • Eskalér sag
    • Fallback-emne
    • Emne for at styrke samtalen

  • Generativ AI-orkestrering: En session aktiveres, når en bruger udløser en plan direkte og inkluderer et af følgende elementer:

    • Ikke-systememne
    • Eskalér sag
    • Fallback-emne
    • En videnkilde
    • Et værktøj

En engageret session har et af følgende resultater:

Du kan også angive resultatet for værktøjer med conversationOutcome parameteren ved hjælp af værktøjskodeeditoren. Det kan f.eks. være conversationOutcome: ResolvedConfirmed for bekræftet succes eller conversationOutcome: ResolvedImplied for implicit succes.

Se vejledningsdokumentationen om måling af engagement for forslag og bedste praksis til, hvordan man måler og forbedrer engagementet.

Agenter

Listen Agenter viser målepunkter for mængde, ydeevne og status på højt niveau for forbundne og underordnede agenter til din hovedagent. Listen identificerer den relationstype, som den angivne agent har til din hovedagent i kolonnen Type. Hvis en agent er en underordnet agent, er dens type Child. Tilknyttede agenter har en angivet type, der afspejler, hvor de blev oprettet (f.eks. Copilot Studio, Azure AI Foundry). Måleværdien Opkald for hver angivet agent beskriver mængden af opkald fra hovedagenten til den forbundne eller underordnede agent. Succesfrekvensen afspejler andelen af kald (som en % af alle kald), der blev fuldført. Status angiver den individuelle administrative status for hver forbundet og underordnet agent.

Listen Agenter viser som standard de øverste fem (5) forbundne og underordnede agenter for din hovedagent rangeret fra højeste til laveste samlede antal spørgsmål. Hvis der er mere end fem agenter, skal du vælge Se alle for at få vist alle agenter.

Genereret svarrate og kvalitet (forhåndsversion)

Med generative svar kan din agent bruge AI til at generere svar på brugerforespørgsler ved hjælp af videnkilder og de instruktioner, du angiver. Din agent kan dog muligvis ikke besvare alle brugerforespørgsler. Afsnittet Genereret svarfrekvens og kvalitet sporer, organiserer og analyserer ubesvarede forespørgsler og svarkvalitet for at give dig vejledning til, hvordan du kan forbedre din agents svarydeevne.

Svarfrekvensen viser antallet af besvarede og ubesvarede spørgsmål inden for den valgte tidsperiode og den procentvise ændring over tid.

Svarkvalitet måler kvaliteten af svar ved hjælp af AI. Copilot Studio ser på et eksempelsæt af besvarede spørgsmål og analyserer forskellige kvalitet, herunder fuldstændighed, relevans og jordforbindelse af et svar. Hvis svaret opfylder en angivet standard, angiver Copilot Studio svaret som Good kvalitet. Copilot Studio mærker svar, der ikke opfylder standarden, som Poor kvalitet. For Poor svar tildeler Copilot Studio en årsag til kvalitetsbedømmelsen og viser procentdelen af svar, der er tildelt til hver kategori.

Peg på et hvilket som helst segment af en søjle i diagrammet for at se den relative vægtning af en individuel årsag for enten en God eller Dårlig kvalitetsetiket. Værktøjstippet angiver også antallet af svar, der er udtaget som prøver for at nå frem til den beregnede procentværdi.

I forklaringen under diagrammet skal du holde markøren over kvalitetsetiketårsager for at fremhæve den pågældende årsag i diagrammet.

Vælg Se spørgsmål for at se en ufiltreret liste over alle spørgsmål inden for den konfigurerede tidsperiode.

Vælg Se detaljer for at åbne et sidepanel med svarfrekvenser for spørgsmål, brug af videnkilde og fejlprocenter i løbet af den valgte tidsperiode. Du kan bruge disse diagrammer til at identificere, hvilke videnkilder der fungerer godt til at hjælpe brugerne, og hvilke der skal forbedringer.

Hvis din agent har underordnede agenter, skal du vælge Alle i sidepanelet for at få vist målepunkter for både hovedagenten og underordnede agenter, Hovedagenten for kun at angive målepunkter for hovedagenten eller Underordnet agent for kun at angive målepunkter for underordnede agenter.

• Ubesvarede spørgsmål viser årsagerne til, at agenten ikke besvarede en brugerforespørgsel.
• Brug af videnkilde viser den procentdel af sessioner, der har brugt de enkelte videnkilder, som agenten har adgang til.
• Alle kilder viser procentdelen af spørgsmål, der brugte hver videnkilde.
• Errors viser procentdelen af forespørgsler, der resulterede i en vidensrelateret fejl for hver videnkildetype (f.eks. SharePoint).

Under Alle kilder skal du vælge en individuel kilde for at få vist flere oplysninger på niveauet for en af de angivne videnkilder. Værktøjstippet indeholder:

• Det samlede antal spørgsmål, der refererede til denne videnkilde, samt antallet af Tommelfinger op- og Tommelfinger ned- reaktioner.
• Et stablet søjlediagram, der viser opdelingen af kvaliteten af svars relative vægtninger for spørgsmål, der refererer til denne videnkilde. Peg på et hvilket som helst segment i søjlediagrammet for at se værdien af det pågældende segments relative vægtning og antallet af spørgsmål, der er udtaget som prøver for at nå frem til denne værdi.

Analysér ned til en liste over agentspørgsmål

Analysér ned for at få vist specifikke spørgsmål, der har bidraget til en metrikværdi og den understøttende kontekst, f.eks. hvordan agenten svarede, hvordan brugerne reagerede, og hvilke videnkilder der var involveret. Denne visning giver bedre indsigt i svarkvaliteten og hjælper med at identificere mulige huller i vidensdækningen.

Detailudledning til listen over spørgsmål understøttes i øjeblikket for følgende målepunkter: Genereret svarfrekvens og kvalitet og brug af videnkilde.

Sådan zoomer du ned på listen over spørgsmål:

• Vælg Se spørgsmål i panelet Genereret svarfrekvens og kvalitet.
• Peg på panelet Genereret svarfrekvens og kvalitet , og vælg segmentet God eller Dårlig svarlinje.
• Vælg procentmetrikværdien 'Besvaret' eller 'Ubesvarede' spørgsmål i panelet Genereret svarfrekvens og kvalitet.
• I panelet Brug af videnkilde skal du vælge Se detaljer for at åbne sidepanelet Videnkildeanvendelse , vælge den ønskede kilde og derefter vælge Se spørgsmål i pop op-vinduet.

Listen over brugerspørgsmål filtreres på baggrund af det datapunkt, du har analyseret ned på. Dette afspejles i standardfilterindstillingerne over spørgsmålslisten. Hvis du f.eks. vælger segmentet Irrelevant søjle i feltet Dårlig søjle i feltet Kvalitet af genererede svar , indstilles filteret Svarkvalitet til Irrelevant for de viste spørgsmål.

Hvis du vil, kan du udføre følgende handlinger på listesiden:

• Anvend mere filtrering for at indsnævre listen over spørgsmål yderligere ved hjælp af listens dimensionelle filtre.
• Evaluer de angivne spørgsmål i henhold til de kriterier, du definerer i evalueringens testmetode.
• Download de viste spørgsmål som en .csv fil.

På listen over spørgsmål vises følgende:

Du kan finde flere oplysninger ved at vælge Vis detaljer om et spørgsmål for at åbne sidepanelet med spørgsmålsoplysninger. Dette panel giver yderligere indsigt i svarkvaliteten, der er knyttet til hvert spørgsmål.

¹ Svarkvaliteten er ikke altid tilgængelig og vises kun, hvis spørgsmålet er blevet analyseret i stikprøven.

² Hvis svarkvaliteten er Good , eller hvis spørgsmålet ikke blev samplet, tildeles parameteren Reason ikke nogen værdi.

Brug af værktøj

Afsnittet Værktøjsanvendelse viser et diagram og målepunkter, der sporer, hvor ofte dine værktøjer startes over tid, og hvor ofte din agent har brugt disse værktøjer korrekt. Den viser også tendensindikatorer for, hvor ofte din agent bruger hvert værktøj, og procentdelen af kaldte værktøjer, der bruges korrekt.

Diagrammet viser de fem øverste værktøjer, der bruges i den datoperiode, der er defineret øverst på siden Analytics .

I forklaringen under diagrammet skal du holde markøren over et af værktøjerne for at fremhæve værktøjet i diagrammet.

Hvis du vil åbne et sidepanel med en liste over alle de værktøjer, der bruges i den angivne tidsperiode, skal du vælge Se detaljer i diagrammet sammen med tendensindikatorer. I panelet Værktøjsanvendelse kan du få vist beregninger af procentdelen af spørgsmål, der bruges til hvert værktøj. Hvis din agent har underordnede agenter, kan du vælge at få vist beregninger for både hovedagenten og underordnede agenter (Alle), kun Hovedagenten eller kun Den underordnede agent.

Tilfredshed

Tilfredshedssektionen viser brugerfeedback indsamlet fra reaktioner på agentens svar, undersøgelsesresultater og sentimentscore for en session. Tilfredshed er opdelt i to undersektioner: en Reaktionssektion , som viser tommelfinger op, tommelfinger ned feedback og brugerkommentarer for specifikke agentsvar, og en undersøgelsesresultatsektion , som viser eksplicit kundetilfredshedsscore (CSAT) og AI-baseret sentimentanalyse for hele sessionen.

Feedbackdata gemmes i tabellen med afskrift af samtaler i Dataverse. Du kan finde en liste over kanaler, der understøtter denne funktion, under Funktionsoplysninger.

Reaktioner

Afsnittet Reaktioner viser brugerfeedback, der er indsamlet fra reaktioner på agentsvar og undersøgelsesresultater for en session. Diagrammet tæller antallet af gange, brugerne har valgt enten knappen tommel op (positiv) eller tommel ned (negativ), der er tilgængelige for hvert svar, de har modtaget fra din agent.

Når en bruger har reageret, kan vedkommende skrive en kommentar. Hvis du vil have vist kommentarer, skal du vælge Se detaljer. På kommentarpanelet Reaktion skal du vælge All, Tommel op eller Tommelfinger ned for at filtrere kommentarer.

For hver reaktion skal du vælge omskifteren ved siden af kommentaren for at se den tilknyttede brugerforespørgsel og agentsvar. På siden Analytics gemmes brugerforespørgsler og agentsvar i op til 28 dage.

Brugerfeedback er som standard slået Til. Du kan slå denne funktion fra, hvis du ønsker det. Du kan også tilføje eller redigere en ansvarsfraskrivelse til brugere om, hvordan deres feedback bruges:

1. Åbn agenten, gå derefter til Indstillinger, og find afsnittet Brugerfeedback.

2. Slå Lad brugere give feedback, når de bruger denne agent enten Til eller Fra.

3. Tilføj eller rediger en ansvarsfraskrivelse, så brugerne ved, hvordan deres feedback bruges. Du kan også angive oplysninger om beskyttelse af personlige oplysninger og tip.

Brugertilfredshed for sessioner

Afsnittet om brugertilfredshed for sessioner viser information om brugertilfredshed baseret på brugerundersøgelsesresultater og AI-analyse af sentiment i et udvalg af sessioner:

• Undersøgelsestilfredshedsscore: En score ud af 5 beregnet ud fra gennemsnitlige kundetilfredshedsscorer (CSAT) for sessioner, hvor brugere svarede på afslutningsanmodninger om at deltage i en undersøgelse.

  Bemærk

  Scorer af typen 1 og 2 knyttes til Utilfreds, en score på 3 anses for at være neutral, og scorer af typen 4 og 5 knyttes til Tilfreds.

• Tilfredshed pr. session: Et stablet søjlediagram, der visualiserer den relative vægtning for hver af undersøgelsens scorekategorier, nemlig Dissatisfied, Neutral, og Satisfied. Hold musen over hvert segment af diagrammet for at se størrelsen på udvalget og den numeriske værdi af vægtningen af hver scorekategori.

• Sentimentanalyse (forhåndsvisning): En supplerende måling til undersøgelsesscoren. Denne måling bruger AI til at analysere brugerbeskeder fra et udvalg af sessioner for at evaluere en samlet brugerholdning til agenten. Den numeriske værdi repræsenterer procentdelen af sessioner med negativ brugerstemning.

Vælg Se detaljer for at dykke ned i sentimentdataene for den relative vægtning af hver af sentimentkategorierne (nemlig Positive, Neutral, , og Negative), og for at se, hvordan tilfredshedsmålingerne udvikler sig over rapportens konfigurerede tidsperiode.