Analyser effektiviteten til samtaleagenten

Siden Analytics i Copilot Studio gir et aggregert innblikk i agentens generelle effektivitet på tvers av analytics-økter. Siden er delt inn i kjerneområder som fokuserer på ulike ytelseskontekster. Siden viser også et oversiktsområde som gir KPI-måledata (key performance indicator) på høyt nivå for agenten din, et spareområde som analyserer tids- og kostnadsbesparelser som kan tilskrives agenten din eller agentens verktøy, og et sammendragsområde som gir viktig analytisk innsikt i agentens ytelse.

Hvis du vil ha mer informasjon om:

• Sammendrags- og oversiktsområdene, se Analyseoversikt
• Spareområdet, se Analyser tid og kostnadsbesparelser for agenter

Det er seks kjerneområder å fokusere på når du gjennomgår og forbedrer effektiviteten til samtaleagenten:

• Temaer: Temaer hjelper deg med å få analyseinnsikt ved å gruppere brukerspørsmål i ai-foreslåtte kategorier.
• Samtaleutfall: Når du vet sluttresultatet av en samtale, kan du begynne å identifisere hvor agenten lykkes og hvor den trenger forbedring.
• Agenter: Se samtalevolummålinger, suksessrater og gjeldende status for underordnede og tilkoblede agenter.
• Generert svarfrekvens og kvalitet: Forståelse når agenten sliter med å gi svar på brukerspørsmål og hvordan den bruker kunnskapskilder, kan hjelpe deg med å finne måter å forbedre agentens svarfrekvens og kvalitet på.
• Verktøybruk: Lære hvor ofte verktøy brukes, og hvor ofte de lykkes, kan hjelpe deg med å forstå om disse verktøyene er nyttige og vellykkede for brukerne.
• Tilfredshet: Gjennomgang av tilbakemeldinger fra brukere hjelper deg med å identifisere nye brukerscenarioer og problemer, og gjøre forbedringer basert direkte på hva brukerne ber om.

Du kan vise analyser for hendelser som har skjedd de siste 90 dagene.

Samtaleresultater

Samtaleresultater-seksjonen viser et diagram som sporer typen resultat for hver økt mellom agenten din og brukerne.

Diagrammet, enten det vises som et stablet histogram eller et stablet arealdiagram, visualiserer de relative volumene av utfall, fargekodet og stablet etter type. Hver av Løste, Eskalerte, Forlatt og Uengasjert er representert med sine respektive farger for hvert datapunkt. Y-aksen angir antall økter.

For å se målinger om individuelle utfall som er spesifikke for ett datapunkt (en bestemt dag), hold musepekeren over et område som representerer fargen på et utfall av interesse (for eksempel blågrønn for Forlatt) på dagen du er interessert i. I eksemplet var det 90 avbrutte økter, som representerte 35,6 % av alle øktutfall den 24. november.

I forklaringen under diagrammet holder du musepekeren over en av resultatetikettene for å utheve det resultatet i diagrammet.

Velg (på eller av) én eller flere av forklaringsetikettene for å enten vise eller skjule resultater fra det stablede områdediagrammet. Gjør dette for å gi mer klarhet i resultatene som gjenstår når:

• Individuelle resultatlinjer vises visuelt tett sammen.
• Du vil se tydeligere når trendlinjer har en positiv eller negativ trend, men summen av stablede utfall på diagrammet flater ut disse trendlinjene.

I det følgende eksemplet, Eskalert og Uengasjert-etiketter ble fjernet fra diagrammet. Verktøytipset viser at det var 95 forlatte økter den 23. november, som representerer 60,5 % av de gjenværende synlige resultatene på diagrammet (som er summen av Løst + Forlatt-utfall).

Hvis du vil laste ned resultatdata for samtaler (data visualisert i grafen), velger du menyikonet og velger Last ned CSV.

For å åpne et sidepanel med detaljert informasjon om samtaleresultater, velg Se detaljer i diagrammet. Samtaleresultater-sidepanelet inkluderer:

• En sektordiagramfordeling av økt-utfall, som viser relativ vekting (uttrykt som en prosentandel) av Løst, Eskalert, og Forlatt-utfall.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av Løst bekreftet og Løst implisitt resultatårsaker som beskriver alle resultater av løste økter.
• Et stablet søylediagram som viser den relative vektingen (uttrykt som en prosentandel) av System beregnet, Utilsiktet system, og Brukerforespurt utfallsårsaker som beskriver alle utfall av eskalerte økter.
• De viktigste temaene som førte til hvert resultat.

En sesjon faller inn i en av følgende to moduser:

• Ikke engasjert: En økt starter når en bruker samhandler med agenten, eller når agenten sender en melding til brukeren. Økten starter i en ikke aktivert tilstand.

• Engasjert: Brukeren samhandler aktivt med agenten. Det er en forskjell i atferd basert på agentens orkestreringsmodus.

  • Klassisk orkestrering: En økt blir aktivert når et av følgende emner utløses:

    • Egendefinert emne direkte utløst av brukeren
    • Eskaler emne
    • Reservedemne
    • Emnet Samtaleforbedring

  • Generativ KI-iverksetting: En økt blir engasjert når en bruker direkte utløser en plan og inneholder et av følgende elementer:

    • Ikke-systememne
    • Eskaler emne
    • Reservedemne
    • En kunnskapskilde
    • Et verktøy

En engasjert økt har ett av følgende resultater:

Du kan også angi resultatet for verktøy med parameteren conversationOutcome ved hjelp av redigeringsprogrammet for verktøykode. For eksempel conversationOutcome: ResolvedConfirmed for bekreftet suksess eller conversationOutcome: ResolvedImplied for underforstått suksess.

Se veiledningsdokumentasjonen om måling av engasjement for forslag og beste praksis for hvordan man kan måle og forbedre engasjementet.

Agenter

Listen Agenter viser volum- og ytelsesdata på høyt nivå for tilkoblede og underordnede agenter for hovedagenten. Listen identifiserer relasjonstypen den oppførte agenten har til hovedagenten i kolonnen Type. Hvis en agent er en underordnet agent, er typen Child. Tilkoblede agenter har en listetype som gjenspeiler hvor de ble opprettet (for eksempel Copilot Studio, Azure AI Foundry). Måledataene Anrop for hver oppførte agent beskriver volumet av anrop fra hovedagenten til den tilkoblede eller underordnede agenten. Suksessraten gjenspeiler andelen kall (som prosent av alle anrop) som er fullført. Status angir den individuelle administrative statusen for hver tilkoblet og underordnet agent.

Som standard viser listen Agents de fem (5) beste tilkoblede og underordnede agentene til hovedagenten din, rangert fra høyest til laveste totale antall spørsmål. Hvis det er mer enn fem agenter, velger du Se alle for å vise alle agenter.

Generert svarandel og -kvalitet (forhåndsversjon)

Med generative svar kan agenten din bruke kunstig intelligens til å generere svar på brukerspørringer ved hjelp av kunnskapskilder og instruksjonene du gir. Det kan imidlertid hende at agenten ikke kan svare på alle brukerspørringer. Delen Generert svarfrekvens og kvalitet sporer, organiserer og analyserer ubesvarte spørringer og svarkvalitet for å gi deg veiledning for å forbedre agentens svarytelse.

Svarfrekvensen viser antall besvarte og ubesvarte spørsmål i den valgte tidsperioden og prosentvis endring over tid.

Svarkvalitet måler kvaliteten på svarene ved hjelp av KUNSTIG INTELLIGENS. Copilot Studio ser på et utvalg av besvarte spørsmål og analyserer forskjellig kvalitet, inkludert fullstendighet, relevans og nivå av jording av et svar. Hvis svaret oppfyller en angitt standard, merker Copilot Studio svaret som Good kvalitet. Copilot Studio merker svar som ikke oppfyller denne standarden som dårlig kvalitet. For Poor svar tilordner Copilot Studio en årsak til kvalitetsvurderingen, og viser prosentandelen svar som er tilordnet hver kategori.

Hold musepekeren over et hvilket som helst segment av en søyle i diagrammet for å se den relative vektingen av en individuell årsak for enten en God eller Dårlig kvalitetsmerke. Verktøytipset indikerer også antall svar som er samplet for å komme frem til den beregnede prosentverdien.

I forklaringen under diagrammet holder du musepekeren over en av årsakene til kvalitetsetiketten for å fremheve den i diagrammet.

Velg Se spørsmål for å se en ufiltrert liste over alle spørsmål i den konfigurerte tidsperioden.

Velg Se detaljer for å åpne et sidepanel med svarfrekvenser for spørsmål, bruk av kunnskapskilder og feilfrekvenser i løpet av den valgte tidsperioden. Du kan bruke disse diagrammene til å finne ut hvilke kunnskapskilder som er til hjelp for brukere, og hvilke som kan forbedres.

Hvis agenten din har underordnede agenter, velger du Alle på sidepanelet for å vise måledata for både hovedagenten og underordnede agenter, hovedagenten for måledata om bare hovedagenten eller underordnet agent for måledata om bare underordnede agenter.

• Ubesvarte spørsmål viser årsakene til at agenten ikke svarte på en brukerspørring.
• Kunnskapskildebruk viser prosentandelen av økter som brukte hver kunnskapskilde agenten har tilgang til.
• Alle kilder viser prosentandelen av spørsmål som brukte hver kunnskapskilde.
• Feil viser prosentandelen spørringer som resulterte i en kunnskapsrelatert feil for hver kunnskapskildetype (for eksempel SharePoint).

Velg en individuell kilde under Alle kilder for å se mer informasjon på nivået til en av de oppførte kunnskapskildene. Verktøytipset inkluderer:

• Totalt antall spørsmål som henviste til denne kunnskapskilden, samt antall tommel opp- og tommel ned-reaksjoner.
• Et stablet stolpediagram som viser nedbrytingen av kvaliteten på svarrelative vektinger for spørsmål som henviser til denne kunnskapskilden. Hold pekeren over et segment av stolpediagrammet for å se verdien av segmentets relative vekting og antall spørsmål som er utvalgt for å komme frem til denne verdien.

Drill ned til en liste over agentspørsmål

Drill ned for å vise bestemte spørsmål som bidro til en metrikkverdi og støttekonteksten, for eksempel hvordan agenten reagerte, hvordan brukerne reagerte og hvilke kunnskapskilder som var involvert. Denne visningen gir bedre innsikt i responskvaliteten og bidrar til å identifisere mulige hull i kunnskapsdekningen.

Drilling ned til listen over spørsmål støttes for øyeblikket for følgende metriske paneler: Generert svarfrekvens og kvalitet og kunnskapskildebruk.

Slik driller du ned til listen over spørsmål:

• Velg Se spørsmål fra panelet Generert svarfrekvens og kvalitet.
• Hold pekeren over og velg segmentet God eller Dårlig svarlinje fra panelet Generert svarfrekvens og kvalitet.
• Velg prosentverdien Svar eller Ubesvarte spørsmål fra det genererte svarfrekvens- og kvalitetspanelet.
• Velg Se detaljer i kunnskapskildens brukspanel for å åpne sidepanelet for kunnskapskildebruk, velg den ønskede kilden, og velg deretter Se spørsmål i popup-vinduet.

Listen over brukerspørsmål filtreres basert på datapunktet du drillet ned på. Dette gjenspeiles i standard filterinnstillinger over spørsmålslisten. Hvis du for eksempel velger det irrelevante stolpesegmentet i Dårlig-linjen i kvaliteten på genererte svarflisen , settes svarkvalitetsfilteret til Irrelevant for de oppførte spørsmålene.

Hvis ønskelig, kan du utføre følgende handlinger på listesiden:

• Bruk mer filtrering for å begrense listen over spørsmål ytterligere ved hjelp av listens dimensjonale filtre.
• Evaluer de oppførte spørsmålene i henhold til kriteriene du definerer i evalueringens testmetode.
• Last ned de oppførte spørsmålene som en .csv fil.

Listen over spørsmål-vinduet viser følgende:

Hvis du vil ha mer informasjon, velger du Vis detaljer om alle spørsmål for å åpne sidepanelet for spørsmålsdetaljer. Dette panelet gir ytterligere innsikt i svarkvaliteten som er knyttet til hvert spørsmål.

¹ Svarkvalitet er ikke alltid tilgjengelig og vises bare hvis spørsmålet ble samplet for kvalitetsanalyse.

² Hvis svarkvaliteten er Good eller hvis spørsmålet ikke ble samplet, tilordnes ikke årsaksparameteren noen verdi.

Verktøybruk

Verktøybruk-delen viser et diagram og måledata som sporer hvor ofte verktøyene startes over tid, og hvor ofte agenten din brukte disse verktøyene. Den viser også trendindikatorer for hvor ofte agenten din bruker hvert verktøy og prosentandelen av kalt verktøy som brukes.

Diagrammet viser de fem beste verktøyene som brukes over datoperioden som er definert øverst på Analyse-siden .

I forklaringen under diagrammet holder du musepekeren over et av verktøyene for å markere det i diagrammet.

Hvis du vil åpne et sidepanel med en liste over alle verktøyene som brukes i den angitte tidsperioden, velger du Se detaljer i diagrammet sammen med trendindikatorer. På panelet Verktøybruk kan du vise beregninger av prosentandelen av spørsmål som brukes for hvert verktøy. Hvis agenten din har underordnede agenter, kan du velge å vise beregninger for både hovedagenten og underordnede agenter (alle), bare hovedagenten eller underordnet agent.

Tilfredsstillelse

Tilfredshetsdelen viser brukertilbakemeldinger samlet inn fra reaksjoner på agentsvar, undersøkelsesresultater og sentimentscore for en økt. Tilfredshet er delt inn i to underseksjoner: en Reaksjonsseksjon , som viser tommel opp, tommel ned tilbakemeldinger og brukerkommentarer for spesifikke agentsvar, og en seksjon for undersøkelsesresultater , som viser eksplisit kundetilfredshet (CSAT)-score og AI-basert sentimentanalyse for hele økten.

Tilbakemeldingsdata lagres i samtaleutskriftstabellen i Dataverse. Hvis du vil ha en liste over kanaler som støtter denne funksjonen, kan du se Funksjonsdetaljer.

Reaksjoner

Reaksjoner-delen viser tilbakemeldinger fra brukere som er hentet fra reaksjoner på agentsvar og evalueringsresultater for en økt. Diagrammet teller hvor mange ganger brukere valgte enten tommel opp (positiv) eller tommel ned (negativ) for hvert svar de fikk fra agenten din.

Når en bruker har angitt en reaksjon, kan de legge igjen en kommentar. Hvis du vil vise kommentarer, velger du Se detaljer. I kommentarpanelet for reaksjoner , velg All, Tommel opp eller Tommel ned for å filtrere kommentarer.

Hvis du vil se den tilknyttede brukerspørringen og agentsvaret for hver reaksjon, velger du veksleknappen ved siden av kommentaren. Analysesiden lagrer brukerspørringer og agentsvar i opptil 28 dager.

Tilbakemelding fra brukere er På som standard. Du kan deaktivere denne funksjonen hvis du vil. Du kan også legge til eller redigere en ansvarsfraskrivelse for brukere om hvordan tilbakemeldingen deres brukes:

1. Åpne agenten, gå deretter til Innstillinger, og finn delen Tilbakemelding fra brukere.

2. Velg På eller Av for La brukere gi tilbakemelding når de bruker denne agenten.

3. Legg til eller rediger en ansvarsfraskrivelse, slik at brukerne vet hvordan tilbakemeldingen brukes. Du kan også gi informasjon og tips om personvern.

Brukertilfredshet for økter

Seksjonen for brukertilfredshet for økter viser informasjon om brukertilfredshet basert på brukerundersøkelsesresultater og AI-analyse av sentiment i et utvalg av økter:

• Undersøkelsestilfredshetsscore: En poengsum av 5 beregnet fra gjennomsnittlig kundetilfredshet (CSAT) for økter der brukere svarte på forespørsler ved slutten av økten om å delta i en undersøkelse.

  Notat

  Poengsummene 1 og 2 tilordnes til Misfornøyd, en poengsum på 3 anses Nøytral, og poengsummene 4 og 5 tilordnes til Fornøyd.

• Tilfredshet per økt: Et stablet stolpediagram som visualiserer den relative vektingen for hver av undersøkelsens poengkategorier, nemlig Dissatisfied, Neutral, og Satisfied. Hold musepekeren over hvert segment av diagrammet for å se størrelsen på utvalget og den numeriske verdien av vektingen av hver scorekategori.

• Sentimentanalyse (forhåndsvisning): En komplementær måleparameter til undersøkelsesscoren. Denne målingen bruker KI for å analysere brukermeldinger fra et utvalg av økter for å evaluere en samlet brukerfølelse for agenten. Den numeriske verdien representerer prosentandelen økter med negativ brukerstemning.

Velg Se detaljer for å dykke ned i sentimentdataene for den relative vektingen av hver av sentimentkategoriene (nemlig Positive, Neutral, , og Negative), og for å se hvordan tilfredshetsmålingene utvikler seg over rapportens konfigurerte tidsperiode.