Dela via

Analysera konversationsagentens effektivitet

Sidan Analytics i Copilot Studio ger en aggregerad inblick i agentens övergripande effektivitet i analytics-sessioner. Sidan är indelad i kärnområden som fokuserar på olika prestandakontexter. Sidan visar också ett översiktsområde som innehåller KPI-mått (key performance indicator) på hög nivå för din agent, ett sparområde som analyserar tid och kostnadsbesparingar som kan hänföras till din agent eller agentens verktyg och ett sammanfattningsområde som ger viktiga analysinsikter om agentens prestanda.

Mer information om:

Det finns sex kärnområden att fokusera på när du granskar och förbättrar konversationsagentens effektivitet:

  • Teman: Teman hjälper dig att få analysinsikter genom att klustra användarfrågor i AI-föreslagna kategorier.
  • Konversationsresultat: Genom att känna till slutresultatet av en konversation kan du börja identifiera var din agent lyckas och var den behöver förbättras.
  • Agenter: Se samtalsvolymsmått, framgångsfrekvenser och aktuell status för underordnade och anslutna agenter.
  • Genererad svarsfrekvens och kvalitet: Förstå när agenten kämpar för att ge svar på användarfrågor och hur den använder kunskapskällor kan hjälpa dig att hitta sätt att förbättra agentens svarsfrekvens och kvalitet.
  • Verktygsanvändning: Att lära sig hur ofta verktyg används och hur ofta de lyckas kan hjälpa dig att förstå om dessa verktyg är användbara och framgångsrika för användarna.
  • Nöjdhet: Genom att granska användarfeedback kan du identifiera nya användarscenarier och problem och göra förbättringar baserat direkt på vad användarna efterfrågar.

Du kan visa analyser för händelser som inträffat under de senaste 90 dagarna.

Konversationens utfall

I avsnittet Konversationsresultat visas ett diagram som spårar typen av resultat för varje session mellan agenten och användarna.

Skärmbild av resultat- och engagemangsdiagrammen.

Diagrammet, oavsett om det visas som ett staplat histogram eller ett staplat ytdiagram, visualiserar de relativa volymerna av utfall, färgkodade och staplade efter typ. Var och en av lösta, eskalerade, övergivna och oengagerade representeras av respektive färg för varje datapunkt. Y-axeln anger antalet sessioner.

Om du vill se mått om enskilda resultat som är specifika för en datapunkt (en viss dag) hovrar du över ett område som representerar färgen på ett utfall av intresse (till exempel blågrön för övergiven) den dag du är intresserad av. I exemplet fanns det 90 övergivna sessioner som representerade 35,6 % av alla sessionsresultat den 24 november.

Skärmbild av det staplade ytdiagrammet över konversationsresultat med verktygstips.

Hovra över någon av utfallsetiketterna i förklaringen under diagrammet för att markera resultatet i diagrammet.

Skärmbild av konversationsresultatens staplade ytdiagram som markerar ett specifikt resultat.

Välj (på eller av) en eller flera av förklaringsetiketterna för att antingen visa eller dölja resultat från det staplade ytdiagrammet. Gör detta för att öka tydligheten i de resultat som kvarstår när:

  • Enskilda resultatlinjer visas visuellt nära varandra.
  • Du vill se tydligare när trendlinjer trendar positivt eller negativt, men summan av staplade resultat i diagrammet jämnar ut dessa trendlinjer.

Obs!

När du tar bort ett resultat från diagrammet på det här sättet tar du bort resultatet från den större poolen med visade resultat. Om du tar bort visade resultat ändras det visade procentvärdet för eventuella återstående utfall mot poolen eftersom det ändrar nämnaren för förhållandet.

I följande exempel togs etiketterna eskalerad och frånkopplad bort från diagrammet. Knappbeskrivningen visar att det fanns 95 övergivna sessioner den 23 november, vilket motsvarar 60,5 % av de återstående synliga resultaten i diagrammet (som är summan av lösta + övergivna resultat).

Skärmdump av det staplade ytdiagrammet över konversationsresultat med två borttagna resultat.

Om du vill ladda ned konversationsresultatdata (data som visualiserats i diagrammet) väljer du menyikonen och väljer Ladda ned CSV.

Obs!

Om du har tagit bort resultat från diagrammet när du laddar ned visas inte deras data i CSV:n.

Om du vill öppna en sidopanel med detaljerad information om konversationsresultat väljer du Se information i diagrammet. Sidopanelen konversationsresultat innehåller:

  • En cirkeldiagramsuppdelning av sessionsresultat som visar relativ viktning (uttryckt som procent) av lösta, eskalerade och övergivna resultat.
  • Ett staplat stapeldiagram som visar den relativa viktningen (uttryckt i procent) av lösta bekräftade och lösta underförstådda resultat som beskriver alla lösta sessionsresultat.
  • Ett staplat stapeldiagram som visar den relativa viktningen (uttryckt som en procentandel) av System avsett, System oavsiktligt och Användarbegärda utfallsorsaker som beskriver alla eskalerade sessionsresultat.
  • De viktigaste ämnena som ledde till varje resultat.

Obs!

Om du vill se en knappbeskrivning med information om råantal hovrar du över något av cirkeldiagrammet eller staplade stapeldiagramsegment.

Skärmbild av fönstret för konversationsresultat.

En session hamnar i något av följande två tillstånd:

  • Frånkopplad: En session startar när en användare interagerar med din agent eller när agenten skickar ett proaktivt meddelande till användaren. Sessionen börjar i ett icke-aktiverat tillstånd.

  • Engagerad: Användaren interagerar aktivt med agenten. Det finns en skillnad i beteende baserat på agentens orkestreringsläge.

    • Klassisk orkestrering: En session aktiveras när något av följande ämnen utlöses.

      • Anpassat ämne som utlöses direkt av användaren
      • Eskaleringsämne
      • Återgångstema
      • Ämne för konversationsförstärkning

    • Generativ AI-orkestrering: En session engageras när en användare direkt utlöser en plan och innehåller något av följande element:

      • Icke-systemämne
      • Eskaleringsämne
      • Återgångstema
      • En kunskapskälla
      • Ett verktyg

En engagerad session har något av följande resultat:

Utfallskategori Resultat Beskrivning
Löst En session avslutas framgångsrikt. Det finns två typer av avslutade sessioner: Avslutad bekräftad och Avslutad underförstådd.
Löst och bekräftat Sessioner betraktas som stängd och bekräftad när ämnet Slut på konversationen utlöses, och användaren bekräftar att interaktionen har lyckats.
Löst underförstått En session är stängd underförstått när sessionen har slutförts utan användarbekräftelse, utan baseras i stället på agentens logik. Det lösta underförstådda tillståndet beror på om din agent använder klassisk eller generativ AI-orkestrering:
– Klassisk orkestrering: En session anses vara stängd underförstått när ämnet Avsluta konversation utlöses och användaren låter sessionen överskrida tidsgränsen utan att ge någon bekräftelse.
– Generativ AI-orkestrering: En session anses vara Stängd (underförstått) när en session överskrider tidsgränsen och det inte finns några återstående aktiva planer. En aktiv plan är en plan som väntar på en användares indata.
Eskalerat En session avslutas men anses vara eskalerad när ämnet Eskalera utlöses eller noden Överför till handläggare körs (den aktuella analyssessionen avslutas, oavsett om konversationen överförs till en live-handläggare eller inte). Det finns tre typer av eskalerade sessioner: Avsiktligt av systemet, Oavsiktligt av systemet och Begäran från användare.
System avsett för En session eskaleras automatiskt till följd av en automatisk affärsregel som har angetts av en skapare. Eskaleringen är ett förväntat resultat av samtalet och behöver inte undersökas eller ändras.
Exempel: En användare vill överföra mer än 25 000 USD till en tredje part. Det här beloppet överskrider ett tröskelvärde i en affärsregel och sessionen eskaleras automatiskt som ett resultat.
System oavsiktligt En eskalering sker automatiskt till följd av att en session överskrider ett eller flera tröskelvärden som angetts av en skapare. Vanligtvis indikerar detta utfall att användaren är fast i samtalet och behöver hjälp.
Exempel: En session eskaleras efter tre misslyckanden med att utföra en viss uppgift.
Användare begärde En session eskalerades eftersom det fanns en explicit användarbegäran under konversationen.
Exempel: En användare anger Transfer me to an agent.
Övergiven. En session avslutas och betraktas som övergiven när en aktiv session överskrider 30 minuter och inte har nått ett löst eller eskalerat tillstånd.

Du kan också ange resultatet för verktyg med parametern conversationOutcome med hjälp av verktygskodredigeraren. Exempel på conversationOutcome: ResolvedConfirmed för bekräftad framgång eller conversationOutcome: ResolvedImplied för underförstådd framgång.

Se vägledningsdokumentationen om att mäta engagemang för förslag och bästa praxis för hur man mäter och förbättrar engagemanget.

Agenter

Listan Agenter visar mått för volym, prestanda och övergripande status för anslutna agenter och underordnade agenter för huvudagenten. Listan identifierar relationstypen som agenten i listan har till huvudagenten i kolumnen Typ. Om en agent är en underordnad agent är dess typ Child. Anslutna agenter har en listad typ som visar var de skapades (till exempel Copilot Studio, Azure AI Foundry). Måttet Anrop för varje listad agent beskriver volymen anrop från huvudagenten till den anslutna eller underordnade agenten. Andel lyckade återspeglar andelen anrop (i procent av alla anrop) som har slutförts. Status anger den enskilda administrativa statusen för varje ansluten och underordnad agent.

Som standard visar listan Agenter de fem främsta anslutna och underordnade agenterna för din huvudagent, rangordnade från högsta till lägsta avseende totalt antal frågor. Om det finns fler än fem agenter väljer du Visa alla för att visa alla agenter.

Obs!

Knappen Visa alla visas bara om det finns fler än fem anslutna eller underordnade agenter till huvudagenten.

Skärmbild av avsnittet Agenter på sidan Analys.

Genererad svarsfrekvens och kvalitet (förhandsversion)

Viktigt

Den här artikeln innehåller Microsoft Copilot Studio förhandsversionsdokumentation och kan komma att ändras.

Förhandsgranskningsfunktioner ska inte användas i produktion, och funktionerna kan vara begränsade. Funktionerna är tillgängliga före den officiella publiceringen så att du kan få tidig tillgång och ge feedback.

Om du skapar en produktionsklar agent kan du läsa Översikt över Microsoft Copilot Studio.

Med generativa svar kan din agent använda AI för att generera svar på användarfrågor med hjälp av kunskapskällor och de instruktioner du anger. Agenten kanske dock inte kan svara på alla användarfrågor. Avsnittet Genererad svarsfrekvens och kvalitet spårar, organiserar och analyserar obesvarade frågor och svarskvalitet för att ge dig vägledning för att förbättra agentens svarsprestanda.

Avsnittet svarsfrekvens och kvalitet.

Svarsfrekvensen visar antalet besvarade och obesvarade frågor inom den valda tidsperioden och procentuell ändring över tid.

Svarskvaliteten mäter kvaliteten på svaren med hjälp av AI. Copilot Studio tittar på en exempeluppsättning besvarade frågor och analyserar olika kvalitet, inklusive fullständighet, relevans och nivå av grund för ett svar. Om svaret uppfyller en standard, etiketterar Copilot Studio svaret som Bra kvalitet. Copilot Studio etiketterar svar som inte uppfyller den här standarden som Poor kvalitet. För Poor svar tilldelar Copilot Studio en orsak till kvalitetsklassificeringen och visar procentandelen svar som tilldelats till varje kategori.

Hovra över ett segment av en stapel i diagrammet för att se den relativa viktningen av en enskild orsak till antingen en bra eller dålig kvalitetsetikett. Knappbeskrivningen anger också antalet svar som har samplats för att komma fram till det beräknade procentvärdet.

Skärmbild av kvalitén på genererade svar med ett stapeldiagram och en knappbeskrivning som visar metrik för individuell anledning.

Hovra över något av kvalitetsetikettskälen under diagrammet för att markera det skälet i diagrammet.

Skärmbild av kvalitet på genererade svar staplade stapeldiagram med Irrelevant orsak markerat.

Välj Se frågor om du vill se en ofiltrerad lista över alla frågor inom den konfigurerade tidsperioden.

Välj Visa information om du vill öppna en sidopanel med svarsfrekvenser för frågor, användning av kunskapskällor och felfrekvenser under den valda tidsperioden. Du kan använda dessa diagram för att identifiera vilka kunskapskällor som fungerar bra för att hjälpa användarna och vilka du ska rikta in dig på för förbättringar.

Om din agent har underordnade agenter väljer du Alla på sidopanelen för att visa mått för både huvudagenten och underordnade agenter, Huvudagenten för endast mått om huvudagenten eller Underordnad agent för endast mått om underordnade agenter.

Skärmbild av informationsfönstret för frekvens och kvalitet för genererade svar där filtrering av agenttyp är markerat.

  • Obesvarade frågor visar orsakerna till att agenten inte svarade på en användarfråga.
  • Användning av kunskapskälla visar procentandelen sessioner som använde varje kunskapskälla som agenten har åtkomst till.
  • Alla källor visar procentandelen frågor som använde varje kunskapskälla.
  • Errors visar procentandelen frågor som resulterade i ett kunskapsrelaterat fel för varje typ av kunskapskälla (till exempel SharePoint).

Under Alla källor väljer du en enskild källa för att se mer information på nivån för någon av de angivna kunskapskällorna. Knappbeskrivningen innehåller:

  • Det totala antalet frågor som refererade till denna kunskapskälla samt antalet reaktioner av typen tummen upp och tummen ner.
  • Ett staplat stapeldiagram som visar uppdelningen av kvaliteten på svaren med relativa viktningar för frågor som refererar till den här kunskapskällan. Hovra över ett segment i stapeldiagrammet för att se värdet för segmentets relativa viktning och antalet frågor som har ingår i urvalet för att komma fram till värdet.

Skärmbild av relativa viktningar av svarskvalitet för en viss kunskapskälla, som visar knappbeskrivning för ett kvalitetsvärde.

Gå ned på djupet i en lista med agentfrågor

Öka detaljnivån för att visa specifika frågor som bidrog till ett mått och den stödjande kontexten, till exempel hur agenten svarade, hur användarna reagerade och vilka kunskapskällor som var inblandade. Den här vyn ger bättre insikt i svarskvaliteten och hjälper dig att identifiera möjliga luckor i kunskapstäckningen.

Viktigt

Du behöver säkerhetsrollen Bot Transcript Viewer för att visa listan och dess mått. Endast administratörer kan bevilja den här rollen genom att tilldela säkerhetsrollen Bot Transcript Viewer under agentdelningen.

Information om hur du aktiverar den här säkerhetsrollen i din en- eller gruppmiljö finns i Konfigurera avskriftsinställningar.

Det finns för närvarande stöd för att öka detaljnivån till listan över frågor för följande måttpaneler: Genererad svarsfrekvens och kvalitet och användning av kunskapskälla.

Skärmbild av panelerna Genererad svarsfrekvens och kvalitet och kunskapskälla på fliken Analys.

För att gå ner till fönstret med listan av frågor:

  • I panelen Genererad svarsfrekvens och kvalitet väljer du Se frågor.
  • Hovra över på panelen Genererad svarsfrekvens och kvalitet och välj segmentet Bra eller Dåligt svarsfält.
  • I panelen Genererad svarsfrekvens och kvalitet väljer du procentmåttet "Besvarad" eller "Obesvarad" .
  • I panelen Använda kunskapskälla väljer du Visa information för att öppna panelen Använda kunskapskälla , välj önskad källa och välj sedan Se frågor i popup-fönstret.

Listan med användarfrågor filtreras baserat på den datapunkt som du har detaljgranskat. Detta återspeglas i standardfilterinställningarna ovanför frågelistan. Om du till exempel väljer segmentet Irrelevant på stapeln Dålig i panelen Kvalitet på genererade svar anges filtret för svarskvalitet till Irrelevant för de listade frågorna.

Om du vill kan du utföra följande åtgärder på listsidan:

Listan med frågor visar följande:

Kolumn Beskrivning
Question Frågan som ställdes.
Svarade Status för generativ AI-svaret: Besvarad eller Obesvarad.
Svarskvalitet Svarskvalitet för exempelfrågor. Möjliga värden är Poor och Good.
Reaktion Tummen upp, tummen ner eller ingen reaktion, med en valfri textbaserad kommentar.
Datum Datum då frågan besvarades.
Kunskapskälla Lista över kunskapskällor som anges i agentsvaret.

Om du vill ha mer information väljer du Visa information om en fråga för att öppna panelen på frågeinformationssidan. Den här panelen ger ytterligare insikter om svarskvaliteten som är associerad med varje fråga.

Detaljerad parameter på frågenivå Beskrivning
Tidstämpel Tidsstämpel för den senaste gången då frågan besvarades.
Användarfråga Frågan som ställdes.
Svar Svaret från den generativa AI:n.
Tumme upp/Tum nedåt-värde Värde för den senaste förekomsten av den här frågan för parametern Thumbs up/Thumbs down.
Kommentar Valfri extra textbaserad kommentar, som tillhandahålls av användaren, utöver tummen upp / tummen ner-reaktionen .
Svarskvalitet1 Svar på frågan om vilken kvalitet svaret på användarfrågan var. Möjliga värden är Poor och Good.
Orsak2 Om svarskvaliteten är Poorförklarar den här parametern varför.

1 Svarskvaliteten är inte alltid tillgänglig och visas bara om frågan har samplats för kvalitetsanalys.

2 Om svarskvaliteten är Good eller om frågan inte samplades tilldelas parametern Reason inte något värde.

Användning av verktyg

Avsnittet Verktygsanvändning visar ett diagram och mått som spårar hur ofta dina verktyg startas över tid och hur ofta agenten har använt dessa verktyg. Den visar också trendindikatorer för hur ofta din agent använder varje verktyg och procentandelen av de använda verktygen som används framgångsrikt.

Diagrammet visar de fem främsta verktygen som används under datumperioden som definierats överst på analyssidan.

Hovra över något av verktygen i förklaringen under diagrammet för att markera verktyget i diagrammet.

Skärmbild av diagrammet över verktygsanvändning med ett enda verktyg markerat.

Om du vill öppna en sidopanel med en lista över alla verktyg som används under den angivna tidsperioden, tillsammans med trendindikatorer, väljer du Visa information i diagrammet. På panelen Verktygsanvändning kan du visa beräkningar av procentandelen frågor som används för varje verktyg. Om din agent har underordnade agenter kan du välja att visa beräkningar för både huvudagenten och underordnade agenter (Alla), enbart Huvudagent eller enbart Underordnad agent.

Skärmbild av verktygsanvändningsdiagrammet och mätvärden.

Skärmbild av panelen för verktygsanvändning där filtreringen av agenttyp markeras.

Kundnöjdhet

Avsnittet Tillfredsställelse visar användarfeedback som samlats in från reaktioner på agentens svar, enkätresultat och sentimentpoäng för en session. Tillfredsställelse är uppdelad i två sektioner: en Reaktionssektion, som visar feedback med tummen upp och tummen ner samt användarkommentarer för specifika svar från agenter, och en Undersökningsresultatsektion, som visar den explicita kundnöjdhetspoängen (CSAT) och AI-baserad sentimentanalys för hela sessionen.

Feedbackdata lagras i tabellen med konversationstranskriptioner i Dataverse. En lista över kanaler som stöder den här funktionen finns i Funktionsinformation.

Reaktioner

Avsnittet Reaktioner visar användarfeedback som samlats in genom reaktioner på agentsvar och resultaten från enkäter för en session. Diagrammet räknar antalet gånger användarna har valt knapparna tummen upp (positiva) eller tummen ner (negativa) för varje svar de fick från din agent.

Svarsreaktionsdiagrammet.

När en användare har reagerat kan han eller hon lämna en kommentar. Om du vill visa kommentarer väljer du Se information. På kommentarspanelen för reaktioner , välj All, Tumme upp eller Tumme ner för att filtrera kommentarerna.

Obs!

  • Agenter som publicerats till Microsoft 365 Copilot-kanalen stöder inte reaktioner.
  • Om du vill visa kommentarer måste du ha säkerhetsrollen Bottranskriptvisare.

För varje reaktion väljer du växlingsknappen bredvid kommentaren för att se den associerade användarfrågan och agentsvaret. På sidan Analys lagras användarfrågor och agentsvar i upp till 28 dagar.

Skärmbild av växlingsknappen expandera-dölj på panelen Reaktioner som visar användarens fråga och svar.

Användarfeedback är På som standard. Du kan inaktivera den här funktionen om du vill. Du kan också lägga till eller redigera en ansvarsfriskrivning för användare om hur deras feedback används:

  1. Öppna agenten och gå sedan till Inställningar och leta reda på avsnittet Användarfeedback .

  2. Aktivera Låt användarna ge feedback när de använder den här agenten antingen på eller av.

  3. Lägg till eller redigera en ansvarsfriskrivning så att användarna vet hur deras feedback används. Du kan också ange sekretessinformation och tips.

Användarnöjdhet för sessioner

Avsnittet om användarnöjdhet för sessioner visar information om användarnöjdhet baserat på användarundersökningsresultat och AI-analys av sentiment i ett urval av sessioner:

Skärmdump av användarnöjdheten för sessionsbrickan.

  • Undersökningsnöjdhet: Ett resultat av 5 beräknat från genomsnittliga kundnöjdhetspoäng (CSAT) för sessioner där användare svarade på förfrågningar i slutet av sessionen om att delta i en enkät.

    Obs!

    Poängen 1 och 2 mappar till Inte nöjd, poängen 3 anses vara neutral och poängen 4 och 5 mappar till Nöjd.

  • Tillfredsställelse per session: Ett staplat stapeldiagram som visualiserar den relativa viktningen för varje undersöknings poängkategorier, nämligen Dissatisfied, Neutral, och Satisfied. Håll muspekaren över varje segment i diagrammet för att se storleken på urvalet och det numeriska värdet av viktningen av varje poängkategori.

  • Sentimentanalys (förhandsvisning): Ett komplementärt mått till undersökningspoängen. Denna mätmetod använder AI för att analysera användarmeddelanden från ett urval av sessioner för att utvärdera en övergripande användarinställning till agenten. Det numeriska värdet representerar andelen sessioner med negativ användarinställning.

Välj Se detaljer för att fördjupa dig i sentimentdata för relativ viktning av varje sentimentkategori (nämligen Positive, Neutral, och Negative), och för att se hur nöjdhetsmåtten utvecklas över rapportens konfigurerade tidsperiod.

Skärmbild av trenddiagrammet för nöjdhetspoäng.

  • Last updated on