Analyseer de effectiviteit van conversationele agenten

De pagina Analytics in Copilot Studio biedt een geaggregeerd inzicht in de algehele effectiviteit van uw agent in analytics-sessies. De pagina is onderverdeeld in kerngebieden die zich richten op verschillende prestatiecontexten. Op de pagina wordt ook een gebied Overzicht weergegeven dat kpi-metrische gegevens (Key Performance Indicator) op hoog niveau biedt voor uw agent, een besparingsgebied dat tijd en kostenbesparingen analyseert die toe te schrijven is aan uw agent of de hulpprogramma's van uw agent, en een overzichtsgebied dat belangrijke analytische inzichten biedt in de prestaties van uw agent.

Voor meer informatie over:

• De gebieden Overzicht en Overzicht , zie Analyseoverzicht
• Het Besparingen-gebied, zie Tijd- en kostenbesparingen analyseren voor agents

Er zijn zes kerngebieden waarop u zich moet concentreren bij het beoordelen en verbeteren van de effectiviteit van gespreksagenten:

• Thema's: Met thema's krijgt u inzicht in analyses door gebruikersvragen te clusteren in door AI voorgestelde categorieën.
• Gespreksresultaten: als u het eindresultaat van een gesprek kent, kunt u bepalen waar uw agent slaagt en waar deze moet worden verbeterd.
• Agenten: bekijk metrische gegevens over oproepvolumes, slagingspercentages en de huidige status voor onderliggende en verbonden agenten.
• Gegenereerde antwoordsnelheid en kwaliteit: Inzicht in wanneer de agent moeite heeft om antwoorden te geven op vragen van gebruikers en hoe kennisbronnen worden gebruikt, kunnen u manieren vinden om de antwoordsnelheid en kwaliteit van uw agent te verbeteren.
• Hulpprogramma's: leren hoe vaak hulpprogramma's worden gebruikt en hoe vaak ze slagen, kunnen u helpen begrijpen of deze hulpprogramma's nuttig en succesvol zijn voor gebruikers.
• Tevredenheid: door feedback van gebruikers te bekijken kunt u nieuwe gebruikersscenario's en problemen identificeren en verbeteringen aanbrengen op basis van wat uw gebruikers vragen.

U kunt analyses bekijken voor gebeurtenissen die in de afgelopen 90 dagen zijn opgetreden.

Gespreksresultaten

In de sectie Gespreksresultaten wordt een grafiek weergegeven waarin het type resultaat voor elke sessie tussen uw agent en gebruikers wordt bijgehouden.

De grafiek, ongeacht of deze wordt weergegeven als een gestapeld histogram of gestapeld vlakdiagram, visualiseert de relatieve volumes van resultaten, met kleurcodering en gestapeld op type. Elk van opgeloste, geëscaleerde, verlaten en niet betrokken wordt weergegeven met hun respectieve kleuren voor elk gegevenspunt. De y-as geeft het aantal sessies aan.

Als u metrische gegevens over afzonderlijke resultaten wilt zien die specifiek betrekking hebben op één gegevenspunt (een specifieke dag), plaatst u de muisaanwijzer op een gebied dat de kleur van een bepaald resultaat (bijvoorbeeld groen voor Verlaten) aangeeft op de dag waarin u geïnteresseerd bent. In het voorbeeld waren er 90 verlaten sessies, wat gelijkstaat aan 35,6% van alle sessieresultaten op 24 november.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de resultaatlabels om dat resultaat in de grafiek te markeren.

Selecteer (aan of uit) een of meer van de legendalabels om resultaten van het gestapelde vlakdiagram weer te geven of te verbergen. Doe dit om meer duidelijkheid te geven over de uitkomsten die blijven bestaan wanneer:

• Afzonderlijke resultaatlijnen worden visueel dicht bij elkaar weergegeven.
• U wilt duidelijker zien wanneer trendlijnen trending positief of negatief zijn, maar door de samenvoeging van gestapelde resultaten in de grafiek worden deze trendlijnen afgevlakt.

In het volgende voorbeeld zijn de labels Geëscaleerd en Zonder contact uit de grafiek verwijderd. In de knopinfo ziet u dat er 95 verlaten sessies waren op 23 november, die 60,5% van de resterende zichtbare resultaten in de grafiek vertegenwoordigen (de som van de resultaten Opgelost + Verlaten).

Als u gegevens over gespreksresultaten wilt downloaden (gegevens die in de grafiek zijn gevisualiseerd), selecteert u het menupictogram en selecteert u CSV downloaden.

Als u een zijpaneel met gedetailleerde informatie over gespreksresultaten wilt openen, selecteert u Details weergeven in de grafiek. Het zijpaneel Gespreksresultaten bevat het volgende:

• Een cirkeldiagram met de uitkomsten van sessieresultaten, met een relatieve weging (uitgedrukt als percentage) van de resultaten Opgelost, Geëscaleerd en Verlaten.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als percentage) van de resultaatredenen Opgelost bevestigd en Opgelost geïmpliceerd die alle opgeloste sessieresultaten beschrijven.
• Een gestapeld staafdiagram met de relatieve weging (uitgedrukt als een percentage) van de resultaatredenen Bedoeld door systeem, Niet bedoeld door systeem en Aangevraagd door gebruiker die alle geëscaleerde sessieresultaten beschrijven.
• De belangrijkste onderwerpen die tot elk resultaat hebben geleid.

Een sessie valt in een van de volgende twee staten:

• Niet betrokken: een sessie start wanneer een gebruiker communiceert met uw agent of wanneer de agent een proactief bericht naar de gebruiker stuurt. De sessie begint in een niet-verbonden status.

• Betrokken: De gebruiker communiceert actief met de agent. Er is een verschil in gedrag op basis van de orchestratiemodus van de agent.

  • Klassieke orkestratie: een sessie wordt geactiveerd wanneer een van de volgende onderwerpen wordt aangesproken:

    • Aangepast onderwerp dat rechtstreeks wordt geactiveerd door de gebruiker
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Onderwerp ter bevordering van het gesprek

  • Generatieve AI-orkestratie: een sessie wordt geactiveerd wanneer een gebruiker een plan rechtstreeks activeert en een van de volgende elementen omvat:

    • Niet-systeemonderwerp
    • Onderwerp escaleren
    • Terugvalonderwerp
    • Een kennisbron
    • Een hulpprogramma

Een betrokken sessie heeft een van de volgende uitkomsten:

U kunt het resultaat ook instellen voor hulpprogramma's met de conversationOutcome parameter met behulp van de code-editor van het hulpprogramma. Gebruik bijvoorbeeld conversationOutcome: ResolvedConfirmed voor bevestigd succes of conversationOutcome: ResolvedImplied voor impliciet succes.

Zie de richtlijnen over het meten van betrokkenheid voor suggesties en best practices over hoe betrokkenheid gemeten en verbeterd kan worden.

Agenten

In de lijst Agenten worden metrische gegevens van hoog niveau, prestaties en status weergegeven voor de verbonden en onderliggende agenten van uw hoofdagent. De lijst identificeert het relatietype dat de vermelde agent heeft voor de hoofdagent in de kolom Type. Als een agent een kindagent is, is het type Child. Verbonden agents hebben een opgegeven type dat aangeeft waar ze zijn gemaakt (bijvoorbeeld Copilot Studio, Azure AI Foundry). De Aanroepen metriek voor elke vermelde agent beschrijft het volume aan aanroepen van de hoofdagent naar de verbonden of ondergeschikte agent. Het slagingspercentage weerspiegelt het aandeel aanroepen (als percentage van alle aanroepen) dat met succes is voltooid. Status geeft de individuele administratieve status aan voor elke verbonden en bijbehorende agent.

Standaard geeft de lijst met Agenten de vijf belangrijkste (5) verbonden en onderliggende agenten van uw hoofdagent weer, gerangschikt van hoog naar laag in het laagste totale aantal vragen. Als er meer dan vijf agenten zijn, selecteert u Alles weergeven om alle agenten weer te geven.

Percentage en kwaliteit van gegenereerde antwoorden (preview)

Met generatieve antwoorden kan uw agent AI gebruiken, om antwoorden te genereren op gebruikersquery's, met behulp van de kennisbronnen en instructies die u opgeeft. Uw agent kan echter mogelijk niet alle gebruikersquery's beantwoorden. In de sectie Gegenereerde antwoordsnelheid en kwaliteit worden niet-beantwoorde query's en antwoordkwaliteit bijgehouden, ingedeeld en geanalyseerd, zodat u hulp krijgt bij het verbeteren van de antwoordprestaties van uw agent.

Het antwoordpercentage toont het aantal beantwoorde en onbeantwoorde vragen binnen de geselecteerde periode en de percentagewijziging in de loop van de tijd.

Antwoordkwaliteit meet de kwaliteit van antwoorden met behulp van AI. Copilot Studio kijkt naar een voorbeeldset beantwoorde vragen en analyseert verschillende kwaliteit, waaronder volledigheid, relevantie en niveau van grondheid van een antwoord. Als het antwoord voldoet aan een vaste standaard, labelt Copilot Studio het antwoord als Good kwaliteit. Copilot Studio labelt antwoorden die niet aan die standaard voldoen als Slechte kwaliteit. Voor Poor antwoorden wijst Copilot Studio een reden toe voor de kwaliteitsclassificatie en geeft het percentage antwoorden weer dat aan elke categorie is toegewezen.

Beweeg de muisaanwijzer over een segment van een staaf in het diagram om de relatieve weging van een afzonderlijke reden voor een kwaliteitslabel Goed of Slecht weer te geven. In de knopinfo wordt ook aangegeven hoeveel antwoorden zijn gesampled om uit te komen op de berekende procentwaarde.

Plaats in de legenda onder de grafiek de muisaanwijzer op een van de kwaliteitslabelredenen om die reden in de grafiek te markeren.

Selecteer Vragen weergeven om een niet-gefilterde lijst met alle vragen binnen de geconfigureerde periode weer te geven.

Selecteer Details weergeven om een zijpaneel te openen met vraagantwoordpercentages, kennisbrongebruik en foutpercentages gedurende de geselecteerde periode. Met deze diagrammen kunt u bepalen welke kennisbronnen gebruikers goed helpen en welke u kunt verbeteren.

Als uw agent onderliggende agenten heeft, selecteert u in het zijpaneel Alle om metrische gegevens weer te geven voor zowel de hoofdagent als onderliggende agenten, de Hoofdagent voor alleen metrische gegevens over de hoofdagent of Onderliggende agent voor alleen metrische gegevens over onderliggende agenten.

• Onbeantwoorde vragen geven de redenen weer waarom de agent geen gebruikersquery heeft beantwoord.
• Gebruik van kennisbronnen toont het percentage sessies waarin elke kennisbron is gebruikt waartoe de agent toegang heeft.
• Alle bronnen geven het percentage vragen weer dat elke kennisbron heeft gebruikt.
• Fout geeft het percentage query's weer dat heeft geresulteerd in een kennisgerelateerde fout voor elk type kennisbron (bijvoorbeeld SharePoint).

Selecteer onder Alle bronnen een afzonderlijke bron om meer informatie te zien op het niveau van een van de vermelde kennisbronnen. De tooltips omvatten:

• Het totale aantal vragen waarnaar in deze kennisbron wordt verwezen, evenals het aantal Duimen omhoog en Duimen omlaag.
• Een gestapeld staafdiagram met een uitsplitsing van de kwaliteit van het relatieve antwoordgewicht voor vragen die verwijzen naar deze kennisbron. Beweeg de muisaanwijzer over elk segment van het staafdiagram om de relatieve weging van dat segment en het aantal vragen dat is bemonsterd om die waarde te berekenen, te zien.

Navigeer naar een lijst met vragen van agents

Zoom in om specifieke vragen weer te geven die hebben bijgedragen aan een metrische waarde en de ondersteunende context, zoals hoe de agent heeft gereageerd, hoe gebruikers hebben gereageerd en welke kennisbronnen betrokken waren. Deze weergave biedt beter inzicht in de responskwaliteit en helpt mogelijke hiaten in kennisdekking te identificeren.

Inzoomen op een lijst met vragen wordt momenteel ondersteund voor de volgende metrische panelen: Gegenereerde antwoordsnelheid en kwaliteit enkennisbrongebruik.

Doorklikken naar het lijst met vragen venster:

• Selecteer vragen weergeven in het deelvenster Gegenereerde antwoordsnelheid en kwaliteit.
• Beweeg de muisaanwijzer over het deelvenster Gegenereerde antwoordsnelheid en kwaliteit, zweef erover en selecteer het segment van de Goede of Slechte antwoordbalk.
• Selecteer in het paneel Gegenereerde antwoordsnelheid en kwaliteit het percentage van 'Beantwoorde' of 'Onbeantwoorde' vragen.
• Selecteer in het deelvenster KennisbrongebruikDetails weergeven om het zijpaneel Kennisbrongebruik te openen, selecteer de gewenste bron en selecteer vervolgens Vragen weergeven in het pop-upvenster.

De lijst met gebruikersvragen wordt gefilterd op basis van het gegevenspunt waarop u hebt ingezoomd. Dit wordt weergegeven in de standaardfilterinstellingen boven de vragenlijst. Als u bijvoorbeeld het segment Irrelevant van de balk Poor kiest in de tegel Kwaliteit van gegenereerde antwoorden , wordt het filter voor antwoordkwaliteit Irrelevant ingesteld op de vermelde vragen.

Desgewenst kunt u de volgende acties uitvoeren op de lijstpagina:

• Pas meer filters toe om de lijst met vragen verder te verfijnen met behulp van de dimensionale filters van de lijst.
• Evalueer de vermelde vragen op basis van criteria die u in de testmethode van de evaluatie definieert.
• Download de vermelde vragen als een .csv-bestand.

In het venster met vragen wordt het volgende weergegeven:

Voor meer informatie selecteert u Details weergeven voor een vraag om het deelvenster met details van de vraag te openen. Dit deelvenster biedt aanvullende inzichten in de antwoordkwaliteit die aan elke vraag is gekoppeld.

¹ Antwoordkwaliteit is niet altijd beschikbaar en wordt alleen weergegeven als de vraag is bemonsterd voor kwaliteitsanalyse.

² Als de antwoordkwaliteit is Good of als de vraag niet is gemonsterd, wordt er geen waarde aan de parameter Reason toegewezen.

Hulpmiddelgebruik

In de sectie Hulpprogrammagebruik ziet u een grafiek en metrische gegevens die bijhouden hoe vaak uw hulpprogramma's in de loop van de tijd worden gestart en hoe vaak uw agent deze hulpprogramma's gebruikt. Het toont ook trendindicatoren voor hoe vaak uw agent elk hulpprogramma gebruikt en wat het percentage is van aangeroepen hulpprogramma's dat met succes is gebruikt.

In de grafiek worden de vijf belangrijkste hulpprogramma's weergegeven die worden gebruikt gedurende de datumperiode die boven aan de pagina Analytics is gedefinieerd.

Beweeg in de legenda onder de grafiek de cursor over een van de tools om die tool in de grafiek te markeren.

Als u een zijpaneel wilt openen met een lijst met alle hulpprogramma's die in de opgegeven periode worden gebruikt, samen met trendindicatoren, selecteert u Details weergeven in de grafiek. In het deelvenster Hulpprogramma kunt u berekeningen weergeven van het percentage vragen, dat voor elk hulpprogramma wordt gebruikt. Als uw agent onderliggende agenten heeft, kunt u ervoor kiezen om berekeningen weer te geven voor zowel de hoofdagent als onderliggende agenten (Alle), alleen de Hoofdagent of alleen de Onderliggende agent.

Tevredenheid

De sectie Tevredenheid toont gebruikersfeedback die is verzameld uit reacties op agentenreacties, enquêteresultaten en sentimentscore voor een sessie. Tevredenheid is verdeeld in twee subsecties: een Reactiesectie, waarin duim omhoog, duim omlaag feedback en gebruikersreacties voor specifieke reacties van de agent worden weergegeven, en een Enquêteresultaten sectie, waarin de expliciete klanttevredenheidsscore (CSAT) en AI-gebaseerde sentimentanalyse voor de hele sessie worden weergegeven.

Feedbackgegevens worden opgeslagen in de gesprektranscriptietabel in Dataverse. Zie Functiedetails voor een lijst met kanalen die deze functie ondersteunen.

Reacties

In de sectie Reacties ziet u gebruikersfeedback die is verzameld van reacties op agentreacties en enquêteresultaten voor een sessie. De grafiek telt het aantal keren dat gebruikers de duimen omhoog (positief) of omlaag (negatief) hebben geselecteerd die beschikbaar zijn voor elk antwoord dat ze van uw agent hebben ontvangen.

Nadat een gebruiker een reactie heeft gegeven, kan hij of zij een opmerking achterlaten. Als u opmerkingen wilt weergeven, selecteert u Details weergeven. Selecteer in het reactie-commentaarpaneel All ,Duim omhoog of Duim omlaag om reacties te filteren.

Als u voor elke reactie de bijbehorende gebruikersquery en agentreactie wilt zien, selecteert u de wisselknop naast de opmerking. Op de pagina Analytics worden gebruikersquery's en agentreacties gedurende maximaal 28 dagen opgeslagen.

Gebruikersfeedback staat standaard Aan. U kunt deze functie desgewenst uitschakelen. U kunt ook een disclaimer voor gebruikers toevoegen of bewerken over hoe hun feedback wordt gebruikt:

1. Open de agent en ga naar Instellingen en zoek de sectie Gebruikersfeedback.

2. Stel Gebruikers feedback laten geven bij gebruik van deze agent in op Aan of Uit.

3. Voeg een disclaimer toe of bewerk deze zodat gebruikers weten hoe hun feedback wordt gebruikt. U kunt ook informatie en tips over privacy geven.

Gebruikerstevredenheid voor sessies

De sectie Gebruikerstevredenheid voor sessies toont informatie over gebruikerstevredenheid op basis van gebruikersenquêtes en AI-analyse van sentiment in een steekproef van sessies:

• Tevredenheidsscore van de enquête: Een score van de 5 berekend uit de gemiddelde klanttevredenheidsscore (CSAT) voor sessies waarin gebruikers reageerden op verzoeken aan het einde van de sessie om een enquête in te vullen.

  Notitie

  Scores van 1 en 2 worden toegewezen aan Ontevreden, een score van 3 wordt beschouwd als Neutraal en scores van 4 en 5 worden toegewezen aan Tevreden.

• Tevredenheid per sessie: Een gestapeld staafdiagram dat de relatieve weging visualiseert voor elk van de scorecategorieën van de enquête, namelijk Dissatisfied, Neutral, en Satisfied. Beweeg met de muis over elk segment van de grafiek om de grootte van de steekproef en de numerieke waarde van de weging van elke scorecategorie te zien.

• Sentimentanalyse (preview): Een aanvullende maatstaf voor de enquêtescore. Deze metric gebruikt AI om gebruikersberichten uit een steekproef van sessies te analyseren en zo het algemene gevoel van de gebruiker voor de agent te evalueren. De numerieke waarde geeft het percentage sessies met een negatieve gebruikerssentiment weer aan.

Selecteer Bekijk details om dieper in de sentimentgegevens te duiken voor de relatieve weging van elk van de sentimentcategorieën (namelijk Positive, Neutral, en Negative), en om te zien hoe de tevredenheidsstatistieken zich ontwikkelen over de geconfigureerde periode van het rapport.