Freigeben über

Analysieren der Effektivität der dialogfähigen Agenten

Die Seite Analytics in Copilot Studio bietet einen aggregierten Einblick in die Gesamteffizienz Ihres Agents in analytics-Sitzungen. Die Seite ist in Kernbereiche unterteilt, die sich auf verschiedene Leistungskontexte konzentrieren. Auf der Seite wird auch ein Übersichtsbereich angezeigt, der allgemeine KPI-Metriken (Key Performance Indicator) für Ihren Agenten, einen Sparbereich , der Zeit- und Kosteneinsparungen analysiert, die auf die Tools Ihres Agenten oder Ihres Agenten zurückzuführen sind, sowie einen Zusammenfassungsbereich , der wichtige analytische Einblicke in die Leistung Ihres Agenten bietet.

Für weitere Informationen:

Es gibt sechs Kernbereiche, auf die Sie sich bei der Überprüfung und Verbesserung der Effektivität von dialogfähigen Agents konzentrieren sollten:

  • Designs: Designs helfen Ihnen, Analyseeinblicke zu gewinnen, indem Sie Benutzerfragen in KI-vorgeschlagene Kategorien gruppieren.
  • Unterhaltungsergebnisse: Wenn Sie das Endergebnis einer Unterhaltung kennen, können Sie erkennen, wo Ihr Agent erfolgreich ist und wo Verbesserungen erforderlich sind.
  • Agents: Anzeigen der Anrufvolumenmetriken, Erfolgsraten und des aktuellen Status für untergeordnete und verbundene Agenten.
  • Generierte Antwortrate und -qualität: Verstehen, wann Agent mit Antworten auf Benutzerfragen zu kämpfen hat und wie er Wissensquellen verwendet, können Ihnen helfen, Möglichkeiten zu finden, um die Antwortrate und Qualität Ihres Agent zu verbessern.
  • Toolverwendung: Lernen, wie oft Tools verwendet werden und wie oft sie erfolgreich sind, können Ihnen helfen zu verstehen, ob diese Tools für Benutzer nützlich und erfolgreich sind.
  • Zufriedenheit: Das Überprüfen von Benutzerfeedback hilft Ihnen, neue Benutzerszenarien und Probleme zu identifizieren und Verbesserungen basierend auf dem, wonach Ihre Benutzer fragen, direkt zu verbessern.

Sie können Analysen für Ereignisse anzeigen, die in den letzten 90 Tagen aufgetreten sind.

Gesprächsergebnisse

Der Abschnitt Unterhaltungsergebnisse zeigt ein Diagramm, das den Ergebnisstyp für jede Sitzung zwischen Ihrem Agenten und den Benutzern verfolgt.

Screenshot der Ergebnis- und Engagement-Diagramme.

Das Diagramm, unabhängig davon, ob es sich um ein gestapeltes Histogramm oder ein gestapeltes Flächendiagramm handelt, visualisiert die relativen Volumen der Ergebnisse, die farbkodiert und nach Typen gestapelt sind. Behoben, Eskaliert, Abgebrochen und Nicht aktiviert werden für jeden Datenpunkt in ihrer jeweiligen Farbe dargestellt. Die Y-Achse gibt die Anzahl der Sitzungen an.

Um Metriken zu einzelnen Ergebnissen anzuzeigen, die spezifisch für einen Datenpunkt (bestimmter Tag) sind, bewegen Sie den Mauszeiger über einen Bereich, der die Farbe eines interessanten Ergebnisses (z. B. blaugrün für „Abgebrochen“) für den Tag darstellt, an dem Sie interessiert sind. In dem Beispiel gab es am 24. November 90 abgebrochene Sitzungen, die 35,6 % aller Sitzungsergebnisse darstellen.

Screenshot des gestapelten Flächendiagramms für die Unterhaltungsergebnisse mit Tooltip

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Ergebnisbeschriftungen, um dieses Ergebnis im Diagramm hervorzuheben.

Screenshot des gestapelten Flächendiagramms mit den Unterhaltungsergebnissen, bei dem ein Ergebnis hervorgehoben ist

Wählen Sie (an oder aus) eine oder mehrere Legendenbeschriftungen aus, um Ergebnisse im gestapelten Flächendiagramm anzuzeigen oder auszublenden. Folgen Sie diesen Schritten, um den Ergebnissen mehr Klarheit zu verleihen, wenn:

  • Einzelne Ergebniszeilen erscheinen visuell nahe beieinander.
  • Sie möchten genauer sehen, wann Trendlinien positiv oder negativ verlaufen, aber die Gesamtmenge der gestapelten Ergebnisse im Diagramm glättet diese Trendlinien jedoch.

Anmerkung

Wenn Sie ein Ergebnis auf diese Weise aus dem Diagramm entfernen, wird dieses Ergebnis auch aus dem größeren Pool der angezeigten Ergebnisse entfernt. Wenn angezeigte Ergebnisse entfernt werden, ändert sich der angezeigte Prozentwert aller verbleibenden Ergebnisse für den Pool, da der Nenner des Verhältnisses geändert wird.

Im folgenden Beispiel wurden die Beschriftungen Eskaliert und Nicht aktiviert aus dem Diagramm entfernt. Der Tooltip zeigt, dass am 23. November 95 abgebrochene Sitzungen auftreten, was 60,5 % der verbleibenden sichtbaren Ergebnisse im Diagramm entspricht (als Summe der Ergebnisse Behoben + Abgebrochen).

Screenshot des gestapelten Flächendiagramms der Konversationsergebnisse mit zwei entfernten Ergebnissen

Um Unterhaltungsergebnisdaten herunterzuladen (daten im Diagramm visualisiert), wählen Sie das Menüsymbol aus, und wählen Sie "CSV herunterladen" aus.

Anmerkung

Wenn beim Herunterladen Ergebnisse aus dem Diagramm entfernt wurden, werden deren Daten nicht in der CSV-Datei angezeigt.

Wenn Sie einen Seitenbereich mit detaillierten Informationen zu Unterhaltungsergebnissen öffnen möchten, wählen Sie im Diagramm die Option Details anzeigen aus. Die Seitenleiste Unterhaltungsergebnisse umfasst:

  • Eine Aufschlüsselung in Form eines Kreisdiagramms der Sitzungsergebnisse mit relativer Gewichtung (ausgedrückt in Prozent) der Ergebnisse Behoben, Eskaliert und Abgebrochen.
  • Ein gestapeltes Balkendiagramm mit der relativen Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe Abgeschlossen (bestätigt) und Abgeschlossen (angenommen), die alle behobenen Sitzungsergebnisse beschreiben.
  • Ein gestapeltes Balkendiagramm, das die relative Gewichtung (ausgedrückt in Prozent) der Ergebnisgründe System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert zeigt, die alle eskalierten Sitzungsergebnisse beschreiben.
  • Die wichtigsten Themen, die zu jedem Ergebnis geführt haben.

Anmerkung

Um eine QuickInfo mit unformatierten Zählungsinformationen anzuzeigen, bewegen Sie die Maus über eines der Segmente des Kreisdiagramms oder gestapelten Balkendiagramms.

Screenshot des Bereichs der Gesprächsergebnisse

Eine Sitzung fällt in einen der folgenden zwei Zustände:

  • Nicht aktiviert: Eine Sitzung beginnt, wenn ein Benutzender mit Ihrem Agenten interagiert oder wenn der Agent eine proaktive Nachricht an den Benutzenden sendet. Die Sitzung beginnt in einem nicht aktiven Zustand.

  • Eingebunden: Der Benutzer interagiert aktiv mit dem Agent. Es gibt einen Unterschied im Verhalten basierend auf dem Orchestrierungsmodus des Agents.

    • Klassische Orchestrierung: Eine Sitzung wird aktiv, wenn eines der folgenden Themen ausgelöst wird:

      • Benutzerdefiniertes Thema, das direkt vom Benutzer ausgelöst wird
      • Thema eskalieren
      • Fallback-Thema
      • Thema Conversational Boosting

    • Generative KI-Orchestrierung: Eine Sitzung wird aktiv, wenn ein Benutzer einen Plan direkt auslöst und eines der folgenden Elemente enthält:

      • Nicht-Systemthema
      • Thema eskalieren
      • Fallback-Thema
      • Eine Wissensquelle
      • Ein Tool

Eine aktive Sitzung hat eines der folgenden Ergebnisse:

Ergebniskategorie Ergebnis Beschreibung
Gelöst Eine Sitzung wird erfolgreich beendet. Es gibt zwei Arten aufgelöster Sitzungen: Aufgelöst bestätigt und Aufgelöst impliziert.
Abgeschlossen (bestätigt) Eine Sitzung wird als Abgeschlossen (bestätigt) betrachtet, wenn das Thema Unterhaltung beenden ausgelöst wird, und der Benutzer bestätigt, dass die Interaktion erfolgreich war.
Gelöst (implizit) Eine Sitzung gilt als Abgeschlossen (angenommen), wenn die Sitzung ohne Benutzerbestätigung aber basierend auf der Logik des Agents abgeschlossen wird. Der implizite Zustand "Aufgelöst" hängt davon ab, ob Ihr Agent klassische oder generative KI-Orchestrierung verwendet:
– Klassische Orchestrierung: Eine Sitzung wird als Abgeschlossen (angenommen) betrachtet, wenn Unterhaltung beenden ausgelöst wird und der Benutzer die Sitzung ohne Bestätigung ablaufen lässt.
– Orchestrierung basierend auf generativer KI: Eine Sitzung gilt als Abgeschlossen (angenommen), wenn eine Sitzung abläuft und keine verbleibenden aktiven Pläne vorhanden sind. Ein aktiver Plan ist ein Plan, der auf die Eingabe eines Benutzers wartet.
Eskaliert Eine Sitzung endet, gilt aber als „Eskaliert“, wenn das Thema Eskalieren ausgelöst oder ein Knoten Übertragen an Agent ausgeführt wird (die aktuelle Analysesitzung endet, unabhängig davon, ob die Unterhaltung an einen Live-Agent übertragen wird oder nicht). Es gibt drei Arten von eskalierten Sitzungen: System beabsichtigt, System unbeabsichtigt und Vom Benutzer angefordert.
System vorgesehen Eine Sitzung wird automatisch als Ergebnis einer von einem Erstellenden festgelegten automatischen Geschäftsregel eskaliert. Die Eskalation ist ein erwartetes Ergebnis des Gesprächs und muss nicht untersucht oder geändert werden.
Beispiel: Ein Benutzer möchte mehr als 25.000 $ an einen Drittanbieter übertragen. Dieser Betrag überschreitet einen Schwellenwert in einer Geschäftsregel, und die Sitzung wird infolgedessen automatisch eskaliert.
System unbeabsichtigt Eine Eskalation erfolgt automatisch, wenn eine Sitzung einen oder mehrere von einem Ersteller festgelegte Schwellenwerte überschreitet. In der Regel deutet dieses Ergebnis darauf hin, dass der Nutzer im Gespräch feststeckt und Unterstützung benötigt.
Beispiel: Eine Sitzung wird eskaliert, nachdem eine bestimmte Aufgabe dreimal fehlgeschlagen ist.
Vom Benutzer angefordert Eine Sitzung wird eskaliert, da während der Unterhaltung eine explizite Benutzeranforderung aufgetreten ist.
Beispiel: Ein Benutzer gibt Transfer me to an agent ein.
Aufgegeben Eine Sitzung endet und gilt als Abgebrochen, wenn eine aktivierte Sitzung nach 30 Minuten abläuft und nicht den Status „behoben“ oder „eskaliert“ erreicht.

Sie können das Ergebnis auch für Tools mit dem conversationOutcome Parameter mithilfe des Toolcode-Editors festlegen. Zum Beispiel conversationOutcome: ResolvedConfirmed für bestätigten Erfolg oder conversationOutcome: ResolvedImplied für angedeuteten Erfolg.

Siehe die Leitfaden zur Messung des Engagements für Vorschläge und Best Practices, wie man das Engagement messen und verbessern kann.

Agenten

Die Agents-Liste zeigt allgemeine Volumen-, Leistungs- und Statusmetriken für verbundene und untergeordnete Agents Ihres Haupt-Agents an. Die Liste gibt den Beziehungstyp an, den der aufgelistete Agent zu Ihrem Hauptagenten in der Spalte Typ hat. Wenn ein Agent ein untergeordneter Agent ist, lautet sein Typ Child. Verbundene Agents haben einen aufgelisteten Typ, der angibt, wo sie erstellt wurden (z. B. Copilot Studio, Azure AI Foundry). Die Metrik Anrufe für jeden aufgelisteten Agent beschreibt das Volumen von Anrufen vom Haupt-Agent an den verbundenen oder untergeordneten Agent. Die Erfolgsquote gibt den Anteil der Anrufe (als % aller Anrufe) an, die erfolgreich abgeschlossen wurden. Status gibt den einzelnen Administrationsstatus für jeden verbundenen und untergeordneten Agent an.

Standardmäßig werden in der Liste Agents die fünf (5) wichtigsten verbundenen und untergeordneten Agents Ihres Haupt-Agents angezeigt, sortiert von der höchsten bis zur niedrigsten Gesamtzahl an Fragen. Wenn mehr als fünf Agents vorhanden sind, wählen Sie Alle anzeigen aus, um alle Agents anzuzeigen.

Anmerkung

Die Schaltfläche Alle anzeigen ist nur sichtbar, wenn mehr als fünf verbundene oder untergeordnete Agents für Ihren Haupt-Agent vorhanden sind.

Screenshot des Agent-Abschnitts auf der Seite „Analysen“

Rate und Qualität der generierten Antworten (Vorschauversion)

Wichtig

Dieser Artikel enthält Microsoft Copilot Studio Vorschaudokumentation und kann geändert werden.

Funktionen in der Vorschauversion sind nicht für den produktiven Einsatz gedacht und können eine eingeschränkte Funktionalität aufweisen. Diese Funktionen stehen vor dem offiziellen Release zur Verfügung, damit Sie früher Zugriff darauf erhalten und Feedback geben können.

Wenn Sie einen produktionsbereiten Agent erstellen, lesen Sie Microsoft Copilot Studio Overview.

Mit generativen Antworten kann Ihr Agent KI verwenden, um Antworten auf Benutzerabfragen mithilfe von Wissensquellen und den von Ihnen bereitgestellten Anweisungen zu generieren. Ihr Agent kann jedoch möglicherweise nicht alle Benutzerabfragen beantworten. Der Abschnitt Generierte Antwortrate und Qualität verfolgt, organisiert und analysiert unbeantwortete Abfragen und Antwortqualität, um Ihnen Anleitungen zur Verbesserung der Antwortleistung Ihres Agent zu geben.

Der Abschnitt „Antwortquote und -qualität“.

Die Antwortrate zeigt die Anzahl der beantworteten und nicht beantworteten Fragen innerhalb des ausgewählten Zeitraums und die prozentuale Änderung im Laufe der Zeit an.

Antwortqualität misst die Qualität der Antworten mithilfe von KI. Copilot Studio untersucht eine Beispielmenge beantworteter Fragen und analysiert verschiedene Qualitätsaspekte, einschließlich der Vollständigkeit, Relevanz und Verankerung einer Antwort. Wenn die Antwort einem festgelegten Standard entspricht, beschriftet Copilot Studio die Antwort als Good Qualität. Copilot Studio kennzeichnet Antworten, die diesen Standard nicht entsprechen, als Poor Qualität. Für Poor Antworten weist Copilot Studio einen Grund für die Qualitätsbewertung zu und zeigt den Prozentsatz der Antworten an, die jeder Kategorie zugewiesen wurden.

Bewegen Sie den Mauszeiger über ein beliebiges Segment eines Balkens im Diagramm, um die relative Gewichtung eines einzelnen Grunds für die Qualitätsbezeichnung Gut oder Schlecht anzuzeigen. Die QuickInfo gibt auch die Anzahl der Antworten an, die beim berechneten Prozentwert erfasst werden sollen.

Screenshot des gestapelten Balkendiagramms „Qualität der generierten Antworten“ mit einem Tooltip, der die Metriken zu einzelnen Gründen zeigt

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eine der Qualitätsbezeichnungsgründe, um diesen Grund im Diagramm hervorzuheben.

Screenshot des gestapelten Balkendiagramms „Qualität der generierten Antworten“, wobei der Grund „Irrelevant“ hervorgehoben ist.

Wählen Sie "Fragen anzeigen " aus, um eine ungefilterte Liste aller Fragen innerhalb des konfigurierten Zeitraums anzuzeigen.

Wählen Sie "Details anzeigen " aus, um ein seitenseitiges Panel mit Frageantwortraten, Wissensquellennutzung und Fehlerraten im ausgewählten Zeitraum zu öffnen. Anhand dieser Diagramme können Sie ermitteln, welche Wissensquellen gut geeignet sind, um Benutzern zu helfen, und welche für Verbesserungen in Betracht gezogen werden sollten.

Wenn Ihr Agent über untergeordnete Agents verfügt, wählen Sie im Seitenbereich Alle aus, um Metriken für den Haupt-Agent und die untergeordneten Agents anzuzeigen, Haupt-Agent für Metriken nur für den Haupt-Agent oder Untergeordneter Agent für Metriken nur für untergeordnete Agents.

Screenshot des Bereichs zu Rate und Qualität der generierten Antworten, in dem die Filterung nach Agent-Typ hervorgehoben wird.

  • Nicht beantwortete Fragen zeigen die Gründe, warum der Agent keine Benutzerabfrage beantwortet hat.
  • Wissensquellenverwendung zeigt den Prozentsatz der Sitzungen an, in denen die einzelnen Wissensquellen verwendet werden, auf die der Agent Zugriff hat.
  • Alle Quellen zeigen den Prozentsatz der Fragen an, die jede Wissensquelle verwendet haben.
  • Errors zeigt den Prozentsatz der Abfragen an, die zu einem wissensbezogenen Fehler für jeden Wissensquelltyp geführt haben (z. B. SharePoint).

Wenn Sie unter Alle Quellen weitere Informationen auf der Ebene einer der aufgelisteten Wissensquellen anzeigen möchten, wählen Sie eine einzelne Quelle aus. Die QuickInfo enthält folgende Elemente:

  • Die Gesamtzahl der Fragen, die auf diese Wissensquelle verwiesen haben, sowie die Anzahl der Reaktionen mit Daumen nach oben und Daumen nach unten.
  • Ein gestapeltes Balkendiagramm mit der Aufschlüsselung der Qualität der relativen Antwortgewichtungen für Fragen, die auf diese Wissensquelle verweisen. Bewegen Sie den Mauszeiger über ein Segment im Balkendiagramm, um den Wert der relativen Gewichtung dieses Segments und die Anzahl der Fragen anzuzeigen, die zur Ermittlung dieses Wertes herangezogen wurden.

Screenshot der relativen Gewichtungen der Antwortqualität für eine bestimmte Wissensquelle, mit Tooltip für einen Qualitätswert

Detaillierung zu einer Liste von Agentenfragen

Führen Sie einen Drilldown aus, um bestimmte Fragen anzuzeigen, die zu einer Metrik und dem unterstützenden Kontext beigetragen haben, z. B. wie der Agent reagiert hat, wie Benutzer reagierten und welche Wissensquellen beteiligt waren. Diese Ansicht bietet einen besseren Einblick in die Antwortqualität und hilft dabei, mögliche Lücken in der Wissensabdeckung zu erkennen.

Wichtig

Sie benötigen eine Bot-Transkriptanzeige-Sicherheitsrolle , um die Liste und die zugehörigen Metriken anzuzeigen. Nur Admins können diese Rolle zuweisen, indem sie die Sicherheitsrolle Bottranskriptionsanzeige bei der Freigabe des Agent zuweisen.

Informationen zum Aktivieren dieser Sicherheitsrolle in Ihrer einzel- oder gruppenumgebung finden Sie unter "Konfigurieren von Transkripteinstellungen".

Das Drilldown zur Liste der Fragen wird derzeit für die folgenden Metrikbereiche unterstützt: Generierte Antwortrate und Qualität und Verwendung von Wissensquellen.

Screenshot der generierten Antwortquote und -qualität sowie der Panels zur Nutzung der Wissensquellen auf der Registerkarte

So gelangen Sie zur Detailansicht der Fragenliste:

  • Wählen Sie im Bereich "Generierte Antwortrate und Qualität " die Option "Fragen anzeigen" aus.
  • Bewegen Sie den Mauszeiger im Bereich "Generierte Antwortrate und Qualität" über das Segment und klicken Sie auf Gut oder Schlecht.
  • Wählen Sie im Bereich "Generierte Antwortrate und Qualität " die Prozentmetrik "Beantwortet" oder "Nicht beantwortet" aus.
  • Wählen Sie im Bereich "Wissensquelle" die Option " Details anzeigen " aus, um den Seitenbereich " Wissensquelle" zu öffnen, die gewünschte Quelle auszuwählen, und wählen Sie dann im Popup " Fragen anzeigen " aus.

Die Liste der Benutzerfragen wird basierend auf dem Datenpunkt gefiltert, auf den Sie einen Drilldown durchgeführt haben. Dies spiegelt sich in den Standardfiltereinstellungen oberhalb der Frageliste wider. Wenn Sie beispielsweise das Segment " Irrelevant" der Leiste " Schlecht " in der Kachel " Qualität der generierten Antworten " auswählen, wird für die aufgeführten Fragen der Filter Irrelevant für die Antwortqualität festgelegt.

Wenn gewünscht, können Sie die folgenden Aktionen auf der Listenseite ausführen:

Im Fenster mit der Liste der Fragen wird Folgendes angezeigt:

Kolumne Beschreibung
Frage Die Frage gestellt.
Beantwortet Der Status der generativen KI-Antwort: Beantwortet oder nicht beantwortet.
Antwortqualität Antwortqualität für stichprobenierte Fragen. Mögliche Werte sind Poor und Good.
Reaktion Daumen nach oben, Daumen nach unten oder ohne Reaktion mit einem optionalen textbasierten Kommentar.
Datum Datum, an dem die Frage beantwortet wurde.
Wissensquelle Liste der in der Agentantwort zitierten Wissensquellen.

Um weitere Informationen zu erhalten, wählen Sie "Details zu jeder Frage anzeigen" aus, um den Seitenbereich "Fragendetails" zu öffnen. Dieses Panel bietet zusätzliche Einblicke in die Antwortqualität, die jeder Frage zugeordnet ist.

Detaillierter Parameter auf Frageebene Beschreibung
Zeitstempel Zeitstempel des letzten Zeitpunkts, an dem die Frage beantwortet wurde.
Benutzerabfrage Die Frage gestellt.
Antwort Die generative KI-Antwort.
Daumen nach oben / Daumen nach unten Wert für die neueste Instanz dieser Frage für den Daumen hoch/Daumen runter-Parameter.
Kommentar Optionaler zusätzlicher textbasierter Kommentar, der vom Benutzer zusätzlich zur Reaktion "Daumen hoch/Daumen runter" bereitgestellt wird.
Antwortqualität1 Antwort auf die Frage, welche Qualität der Antwort auf die Benutzerabfrage war. Mögliche Werte sind Poor und Good.
Grund2 In dem Fall, in dem die Antwortqualität lautet Poor, erklärt dieser Parameter, warum.

1 Antwortqualität ist nicht immer verfügbar und wird nur angezeigt, wenn die Frage zur Qualitätsanalyse untersucht wurde.

2 Wenn die Antwortqualität ist Good oder wenn die Frage nicht stichprobeniert wurde, wird dem Parameter Reason kein Wert zugewiesen.

Toolverwendung

Der Abschnitt "Toolverwendung " zeigt ein Diagramm und Metriken, mit denen nachverfolgt wird, wie oft Ihre Tools im Laufe der Zeit gestartet werden und wie oft Ihr Agent diese Tools erfolgreich verwendet hat. Außerdem werden Trendindikatoren für die Häufigkeit der Verwendung der einzelnen Tools durch den Agent und der Prozentsatz der aufgerufenen Tools angezeigt, die erfolgreich verwendet werden.

Das Diagramm zeigt die fünf wichtigsten Tools an, die über dem datumszeitraum verwendet werden, der oben auf der Analyseseite definiert ist.

Bewegen Sie in der Legende unterhalb des Diagramms den Mauszeiger über eines der Tools, um dieses Tool im Diagramm hervorzuheben.

Screenshot des Diagramms „Toolnutzung“ mit einem hervorgehobenen Tool

Wenn Sie ein seitenseitiges Panel mit einer Liste aller Tools öffnen möchten, die in dem angegebenen Zeitraum verwendet werden, zusammen mit Trendindikatoren, wählen Sie "Details zum Diagramm anzeigen" aus. Im Bereich Toolnutzung können Sie Berechnungen des Prozentsatzes der für jedes Tool verwendeten Fragen anzeigen. Wenn Ihr Agent über untergeordnete Agents verfügt, können Sie festlegen, dass Berechnungen sowohl für den Haupt-Agent als auch für untergeordnete Agents angezeigt werden sollen (Alle) oder nur für den Haupt-Agent oder nur für den Untergeordneten Agent.

Screenshot des Diagramms zur Toolnutzung und der Metriken.

Screenshot des Bereichs „Toolnutzung“, in dem die Filterung nach Agent-Typ hervorgehoben wird

Zufriedenheit

Der Bereich Zufriedenheit zeigt Nutzerfeedback, das aus Reaktionen auf Agentenantworten, Umfrageergebnissen und Sentiment-Score für eine Sitzung gesammelt wird. Die Zufriedenheit ist in zwei Unterabschnitte unterteilt: einen Bereich Reaktionen , der Daumen hoch, Daumen runter und Nutzerkommentare für spezifische Agentenantworten zeigt, sowie einen Bereich Umfrageergebnisse , der den expliziten Kundenzufriedenheitsscore (CSAT) und die KI-basierte Sentimentanalyse für die gesamte Sitzung darstellt.

Feedbackdaten werden in der Transkripttabelle für Unterhaltung in Dataverse gespeichert. Eine Liste der Kanäle, die diese Funktion unterstützen, finden Sie unter Details zu der Funktion.

Reaktionen

Im Abschnitt Reaktionen wird Benutzerfeedback gesammelt, das aus Reaktionen auf Agentenantworten und Umfrageergebnissen für eine Sitzung stammt. Das Diagramm zählt, wie oft Benutzer entweder die Schaltfläche Daumen hoch (positiv) oder Daumen runter (negativ) ausgewählt haben, die für jede Antwort verfügbar ist, die sie von Ihrem Agenten erhalten haben.

Das Antwortreaktionsdiagramm.

Nachdem ein Benutzer eine Reaktion bereitgestellt hat, kann er einen Kommentar hinterlassen. Um Kommentare anzuzeigen, wählen Sie "Details anzeigen" aus. Im Kommentarfeld Reaktion wählen Sie All, Daumen hoch oder Daumen runter , um Kommentare zu filtern.

Anmerkung

  • Agenten, die im Microsoft 365 Copilot-Channel veröffentlicht werden, unterstützen keine Reaktionen.
  • Zum Anzeigen von Kommentaren müssen Sie über die Sicherheitsrolle Bot-Transkript-Viewer verfügen.

Wählen Sie für jede Reaktion den Umschalter neben dem Kommentar aus, um die zugehörige Benutzerabfrage und Agent-Antwort anzuzeigen. Auf der Analyseseite werden Benutzerabfragen und Agentantworten für bis zu 28 Tage gespeichert.

Screenshot des Bereichs

Benutzerfeedback ist standardmäßig aktiviert . Sie können dieses Feature bei Bedarf deaktivieren. Sie können auch einen Haftungsausschluss für Benutzer hinzufügen oder bearbeiten, in dem dargelegt ist, wie ihr Feedback verwendet wird:

  1. Öffnen Sie den Agent, wechseln Sie dann zu "Einstellungen", und suchen Sie den Abschnitt " Benutzerfeedback" .

  2. Aktivieren Sie die Möglichkeit, dass Benutzer Feedback geben können, wenn sie diesen Agenten verwenden, und schalten Sie dies entweder ein oder aus.

  3. Fügen Sie einen Haftungsausschluss hinzu (oder bearbeiten Sie einen vorhandenen Haftungsausschluss), damit Benutzer wissen, wie ihr Feedback verwendet wird. Sie können auch Datenschutzinformationen und Tipps bereitstellen.

Nutzerzufriedenheit bei Sitzungen

Der Abschnitt Nutzerzufriedenheit für Sitzungen zeigt Informationen zur Nutzerzufriedenheit basierend auf Nutzerbefragungsergebnissen und KI-Analyse der Stimmung in einer Stichprobe von Sitzungen:

Screenshot der Nutzerzufriedenheit für Sitzungen-Kachel.

  • Umfragezufriedenheitswert: Ein Wert von 5, berechnet aus den durchschnittlichen Kundenzufriedenheitswerten (CSAT) für Sitzungen, in denen Nutzer auf Anfragen am Ende der Sitzung zur Teilnahme an einer Umfrage reagierten.

    Anmerkung

    Die Bewertungen von 1 und 2 werden zugeordnet als Nicht zufrieden, eine Bewertung von 3 wird als Neutral betrachtet, und die Bewertungen von 4 und 5 werden zugeordnet als Zufrieden.

  • Zufriedenheit nach Sitzung: Ein gestapeltes Balkendiagramm, das die relative Gewichtung für jede der Umfragebewertungskategorien darstellt, nämlich Dissatisfied, Neutral, und Satisfied. Fahren Sie mit der Maus über jedes Segment des Diagramms, um die Größe der Stichprobe und den numerischen Wert der Gewichtung jeder Score-Kategorie zu sehen.

  • Sentimentanalyse (Vorschau): Eine ergänzende Kennzahl zum Umfrageergebnis. Diese Metrik nutzt KI, um Nutzernachrichten aus einer Stichprobe von Sitzungen zu analysieren und so die Gesamteinstellung des Nutzers für den Agenten zu bewerten. Der numerische Wert stellt den Prozentsatz der Sitzungen mit negativer Nutzerstimmung dar.

Wählen Sie Details anzeigen, um vertieft in die Sentiment-Daten für die relative Gewichtung jeder der Sentiment-Kategorien (nämlich Positive, Neutral, und Negative) einzutauchen und um zu sehen, wie sich die Zufriedenheitskennzahlen über den im Bericht konfigurierten Zeitraum entwickeln.

Screenshot des Trenddiagramms Zufriedenheitsbewertung.

  • Last updated on