Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Diese häufig gestellten Fragen (FAQ) beschreiben den AI-Effekt von Analyseunterstützungsfeatures in Copilot Studio.
Wie wird generative KI für Analysen verwendet?
Copilot Studio verwendet KI, um die Qualität der generativen Antwortantworten zu messen und Cluster zu erstellen, die verwendet werden, um Einblicke in die Agentleistung zu liefern.
Generierende Antworten verwenden Wissensquellen Ihrer Wahl, um eine Antwort zu generieren. Die Funktion sammelt auch Feedback, das Sie bereitstellen. Analysen verwenden große Sprachmodelle (Large Language Models, LLMs), um die Chatnachrichten zwischen Benutzern und Agents in Ebenen zu klassifizieren, die die Qualität der generativen Antworten angeben. Copilot Studio kompiliert diese Indikatoren, um den Herstellern eine Zusammenfassung der Gesamtleistung eines Agents zu geben.
Bei der Gruppierung (Clustering) kommen LLMs zum Einsatz, um die Nachrichten von Benutzern basierend auf gemeinsamen Themen in Gruppen einzuordnen und jeder Gruppe einen beschreibenden Namen zu vergeben. Copilot Studio verwendet die Namen dieser Cluster, um verschiedene Arten von Erkenntnissen bereitzustellen, die Sie verwenden können, um Ihren Agent zu verbessern.
Qualität der Antworten für generative Lösungen
Was ist der beabsichtigte Verwendungszweck der Qualität der Antwort?
Erstellende nutzen die Analysen zur Antwortqualität, um Einblicke in die Nutzung und Leistung von Agents zu erhalten und dann Aktionen zur Verbesserung des Agents zu erstellen. Derzeit können Analysen genutzt werden, um zu verstehen, ob die Qualität der generativen Antworten eines Agenten den Erwartungen des Herstellers entspricht.
Neben der Gesamtqualität identifiziert die Qualitätsanalyse der Antwort Bereiche, in denen ein Agent schlecht abschneidet oder die beabsichtigten Ziele des Herstellers nicht erfüllt. Hersteller können Bereiche definieren, in denen generative Antworten schlecht abschneiden, und Maßnahmen ergreifen, um deren Qualität zu verbessern.
Darüber hinaus gibt es bei der Identifizierung schlechter Leistung bewährte Methoden, mit denen die Qualität verbessert werden kann. Beispielsweise können Erstellende nach der Identifizierung von Wissensquellen mit schlechter Leistung die Wissensquelle bearbeiten oder die Wissensquelle in mehrere, fokussiertere Quellen für eine höhere Qualität aufteilen.
Welche Daten werden verwendet, um Analysen der Antwortqualität zu erstellen?
Die Qualität der Antwortanalysen wird anhand einer Stichprobe von generativen Antwortantworten berechnet. Sie benötigt die Benutzerabfrage, die Agent-Antwort und die relevanten Wissensquellen, die das generative Modell für die generative Antwort verwendet.
Die Analyse der Antwortqualität verwendet diese Informationen, um zu bewerten, ob die Qualität der generativen Antwort gut ist, und wenn dies nicht der Fall ist, warum die Qualität schlecht ist. Beispielsweise kann die Qualität der Antwort auf unvollständige, irrelevante oder nicht vollständig fundierte Antworten hinweisen.
Welche Einschränkungen gelten für die Analyse der Antwortqualität und wie können Benutzer die Auswirkungen der Einschränkungen minimieren?
Die Analyse der Antwortqualität wird nicht unter Verwendung aller generativen Antworten berechnet. Stattdessen bewertet die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Wenn Agenten unter einer Mindestanzahl von erfolgreichen generativen Antworten liegen, ist keine analytische Zusammenfassung der Antwortqualität möglich.
Es gibt Fälle, in denen Analysen eine einzelne Antwort nicht genau bewerten. Auf aggregierter Ebene sollte sie jedoch für die meisten Fälle genau sein.
Quality of Response-Analysen liefern keine Aufschlüsselung der spezifischen Anfragen, die zu einer schlechten Qualität geführt haben. Sie bieten auch keine Aufschlüsselung allgemeiner Wissensquellen oder Themen, die bei Antworten mit niedriger Qualität verwendet wurden.
Analysen werden nicht für Antworten berechnet, die generatives Wissen verwenden.
Die Vollständigkeit der Antworten ist eine der Kennzahlen, die zur Bewertung der Antwortqualität verwendet werden. Diese Kennzahl misst, wie vollständig die Antwort den Inhalt des abgerufenen Dokuments adressiert.
Wenn das System kein relevantes Dokument mit zusätzlichen Informationen für die Frage abruft, bewertet es die Vollständigkeitsmetrik für dieses Dokument nicht.
Welche Schutzmaßnahmen gelten für die Qualität der Antwortanalysen in Copilot Studio für verantwortungsvolle KI?
Benutzer von Agents sehen keine Analyseergebnisse; diese sind nur für Agent-Erstellende und -Administrierende verfügbar.
Erstellende und Administrierende können Analysen der Antwortqualität nur verwenden, um den Prozentsatz der Antworten guter Qualität und alle vordefinierten Gründe für schlechte Leistung anzuzeigen. Erstellende können nur den Prozentsatz der Antworten guter Qualität und die vordefinierten Gründe einsehen.
Wir haben Analysen der Antwortqualität während der Entwicklung gründlich getestet, um eine gute Leistung sicherzustellen. In seltenen Fällen können die Bewertungen der Qualität der Antworten jedoch ungenau sein.
Sentimentanalyse für Gesprächssitzungen
Was ist die beabsichtigte Verwendung der Sentimentanalyse?
Maker nutzen eine Sentiment-Analyse, um das Zufriedenheitsniveau der Nutzer in Gesprächssitzungen anhand einer KI-Analyse der Nutzernachrichten an den Agenten zu verstehen. Maker können die Gesamtstimmung der Sitzung (positiv, negativ oder neutral) verstehen, die Gründe untersuchen und Maßnahmen ergreifen, um sie zu adressieren.
Welche Daten werden verwendet, um Gefühle in einer Gesprächssitzung zu definieren?
Copilot Studio berechnet die Stimmungsanalyse basierend auf Benutzernachrichten an den Agent für einen Beispielsatz von Unterhaltungssitzungen.
Sentiment Analytics nutzt diese Informationen, um zu bewerten, ob die Nutzerzufriedenheit während der Sitzung positiv, negativ oder neutral ist. Zum Beispiel kann ein Nutzer Worte und einen Tonfall verwenden, die Frustration oder Unzufriedenheit anzeigen, basierend auf der Interaktion mit dem Agenten. In diesem Fall wird die Sitzung als negative Stimmung eingestuft.
Was sind die Einschränkungen der Sentiment-Analyse und wie können Nutzer diese Einschränkungen abmildern?
Sentiment-Analysen werden nicht mit allen Konversationssitzungen berechnet. Stattdessen bewertet die Analyse eine Stichprobe von Benutzer-Agent-Sitzungen. Agenten unter einer Mindestanzahl täglich erfolgreicher generativer Antworten können keinen Sentiment-Score erhalten.
Die Sentimentanalyse ist derzeit von generativen Antworten abhängig und erfordert eine Mindestanzahl täglich erfolgreicher Antworten, um den Sentiment-Score für den Makler zu berechnen.
Um die Stimmung für eine Sitzung zu berechnen, müssen mindestens zwei Nutzernachrichten vorhanden sein. Außerdem wird aufgrund aktueller technischer Einschränkungen keine Sentiment-Analyse bei Sitzungen durchgeführt, die insgesamt 26 Nachrichten umfassen (einschließlich Nutzer- und Agentennachrichten)
Die Sentiment-Analyse liefert keine Aufschlüsselung der spezifischen Nutzernachrichten, die zum Sentiment-Score geführt haben.
Welche Schutzmaßnahmen sind für die Stimmungsanalyse in Copilot Studio für verantwortungsvolle KI vorhanden?
Benutzer von Agents sehen keine Analyseergebnisse; diese sind nur für Agent-Erstellende und -Administrierende verfügbar.
Maker und Administratoren können nur mit einer Sentimentanalyse die Aufschlüsselung der Stimmung über alle Sitzungen hinweg sehen.
Wir haben die Sentimentanalyse während der Entwicklung gründlich getestet, um eine gute Performance sicherzustellen. In seltenen Fällen können Sentiment-Bewertungen jedoch ungenau sein.
Themen von Benutzerfragen
Was ist der beabsichtigte Verwendungszweck von Themen?
Diese Funktion analysiert automatisch große Mengen von Benutzerabfragen und gruppiert sie in übergeordnete Themen, die als Themen bezeichnet werden. Jedes Thema stellt ein allgemeines Thema dar, über das Benutzer Fragen gestellt haben. Themen bieten eine unüberwachte, datengesteuerte Darstellung von Benutzerinhalten. Diese Ansicht hilft Teams zu verstehen, was Benutzer am meisten interessiert, ohne den manuellen Schritt der Überprüfung von Tausenden von Abfragen ausführen zu müssen.
Welche Daten werden zum Erstellen von Clustern verwendet?
Die Funktion „Themen“ verwendet Benutzerabfragen, die generative Antworten auslösen. Designs analysieren alle Abfragen aus den letzten sieben Tagen, um neue vorgeschlagene Designs zu generieren.
Themen verwenden semantische Ähnlichkeit, um Abfragen zu gruppieren. Anschließend wird ein Sprachmodell verwendet, um den Titel und die Beschreibung für jeden Cluster zu generieren. Feedback von Nutzern (z. B. Daumen nach oben/unten) wird ebenfalls erfasst, um die Qualität der Gruppierung zu verbessern.
Was sind die Einschränkungen des Clustering für Designs, und wie können Benutzer diese Einschränkungen mildern?
Das erfolgreiche Gruppieren in Themen hängt vom Abfragevolumen ab. Wenn nicht genügend Abfragen vorhanden sind oder die Abfragen zu wenig miteinander verknüpft sind, kann Copilot Studio Abfragen in Themen clustern, die zu breit oder zu eng sind.
Themen können gelegentlich ähnliche Themen aufteilen oder nicht zusammenhängende zusammenführen.
Änderungen der Sprache in Abfragen wirken sich möglicherweise im Laufe der Zeit auf die Konsistenz von Clustern aus.
Ersteller können Themen regelmäßig überprüfen und Feedback geben, um die Qualität der Benennung zu verbessern.
Welche Schutzmaßnahmen für Themen sind in Copilot Studio im Hinblick auf verantwortungsvolle KI vorhanden?
Themen sind nur für Ersteller und Administratoren sichtbar. Die Inhaltsmoderation wird beim Generieren von Namen und Beschreibungen angewendet, um das Risiko schädlicher oder unangemessener Ergebnisse zu verringern.