エージェントのパフォーマンスを理解することは、ユーザー体験の向上やビジネス目標の達成に重要です。 Copilot Studio エージェントには、組み込みの分析と KPI と、カスタム分析とレポートを作成するオプションが含まれています。 これらの指標を定期的に見直し、ギャップを特定することで、エージェントのパフォーマンスを継続的に最適化できます。
エンゲージメント率の測定
会話型エージェントのエンゲージメント率は、分析セッションのうちどれだけの割合がエンゲージドと分類されているかを測ります。 ユーザーがエージェントとやり取りするか、エージェントがユーザーに最初のメッセージを送信した時点で、セッションは 非関与 状態で開始されます。 セッションは、カスタムトピックがトリガーされるか、会話が以下のシステムトピックに入るとアクティブになります: 会話ブースティング、エスカレート、またはフォールバック。
高いエンゲージメント率は、エージェントがユーザーをトピックに導くことに成功していることを意味します。 エンゲージメント率が低い場合は、トピックカバレッジのギャップや、ユーザーがエージェントの能力について不明瞭であることを示します。 エージェントの分析ダッシュボードでエンゲージメント率を監視できます。
詳細は Measureのエージェントエンゲージメントをご覧ください。
セッションの成果を追跡
セッションの結果は、会話の終了状態を決定します。 関与したセッションの結果は解決、放棄、またはエスカレーションされることがあります。
解決したセッションは 無事に終了します。
「会話終了」トピックがトリガーされ、ユーザーがクエリに回答したことを確認すると、 解決 済みの結果が確認されます。 ユーザーは顧客満足度スコア(CSAT)を入力するオプションがあります。 これらの理由から、会話を「会話の終わり」トピックで締めくくるよう設計することが推奨されます。
暗黙の解決済み結果は、ユーザーの確認なしにセッションが終了しても、エージェントのロジックが解決済みと判断した場合に発生します。
エスカレートされたセッション は、エージェントがEscalateトピックに入るか、Transfer Conversationノードを使用したときに発生します。
放棄セッション は、セッションが解決またはエスカレーションされることなく終了したときに発生します。
会話の成果はエージェントの分析ダッシュボードで確認できます。
詳細は 「エージェント成果の測定」をご覧ください。
分析戦略を選択してください
Copilot Studio では、各エージェントの詳細な分析が提供され、使用パターンやその他の主要業績評価指標に関する分析情報が提供されます。 詳細は 分析の概要をご覧ください。 カスタム レポートでは、Copilot Studio によって生成された分析データを使用できます。 カスタムレポートを作成する際は、データをどこにどのように保存するかを計画しましょう。 詳細は 「カスタム分析戦略の開発」をご覧ください。
最適化戦略を定義する
Copilot Studio で構築されたエージェントを時間の経過と共に改善し、投資収益率と顧客満足度を向上させます。
エージェントのパフォーマンスを毎月見直し、以下の項目に注目してください:
- 転送率: リクエストのうちセルフサービスで完了した割合。
- 解決率:セッション終了時に解決した結果が得られた割合。
- エンゲージメント率：セッションの中でエンゲージメントが発生した割合。
- 解像度が低いトピック:個々のトピックの解決率。
- 認識されない発話:カスタムトピックをトリガーしなかったフレーズ。
- チャネルごとの分析:チャネル間のパフォーマンス差を特定する指標。
詳細は 「偏向概要」をご覧ください。
ユーザーの賛成（親指を立てる）と反対（親指を下げる）のフィードバックやコメントを収集する。
ユーザーは、サムズアップボタンやサムダウンボタンを使って、エージェントからのメッセージに反応を伝えることができます。 ユーザーがリアクションボタンを選択したら、コメントでより詳細なフィードバックを残すよう促します。 過去 28 日間のすべてのリアクションとコメントは、Copilot Studio 内のエージェントの [分析] タブで確認できます。
詳しくは リアクションをご覧ください。
テーマごとにユーザー質問を分析する
Copilot Studio は、Generative AI 応答をトリガーするすべてのユーザーの質問を分析し、それらを共通のテーマにグループ化します。 テーマは、ユーザーがどんな質問をしているのか、エージェントがどのように機能しているのかを理解するのに役立ちます。 各テーマの関連する質問や回答の質の指標をすべて確認できます。
詳細は 「テーマ別ユーザー質問分析」をご覧ください。
Copilot Studio Kit で会話 KPI を表示する
エージェントのパフォーマンスを追跡するための会話の主要業績評価指標 (KPI) も、Copilot Studio Kit の一部として提供されます。
Copilot Studio Kit には、次の利点があります。
- Dataverseにエージェント用の集約されたメトリクスを保存
- KPIデータを長期追跡のために保持する
- KPIの一部として追跡する特定の変数を定義し、例えばネットプロモータースコア(NPS)など
- 会話の全記録とKPI記録を保存してください
- サンプル Power BI レポートを拡張してカスタム レポートを作成する
詳細については、 Copilot Studio Kit の会話 KPI を使用したエージェントパフォーマンスの追跡に関するページを参照してください。
次のステップ
会話量、セッションの質、再利用パターンなどのシグナルを解釈し、ユーザーがエージェントとどのようにやり取りしているかを理解しましょう。