Copilot Studio の Analytics ページには、analytics セッション全体にわたるエージェントの全体的な有効性に関する集計された分析情報が表示されます。 このページは、異なるパフォーマンスのコンテキストに焦点を当てたコア領域に分割されています。 また、このページには、エージェントの高レベルの主要業績評価指標 (KPI) メトリックを提供する [概要 ] 領域、エージェントまたはエージェントのツールに起因する時間とコストの節約を分析する [節約 ] 領域、およびエージェントのパフォーマンスに関する主要な分析情報を提供する [概要 ] 領域も表示されます。
詳細情報は、次のとおりです。
- [概要] 領域と [概要] 領域については、「分析の概要」を参照してください。
- 節約領域については、「エージェントの時間とコスト削減の分析」を参照してください。
会話型エージェントの効果性を検証、改善する際には、以下の 6 つの重点領域に焦点を当てる必要があります:
- テーマ: テーマ は、ユーザーの質問を AI が提案するカテゴリにクラスタリングすることで、分析の分析情報を得るのに役立ちます。
- 会話の結果: 会話の最終的な結果を知ることで、エージェントが成功している場所と改善が必要な場所を特定し始めるのに役立ちます。
- エージェント: 子エージェントと接続済みエージェントの通話量指標、成功率、現在のステータスを確認します。
- 生成された回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する時期と、ナレッジ ソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
- ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
- 満足度: ユーザーのフィードバックを確認すると、新しいユーザー のシナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。
過去 90 日間に発生したイベントの分析を表示できます。
会話の結果
会話の結果 セクションには、エージェントとユーザー間の各セッションにおける結果の種類を追跡するグラフが表示されます。
グラフは、積み上げヒストグラムまたは積み上げ面グラフのいずれとして表示されるかに関係なく、色分けされ、種類別に積み上げられた結果の相対的な量を視覚化します。 解決済み、エスカレーション済み、破棄済み、および エンゲージメントなし はそれぞれ、各データ ポイントのそれぞれの色で表されます。 y 軸はセッション数を示します。
1 つのデータ ポイント (特定の日) に固有の個々の結果に関するメトリックを表示するには、関心のある日の指定された結果の色 (たとえば、キャンセル済みを示すティール色) を表す領域にマウスカーソルを合わせてください。 この例では、11 月 24 日にすべてのセッション結果の 35.6% を表す 90 の破棄されたセッションがありました。
グラフの下の凡例で、いずれかの結果ラベルにカーソルを合わせると、グラフ内でその結果が強調表示されます。
積み上げ面グラフの結果を表示または非表示にするには、凡例ラベルの 1 つまたは複数を選択 (オンまたはオフ) します。 これを行って、次の場合に残っている結果をより明確にします。
- 個々の結果行が視覚的にまとまって表示されます。
- 傾向線が正または負の傾向にあるが、グラフ上の積み上げ結果の集計によってこれらの傾向線がフラット化されている場合、より明確に表示したいと考えます。
注意
この方法でグラフから結果を削除すると、表示された結果の大きなプールからその結果が削除されます。 表示された結果を削除すると、比率の分母が変更されるため、プールに対する残りの結果の表示パーセント値が変更されます。
次の例では、グラフから エスカレーション済み ラベルと エンゲージメントなし ラベルが削除されています。 ヒントは、11 月 23 日に破棄されたセッションが 95 件あることを示しています。これは、グラフに表示されている残りの結果の 60.5% ( 解決済み + 破棄済み 結果の合計) を表しています。
会話の結果データ (グラフに視覚化されたデータ) をダウンロードするには、メニュー アイコン 
を選択し、[ CSV のダウンロード] を選択します。
注意
ダウンロード時にグラフから結果を削除した場合、そのデータは CSV に表示されません。
会話の結果に関する詳細情報を含むサイド パネルを開くには、グラフで 詳細を表示 を選択します。 会話の結果 サイド パネルには次のものが含まれます。
- セッション の結果の円グラフの内訳。解決済み、エスカレーション済み、および破棄済み 結果の相対的な重み付け (パーセント表示) を示しています。
- 解決されたすべてのセッション結果を説明する、解決済み確認済み と 暗黙的解決済み の結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
- エスカレーションされたすべてのセッション結果を説明する、システムが意図した、システムが意図しない、および ユーザーが要求した 結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
- 各結果につながった上位のトピック。
注意
生のカウント情報を含むヒントを表示するには、円グラフまたは積み上げ横棒グラフセグメントのいずれかにカーソルを合わせます。
セッション は、次の 2 つの状態のいずれかになります。
エンゲージメントなし: ユーザーがエージェントと対話するか、エージェントがユーザーにプロアクティブ メッセージを送信すると、セッションが開始されます。 セッションは 従事していない 状態で始まります。
エンゲージ: ユーザーはエージェントとアクティブに対話します。 エージェントのオーケストレーション モードに基づく動作には違いがあります。
クラシック オーケストレーション: セッションは、以下のいずれかのトピックがトリガーされたときにエンゲージされます。
- ユーザーが直接トリガーするカスタム トピック
- トピックを優先する
- フォールバック トピック
- 会話強化のトピック
生成 AI オーケストレーション: セッションは、ユーザーが直接プランをトリガーし、以下の要素のいずれかを含む場合に開始されます。
- 非システム トピック
- トピックを優先する
- フォールバック トピック
- 知識の源泉
- ツール
関与したセッションには、次のいずれかの結果があります。
| 結果カテゴリ | 結果 | 説明 |
|---|---|---|
| 解決済み | セッションは正常に終了します。 解決されたセッションには、解決済みの確認済みセッションと暗黙的な 解決 済みセッションの 2 種類 があります。 | |
| 解決済み確認済み | セッションは、会話の終了 トピックがトリガーされ、ユーザーが対話が成功したことを確認した時点で 解決済み確認済み と見なされます。 | |
| 暗黙的解決済み | セッションは、ユーザーによる確認なしに、代わりにエージェントのロジックに基づいて完了した場合に、暗黙的解決済み と見なされます。
解決済みの暗黙的な状態は、エージェントがクラシック AI オーケストレーションと Generative AI オーケストレーションのどちらを使用しているかによって異なります。 - クラシック オーケストレーション: セッションは、会話の終了 トピックがトリガーされ、ユーザーが確認を提供せずにセッション タイムアウトを許容した場合に、暗黙的解決済み と見なされます。 - 生成 AI オーケストレーション: セッションは、セッションがタイムアウトし、アクティブなプランが残っていない場合に、暗黙的に解決済み と見なされます。 アクティブなプランは、ユーザーの入力を待機しているプランです。 |
|
| エスカレーションが完了しました | エスカレーション トピックがトリガーされるか、エージェントに転送 ノードが実行されると、セッションは終了し、エスカレート済みと見なされます (会話がライブ チャット オペレーターに転送されるかどうかに関係なく、現在の分析セッションは終了します)。 エスカレーションされたセッションには、 システムが意図した、 システムが意図しない、およびユーザーが要求した の 3 種類があります。 | |
| システムの意図 | 作成者によって設定された自動ビジネス ルールの結果として、セッションが自動的にエスカレートされます。 エスカレーションは会話の結果として予想されるものであり、調査や変更が必要なことではありません。 例: ユーザーが 25,000 ドルを超える情報をサード パーティに転送する。 この量がビジネス ルールのしきい値を超えると、結果としてセッションが自動的にエスカレートされます。 |
|
| システムの予期しない動作 | エスカレーションは、セッションが作成者によって設定された 1 つ以上のしきい値を超えた結果として自動的に発生します。 通常、この結果はユーザーが会話に詰まっており、助けを必要としていることを示します。 例: セッションが特定のタスクを実行するために 3 回失敗した後にエスカレートされる。 |
|
| ユーザーが要求した | 会話中に明示的なユーザー要求があったため、セッションはエスカレートされます。 例: ユーザーが Transfer me to an agent を入力する。 |
|
| 中止 | 実行中のセッションが 30 分後にタイムアウトし、解決済みまたはエスカレーション済み状態に到達しなかった場合、セッションは終了し、放棄済み と見なされます。 |
ツール コード エディターを使用して、 conversationOutcome パラメーターを使用してツールの結果を設定することもできます。 たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。
エンゲージメントの測定に関するガイダンス文書をご参照ください。測定や改善の方法に関する提案やベストプラクティスが示されています。
エージェント
エージェント一覧には、メイン エージェントの接続済みエージェントおよび子エージェントに関する、高レベルのボリューム、パフォーマンス、ステータス指標が表示されます。 一覧では、種類列において、記載されたエージェントがメインエージェントと持つ関係の種類を識別します。 エージェントが子エージェントの場合、その種類は Child となります。 接続されたエージェントには、作成された場所を反映する一覧の種類があります (例: Copilot Studio、Azure AI Foundry)。 各リストされたエージェントの通話 メトリクスは、メイン エージェントから接続済みまたは子エージェントへの通話量を表します。
成功率は、正常に完了した通話の割合 (すべての通話の割合) を反映します。
状態は、接続されているエージェントと子エージェントごとの個々の管理状態を示します。
既定では、エージェントの一覧にはメイン エージェントの接続済み子エージェント上位 5 件が表示され、質問総数の多い順にランク付けされます。 5 つ以上のエージェントがある場合は、すべて表示するを選択してすべてのエージェントを表示します。
注意
すべて表示ボタンは、メイン エージェントに接続されているエージェントまたは子エージェントが 5 つ以上存在する場合にのみ表示されます。
生成された回答の評価と品質 (プレビュー)
重要
この記事にはプレビュー ドキュメントMicrosoft Copilot Studio含まれており、変更される可能性があります。
プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。
運用対応エージェントを構築する場合は、「Microsoft Copilot Studio 概要を参照してください。
生成型回答では、エージェントは AI を使用して、ナレッジソースと提供された指示に基づいて、ユーザーの質問に対する回答を生成できます。 ただし、エージェントがすべてのユーザー クエリに応答できない場合があります。 [生成された回答率と品質] セクションでは、応答のないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。
回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う変化率が表示されます。
回答の品質 は、AI を使用して回答の品質を測定します。 Copilot Studio では、回答された質問のサンプル セットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。 回答が一定の標準を満たしている場合、Copilot Studio は回答に Good 品質のラベルを付けます。 Copilot Studio では、その標準を満たしていない回答が Poor 品質としてラベル付けされます。 Poor回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を表示します。
グラフ内の棒グラフの任意のセグメントにカーソルを合わせると、良い または 悪い 品質ラベルの個々の理由の相対的な重みが表示されます。 ヒントには、計算されたパーセント値に到達するためにサンプリングされた回答の数も示されます。
グラフの下の凡例で、いずれかの品質ラベル理由にカーソルを合わせると、グラフ内でその理由が強調表示されます。
[ 質問の表示 ] を選択すると 、構成された期間内のすべての質問のフィルター処理されていない一覧が表示 されます。
[ 詳細を表示] を選択すると、選択した期間の質問回答率、ナレッジ ソースの使用状況、エラー率を含むサイド パネルが開きます。 これらのグラフを使用して、ユーザー支援に効果的なナレッジソースと、改善すべき対象を特定できます。
エージェントに子エージェントがある場合、サイドパネルですべてを選択すると、メイン エージェントと子エージェントの両方のメトリクスが表示されます。それぞれをを選択するとメインエージェントのみのメトリクスが、子エージェントのみのメトリクスが表示されます。
- 未回答の質問は、 エージェントがユーザー クエリに応答しなかった理由を示しています。
- ナレッジソースの使用 エージェントがアクセスできる各ナレッジソースを使用したセッションの割合を示します。
- すべてのソース には、各ナレッジ ソースを使用した質問の割合が表示されます。
- Errors は、ナレッジ ソースの種類 (SharePoint など) ごとにナレッジ関連のエラーが発生したクエリの割合を示します。
すべてのソースで、一覧表示されているナレッジ ソースのいずれかのレベルで詳細情報を表示するには、個々のソースを選択します。 ヒントには次のものが含まれます:
- このナレッジ ソースを参照した質問の総数、サムアップとサムダウンの反応の数。
- このナレッジソースを参照する質問に対する回答の質の内訳を相対的な重み付けで示す積み上げ棒グラフ。 棒グラフの任意のセグメントにカーソルを合わせると、そのセグメントの相対的な重み付け値と、その値を算出するためにサンプリングされた質問数が表示されます。
エージェントの質問を詳しく調べる
ドリルダウンして、メトリックとサポート コンテキストに貢献した特定の質問 (エージェントの応答方法、ユーザーの反応、関連するナレッジ ソースなど) を表示します。 このビューは、応答の品質に関するより良い分析情報を提供し、ナレッジ カバレッジの可能性のあるギャップを特定するのに役立ちます。
重要
リストとそのメトリックを表示するには、 Bot Transcript Viewer セキュリティ ロールが必要です。 管理者のみが、エージェントの共有時に ボット トランスクリプト ビューアー セキュリティ ロールを割り当てる ことで、このロールを付与することができます。
単一またはグループ環境でこのセキュリティ ロールを有効にするには、「 トランスクリプト設定を構成する方法」を参照してください。
現在、質問の一覧へのドリルダウンは、生成された回答率と品質、ナレッジ ソースの使用に関するメトリック パネルでサポートされています。
![[分析] タブの [生成された回答率と品質とナレッジ ソースの使用] パネルのスクリーンショット。](media/analytics-themes/generated-answer-knowledge-source-panel.png)
質問ウィンドウの一覧にドリルダウンするには:
- [ 生成された回答率と品質 ] パネルで、[ 質問の表示] を選択します。
- [生成された回答率と品質] パネルで、上にマウス ポインターを合わせ、[良い] または [低] の回答バー セグメントを選択します。
- [生成された回答率と品質] パネルで、[回答済み] または [未回答] の質問の割合メトリックを選択します。
- [ナレッジ ソースの使用] パネルで、[詳細を表示] を選択して [ナレッジ ソースの使用] サイド パネルを開き、目的のソースを選択して、ポップアップで [質問の表示] を選択します。
ユーザーの質問リストは、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、質問リストの上の既定のフィルター設定に反映されます。 たとえば、[生成された回答の品質] タイルで [低品質] バーの不適切なバー セグメントを選択すると、一覧に表示されている質問に対して [応答品質] フィルターがIrrelevantに設定されます。
必要に応じて、リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用して質問の一覧をさらに絞り込みます。
- 評価のテスト メソッドで定義した条件に従って、一覧表示されている質問を評価します。
- 一覧表示されている質問を .csv ファイルとしてダウンロードします。
質問ウィンドウの一覧には、次のものが表示されます。
| コラム | 説明 |
|---|---|
| 質問 | 質問がされた。 |
| 答えた | 生成 AI 応答の状態: 回答済みまたは応答なし。 |
| 応答の品質 | サンプリングされた質問の応答品質。 設定可能な値は Poor および Good です。 |
| 反応 | 親指を立てるか、親指を下げるか、または反応をしないかを選び、必要に応じてテキストベースのコメントを追加することができます。 |
| 日付 | 質問が回答された日付。 |
| 知識源 | エージェントの応答で引用されたナレッジ ソースの一覧。 |
詳細については、[質問の 詳細を表示 ] を選択して、質問の詳細サイド パネルを開きます。 このパネルには、各質問に関連する応答品質に関する追加の分析情報が表示されます。
| 詳細な質問レベルのパラメーター | 説明 |
|---|---|
| タイム スタンプ | 質問が回答された最新のインスタンスのタイムスタンプ。 |
| ユーザー クエリ | 質問がされた。 |
| 応答 | 生成 AI 応答。 |
| 高評価/低評価の値 | Thumbs up/Thumbs down パラメーターに対するこの質問の最新のインスタンスの値。 |
| コメント | 「いいね」/「よくないね」 という反応に加え、ユーザーが提供するオプションのテキストベースのコメント。 |
| 応答品質1 | ユーザー クエリに対する応答の品質に関する質問に対する回答。 設定可能な値は Poor および Good です。 |
| 理由2 | 応答品質が Poor場合、このパラメーターはその理由を説明します。 |
1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。
2 応答品質が Good の場合、または質問がサンプリングされなかった場合、Reason パラメーターには値が割り当てられません。
ツールの使用
[ ツールの使用 ] セクションには、ツールが時間の経過と同時に開始される頻度と、エージェントがそれらのツールを正常に使用した頻度を追跡するグラフとメトリックが表示されます。 また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。
このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。
グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。
指定した期間に使用されたすべてのツールの一覧と傾向インジケーターを含むサイド パネルを開くには、[グラフの 詳細を表示 ] を選択します。 ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。 エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メイン エージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。
満足度
満足度セクションでは、エージェントの回答に対する反応、調査結果、セッションの感情スコアから収集されたユーザーフィードバックが表示されます。 満足度は2つのサブセクションに分かれています。反応セクションでは、特定のエージェントの回答に対する「良い」または「悪い」のフィードバックとユーザーコメントを表示します。もう一つはアンケート結果セクションで、セッション全体の明示的な顧客満足度(CSAT)スコアとAIベースの感情分析を表示します。
フィードバック データは、Dataverse の会話トランスクリプト テーブルに格納されます。 この機能をサポートするチャネルの一覧については、機能の詳細を参照してください。
反応
反応セクションには、セッションにおけるエージェントの応答に対するユーザーの反応とアンケート結果から収集されたフィードバックが表示されます。 このグラフは、ユーザーがエージェントから受け取った各回答に対して、サムアップ (肯定的) ボタンまたはサムダウン (否定的) ボタンのいずれかを選択した回数をカウントしています。
ユーザーが反応した後は、コメントを残すことができます。 コメントを表示するには、[ 詳細を表示] を選択します。 リアクションコメントパネルで、すべて、サムズアップ、またはサムズダウンを選択してコメントを絞り込みます。
注意
- Microsoft 365 Copilot チャネルに公開されたエージェントは、反応をサポートしていません。
- コメントを表示するには、ボット トランスクリプト ビューアー セキュリティ ロールが必要です。
各反応について、関連するユーザー クエリとエージェントの応答を表示するには、コメントの横にあるトグルを選択します。 [分析] ページには、ユーザー クエリとエージェントの応答が最大 28 日間保存されます。
![ユーザー クエリと応答を示す [リアクション] パネルの展開と折りたたみの切り替えのスクリーンショット。](media/analytics-improve-agent-effectiveness/reaction-drill-down-query-response.png)
ユーザーからのフィードバックは、既定で オン です。 必要に応じて、この機能をオフにすることができます。 ユーザーのフィードバックの使用に関する免責事項を追加または編集することもできます。
エージェントを開き、設定 に移動し、ユーザーフィードバックセクションを探します。
このエージェントを使用する時にユーザーがフィードバックを与える を オン または オフ のいずれかにします。
利用規約を追加または編集して、ユーザーがフィードバックの使用方法を確認できるようにします。 プライバシー情報とヒントを提供することもできます。
セッションのユーザー満足度
セッションのユーザー満足度セクションは、ユーザーアンケート結果とサンプルセッションにおける感情のAI分析に基づくユーザー満足度に関する情報を示しています。
アンケート満足度スコア:セッション終了後にアンケートへの回答に回答したセッションの平均顧客満足度(CSAT)スコアから5点満点中計算されます。
注意
1および2のスコアは不満に、3のスコアは中立に、4および5の数値は満足にマッピングされます。セッションごとの満足度:
Dissatisfied、Neutral、Satisfiedの各スコアカテゴリーの相対的な重み付けを可視化した積み重み棒グラフ。 チャートの各セグメントにカーソルを合わせると、サンプルのサイズと各スコアカテゴリーの重み付けの数値が表示されます。センチメント分析(プレビュー):アンケートスコアの補完的な指標です。 この指標はAIを用いて、セッションのサンプルからユーザーメッセージを分析し、エージェントに対する全体的なユーザー感情を評価します。 数値は、ネガティブなユーザーセンチメントを持つセッションの割合を表しています。
「 詳細を見る」 を選択して、各センチメントカテゴリ( Positive、 Neutral、 Negative)の相対的な重み付けを詳しく見て、レポートの設定期間中の満足度指標の傾向を確認できます。
