会話型エージェントの有効性を分析する

Copilot Studio の Analytics ページには、analytics セッション全体にわたるエージェントの全体的な有効性に関する集計された分析情報が表示されます。このページは、異なるパフォーマンスのコンテキストに焦点を当てたコア領域に分割されています。また、このページには、エージェントの高レベルの主要業績評価指標 (KPI) メトリックを提供する [概要 ] 領域、エージェントまたはエージェントのツールに起因する時間とコストの節約を分析する [節約 ] 領域、およびエージェントのパフォーマンスに関する主要な分析情報を提供する [概要 ] 領域も表示されます。

詳細情報は、次のとおりです。

[概要] 領域と [概要] 領域については、「分析の概要」を参照してください。
節約領域については、「エージェントの時間とコスト削減の分析」を参照してください。

会話型エージェントの効果性を検証、改善する際には、以下の 6 つの重点領域に焦点を当てる必要があります:

テーマ: テーマは、ユーザーの質問を AI が提案するカテゴリにクラスタリングすることで、分析の分析情報を得るのに役立ちます。
会話の結果: 会話の最終的な結果を知ることで、エージェントが成功している場所と改善が必要な場所を特定し始めるのに役立ちます。
エージェント: 子エージェントと接続済みエージェントの通話量指標、成功率、現在のステータスを確認します。
生成された回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する時期と、ナレッジソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
満足度: ユーザーのフィードバックを確認すると、新しいユーザーのシナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。

過去 90 日間に発生したイベントの分析を表示できます。

会話の結果

会話の結果セクションには、エージェントとユーザー間の各セッションにおける結果の種類を追跡するグラフが表示されます。

結果とエンゲージメントチャートのスクリーンショット。

グラフは、積み上げヒストグラムまたは積み上げ面グラフのいずれとして表示されるかに関係なく、色分けされ、種類別に積み上げられた結果の相対的な量を視覚化します。解決済み、エスカレーション済み、破棄済み、およびエンゲージメントなしはそれぞれ、各データポイントのそれぞれの色で表されます。 y 軸はセッション数を示します。

1 つのデータポイント (特定の日) に固有の個々の結果に関するメトリックを表示するには、関心のある日の指定された結果の色 (たとえば、キャンセル済みを示すティール色) を表す領域にマウスカーソルを合わせてください。この例では、11 月 24 日にすべてのセッション結果の 35.6% を表す 90 の破棄されたセッションがありました。

会話の結果の積み上げ面グラフとツールチップのスクリーンショット。

グラフの下の凡例で、いずれかの結果ラベルにカーソルを合わせると、グラフ内でその結果が強調表示されます。

1 つの結果が強調表示されている会話の結果の積み上げ面グラフのスクリーンショット。

積み上げ面グラフの結果を表示または非表示にするには、凡例ラベルの 1 つまたは複数を選択 (オンまたはオフ) します。これを行って、次の場合に残っている結果をより明確にします。

個々の結果行が視覚的にまとまって表示されます。
傾向線が正または負の傾向にあるが、グラフ上の積み上げ結果の集計によってこれらの傾向線がフラット化されている場合、より明確に表示したいと考えます。

注意

この方法でグラフから結果を削除すると、表示された結果の大きなプールからその結果が削除されます。表示された結果を削除すると、比率の分母が変更されるため、プールに対する残りの結果の表示パーセント値が変更されます。

次の例では、グラフからエスカレーション済みラベルとエンゲージメントなしラベルが削除されています。ヒントは、11 月 23 日に破棄されたセッションが 95 件あることを示しています。これは、グラフに表示されている残りの結果の 60.5% ( 解決済み破棄済み結果の合計) を表しています。

2 つの結果が削除された会話の結果の積み上げ面グラフのスクリーンショット。

会話の結果データ (グラフに視覚化されたデータ) をダウンロードするには、メニューアイコンを選択し、[ CSV のダウンロード] を選択します。

注意

ダウンロード時にグラフから結果を削除した場合、そのデータは CSV に表示されません。

会話の結果に関する詳細情報を含むサイドパネルを開くには、グラフで詳細を表示を選択します。会話の結果サイドパネルには次のものが含まれます。

セッション結果の内訳を示す円グラフでは、解決、エスカレーション、破棄された結果の相対的な重み付け（％表示）が示されています。
解決されたすべてのセッション結果を説明する、確認された解決済みおよび暗黙の解決済みの結果理由の相対的な重み付けをパーセントで表示した積み上げ横棒グラフです。
エスカレーションされたすべてのセッション結果を説明する、システムが意図した、システムが意図しない、およびユーザーが要求した結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
各結果につながった上位のトピック。

注意

生のカウント情報を含むヒントを表示するには、円グラフまたは積み上げ横棒グラフセグメントのいずれかにカーソルを合わせます。

会話結果ペインのスクリーンショット。

セッションは、次の 2 つの状態のいずれかになります。

エンゲージメントなし: ユーザーがエージェントと対話するか、エージェントがユーザーにプロアクティブメッセージを送信すると、セッションが開始されます。セッションは非アクティブの状態で始まります。
エンゲージ: ユーザーはエージェントとアクティブに対話します。エージェントのオーケストレーションモードに基づく動作には違いがあります。
- クラシックオーケストレーション: セッションは、以下のいずれかのトピックがトリガーされたときにエンゲージされます。
  - ユーザーが直接トリガーするカスタムトピック
  - トピックを優先する
  - フォールバックトピック
  - 会話強化のトピック
- 生成 AI オーケストレーション: セッションは、ユーザーが直接プランをトリガーし、以下の要素のいずれかを含む場合に開始されます。
  - 非システムトピック
  - トピックを優先する
  - フォールバックトピック
  - 知識の源泉
  - ツール

関与したセッションには、次のいずれかの結果があります。

結果カテゴリ	結果	説明
解決済み		セッションは正常に終了します。解決されたセッションには、解決済みの確認済みセッションと暗黙的な解決済みセッションの 2 種類があります。
	解決済み確認済み	セッションは、会話の終了トピックがトリガーされ、ユーザーが対話が成功したことを確認した時点で解決済み確認済みと見なされます。
	暗黙的解決済み	セッションは、ユーザーによる確認なしに、代わりにエージェントのロジックに基づいて完了した場合に、暗黙的解決済みと見なされます。解決済みの暗黙的な状態は、エージェントがクラシック AI オーケストレーションと Generative AI オーケストレーションのどちらを使用しているかによって異なります。 - クラシックオーケストレーション: セッションは、会話の終了トピックがトリガーされ、ユーザーが確認を提供せずにセッションタイムアウトを許容した場合に、暗黙的解決済みと見なされます。 - 生成 AI オーケストレーション: セッションは、セッションがタイムアウトし、アクティブなプランが残っていない場合に、暗黙的に解決済みと見なされます。アクティブなプランは、ユーザーの入力を待機しているプランです。
エスカレーションが完了しました		エスカレーショントピックがトリガーされるか、エージェントに転送ノードが実行されると、セッションは終了し、エスカレート済みと見なされます (会話がライブチャットオペレーターに転送されるかどうかに関係なく、現在の分析セッションは終了します)。エスカレーションされたセッションには、システムが意図した、システムが意図しない、およびユーザーが要求したの 3 種類があります。
	システムの意図	作成者によって設定された自動ビジネスルールの結果として、セッションが自動的にエスカレートされます。エスカレーションは会話の結果として予想されるものであり、調査や変更が必要なことではありません。例: ユーザーが 25,000 ドルを超える情報をサードパーティに転送する。この量がビジネスルールのしきい値を超えると、結果としてセッションが自動的にエスカレートされます。
	システムの意図しない事象	エスカレーションは、セッションが作成者によって設定された 1 つ以上のしきい値を超えた結果として自動的に発生します。通常、この結果はユーザーが会話に詰まっており、助けを必要としていることを示します。例: セッションが特定のタスクを実行するために 3 回失敗した後にエスカレートされる。
	ユーザーが要求した	会話中に明示的なユーザー要求があったため、セッションはエスカレートされます。例: ユーザーがを入力する。
放棄された		実行中のセッションが 30 分後にタイムアウトし、解決済みまたはエスカレーション済み状態に到達しなかった場合、セッションは終了し、放棄済みと見なされます。

ツールコードエディターを使用して、パラメーターを使用してツールの結果を設定することもできます。たとえば、確認された成功の場合は、暗黙の成功の場合はです。

エンゲージメントの測定に関するガイダンス文書をご参照ください。測定や改善の方法に関する提案やベストプラクティスが示されています。

エージェント

エージェント一覧には、メインエージェントの接続済みエージェントおよび子エージェントに関する、高レベルのボリューム、パフォーマンス、ステータス指標が表示されます。一覧では、種類列において、記載されたエージェントがメインエージェントと持つ関係の種類を識別します。エージェントが子エージェントの場合、その種類はとなります。接続されたエージェントには、作成された場所を反映する一覧の種類があります (例: Copilot Studio、Azure AI Foundry)。各リストされたエージェントの通話メトリクスは、メインエージェントから接続済みまたは子エージェントへの通話量を表します。成功率は、正常に完了した通話の割合 (すべての通話の割合) を反映します。状態は、接続されているエージェントと子エージェントごとの個々の管理状態を示します。

既定では、エージェントの一覧にはメインエージェントの接続済み子エージェント上位 5 件が表示され、質問総数の多い順にランク付けされます。 5 つ以上のエージェントがある場合は、すべて表示するを選択してすべてのエージェントを表示します。

注意

すべて表示ボタンは、メインエージェントに接続されているエージェントまたは子エージェントが 5 つ以上存在する場合にのみ表示されます。

分析ページのエージェントセクションのスクリーンショット。

生成された回答の評価と品質 (プレビュー)

重要

この記事にはプレビュードキュメントMicrosoft Copilot Studio含まれており、変更される可能性があります。

プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。これらの機能は公式リリースの前に利用できるため、早期にアクセスしてフィードバックを提供できます。

運用対応エージェントを構築する場合は、「Microsoft Copilot Studio 概要を参照してください。

生成型回答では、エージェントは AI を使用して、ナレッジソースと提供された指示に基づいて、ユーザーの質問に対する回答を生成できます。ただし、エージェントがすべてのユーザークエリに応答できない場合があります。 [生成された回答率と品質] セクションでは、応答のないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。

回答率と品質セクション。

回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う変化率が表示されます。

回答の品質は、AI を使用して回答の品質を測定します。 Copilot Studio では、回答された質問のサンプルセットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。回答が一定の標準を満たしている場合、Copilot Studio は回答に Good 品質のラベルを付けます。 Copilot Studio では、その標準を満たしていない回答が Poor 品質としてラベル付けされます。 Poor回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を表示します。

グラフ内の棒グラフの任意のセグメントにカーソルを合わせると、良いまたは悪い品質ラベルの個々の理由の相対的な重みが表示されます。ヒントには、計算されたパーセント値に到達するためにサンプリングされた回答の数も示されます。

生成された回答の品質に関する積み上げ棒グラフのスクリーンショット。ツールチップには、個々の測定基準に関するメトリックが表示されています。

グラフの下の凡例で、いずれかの品質ラベル理由にカーソルを合わせると、グラフ内でその理由が強調表示されます。

生成された回答の品質に関する積み上げ棒グラフのスクリーンショットで、関連性のない理由が強調表示されています。

このセクションに関するフィードバックは、 [親指を立てる] アイコンと [親指を下げる] アイコンを使用して Microsoft に提供できます。 [ Microsoft へのフィードバックの送信] パネルを使用して、コメントを追加し、関連ファイルを共有します。このような説明的なフィードバックを提供することで、製品を継続的に改善するために協力することができます。

[ Microsoft にフィードバックを送信する] パネルで、パネルを開くために選択したアイコンに応じて、好きなものや嫌いなものを自然言語で説明します。
プロンプト、生成された応答、関連するコンテンツサンプル、追加のログファイルを共有するかどうかを選択します。
送信を選択します。

[Microsoft にフィードバックを送信する] パネルのスクリーンショット。

[ 詳細を表示] を選択すると、選択した期間の質問回答率、ナレッジソースの使用状況、エラー率を含むサイドパネルが開きます。これらのグラフを使用して、ユーザー支援に効果的なナレッジソースと、改善すべき対象を特定できます。

エージェントに子エージェントがある場合、サイドパネルですべてを選択すると、メインエージェントと子エージェントの両方のメトリクスが表示されます。それぞれをを選択するとメインエージェントのみのメトリクスが、子エージェントのみのメトリクスが表示されます。

生成された回答率と品質の詳細ペインのスクリーンショットで、エージェントタイプのフィルターを強調表示しています。

未回答の質問は、エージェントがユーザークエリに応答しなかった理由を示しています。
ナレッジソースの使用エージェントがアクセスできる各ナレッジソースを使用したセッションの割合を示します。
すべてのソースには、各ナレッジソースを使用した質問の割合が表示されます。
Errors は、ナレッジソースの種類 (SharePoint など) ごとにナレッジ関連のエラーが発生したクエリの割合を示します。

すべてのソースで、一覧表示されているナレッジソースのいずれかのレベルで詳細情報を表示するには、個々のソースを選択します。ヒントには次のものが含まれます:

このナレッジソースを参照した質問の総数、サムアップとサムダウンの反応の数。
このナレッジソースを参照する質問に対する回答の質の内訳を相対的な重み付けで示す積み上げ棒グラフ。棒グラフの任意のセグメントにカーソルを合わせると、そのセグメントの相対的な重み付け値と、その値を算出するためにサンプリングされた質問数が表示されます。

あるナレッジソースにおける応答品質の相対的な重み付けを示すスクリーンショットで、一つの品質値のツールチップを表示しています。

ツールの使用

[ ツールの使用 ] セクションには、ツールが時間の経過と同時に開始される頻度と、エージェントがそれらのツールを正常に使用した頻度を追跡するグラフとメトリックが表示されます。また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。

このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。

グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。

ツール使用グラフのスクリーンショット。1つのツールが強調表示されています。

指定した期間に使用されたすべてのツールの一覧と傾向インジケーターを含むサイドパネルを開くには、[グラフの詳細を表示 ] を選択します。ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メインエージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。

グラフとメトリックを使用するツールのスクリーンショット。

エージェントの種類フィルターを強調表示した、ツール使用パネルのスクリーンショット

満足度

満足度セクションでは、エージェントの回答に対する反応、調査結果、セッションの感情スコアから収集されたユーザーフィードバックが表示されます。満足度は2つのサブセクションに分かれています。「リアクション」セクションは、特定のエージェントの回答に対する「いいね」と「よくないね」によるフィードバック、およびユーザーのコメントを表示します。もう一つの「アンケート結果」セクションでは、セッション全体の明示的な顧客満足度（CSAT）スコアとAIベースの感情分析を表示します。

フィードバックデータは、Dataverse の会話トランスクリプトテーブルに格納されます。この機能をサポートするチャネルの一覧については、機能の詳細を参照してください。

反応

反応セクションには、セッションにおけるエージェントの応答に対するユーザーの反応とアンケート結果から収集されたフィードバックが表示されます。このグラフは、ユーザーがエージェントから受け取った各回答に対して、サムアップ (肯定的) ボタンまたはサムダウン (否定的) ボタンのいずれかを選択した回数をカウントしています。

応答反応グラフ。

ユーザーが反応した後は、コメントを残すことができます。コメントを表示するには、[ 詳細を表示] を選択します。リアクションコメントパネルで、全員、サムズアップ、またはサムズダウンを選択してコメントを絞り込みます。

注意

Microsoft 365 Copilot チャネルに公開されたエージェントは、反応をサポートしていません。
コメントを表示するには、ボットトランスクリプトビューアーセキュリティロールが必要です。

各反応について、関連するユーザークエリとエージェントの応答を表示するには、コメントの横にあるトグルを選択します。 [分析] ページには、ユーザークエリとエージェントの応答が最大 28 日間保存されます。

ユーザークエリと応答を示す [リアクション] パネルの展開と折りたたみの切り替えのスクリーンショット。

ユーザーからのフィードバックは、既定でオンです。必要に応じて、この機能をオフにすることができます。ユーザーのフィードバックの使用に関する免責事項を追加または編集することもできます。

エージェントを開き、設定に移動して、「ユーザーフィードバック」セクションを見つけます。
このエージェントを使用する時にユーザーがフィードバックを与えるをオンまたはオフのいずれかにします。
利用規約を追加または編集して、ユーザーがフィードバックの使用方法を確認できるようにします。プライバシー情報とヒントを提供することもできます。

セッションのユーザー満足度

セッションのユーザー満足度セクションは、ユーザーアンケート結果とサンプルセッションにおける感情のAI分析に基づくユーザー満足度に関する情報を示しています。

セッションのユーザー満足度タイルのスクリーンショット。

アンケートによる満足度スコア: セッション終了後にアンケートに回答したセッションの平均顧客満足度(CSAT)スコアから、5点満点で計算されます。

注意

およびのスコアは不満にマッピングされ、のスコアは中立に、およびのスコアは満足にマッピングされます。
セッションごとの満足度: 、、の各スコアカテゴリーの相対的な重み付けを可視化した積み重み棒グラフ。チャートの各セグメントにカーソルを合わせると、サンプルのサイズと各スコアカテゴリーの重み付けの数値が表示されます。
センチメント分析(プレビュー):アンケートスコアの補完的な指標です。この指標はAIを用いて、セッションのサンプルからユーザーメッセージを分析し、エージェントに対する全体的なユーザー感情を評価します。数値は、ネガティブなユーザーセンチメントを持つセッションの割合を表しています。

「詳細を見る」を選択して、各センチメントカテゴリ( 、、 )の相対的な重み付けを詳しく見て、レポートの設定期間中の満足度指標の傾向を確認できます。

満足度スコアの傾向グラフのスクリーンショット。

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-03-07