エージェントの最適化は発売時点で終わりません。 Copilot Studio には、ユーザーがエージェントとやり取りする方法、会話が成功または分割される場所、エージェントがそのツールと知識をどの程度使用しているかを理解するのに役立つ豊富な分析機能が用意されています。 この記事では、エージェントを継続的に評価し改善するための構造化されたチェックリストとベストプラクティスを提供します。
改善と分析準備状況を検証してください
これらの質問は、スプリントセレモニー、月次最適化、リリース前の準備など、定期的なレビューで活用しましょう。
テーマとユーザー意図パターン
| 終わりましたか？ |
Task |
| ✓ |
テーマを見直して、ユーザーの質問のクラスターや新たな意図を特定していますか? |
| ✓ |
今後の改善のために、よく使われるテーマをバックログに追加していますか? |
会話の結果
| 終わりましたか？ |
Task |
| ✓ |
解決済み、エスカレーションされた、放棄された、関心のない会話を分析して改善点を見つけていますか? |
| ✓ |
会話を「会話終了」トピックで締めくくって、結果を正しく記録していますか？ |
| ✓ |
放棄セッションの急増を調べて、不明瞭な応答や論理の欠落を特定していますか? |
| ✓ |
エスカレーションパスは適切な時にのみトリガーされることを確認していますか? |
生成される回答率と質
| 終わりましたか？ |
Task |
| ✓ |
生成された回答率を確認して、知識のギャップやカバー不足を特定しますか? |
| ✓ |
回答の質の指標、例えば完全性、地に足のついたこと、関連性をチェックしますか? |
| ✓ |
質の低い回答を調査し、分析で指摘された理由に対処しますか? |
| 終わりましたか？ |
Task |
| ✓ |
ツールやアクションがどのくらいの頻度で呼び出されるか、成功するか失敗するかを監視していますか? |
| ✓ |
使われていない、あるいはエラーが多いツールを特定し、それを最適化するか削除するかを判断しますか? |
| ✓ |
生成オーケストレーションで使われるツールが確実に動作することを検証していますか? |
| 終わりましたか？ |
Task |
| ✓ |
すべての知識ソースの使用やエラー率を見直していますか? |
| ✓ |
エラー率が高い、または結果が一貫していない知識ソースに対して更新を優先しますか? |
| ✓ |
正しい知識源が意図されたシナリオを支持しているか確認していますか? |
満足度とユーザーフィードバック
| 終わりましたか？ |
Task |
| ✓ |
CSAT調査やユーザーの感情を収集するための親指を立てたり下げたりする評価を行っていますか? |
| ✓ |
フィードバックの傾向を分析して、不明瞭な回答や会話の流れが弱い箇所を検出していますか? |
| ✓ |
再設計のために、満足度の低いインタラクションパターンをバックログに追加していますか? |
ベストプラクティスのコールアウト
-
分析を反復的な改善ループとして捉える:分析を使って漸進的な変化を推進しましょう。 テーマ、不完全な回答、失敗パターンを使ってスプリント計画やバックログの優先順位付けに役立てましょう。
-
成果の質に焦点を当て、量だけでなく:健全なシステムは解決された会話を最大化し、エスカレーションや放棄を最小限に抑えます。 結果比率を明確さと効果の先行指標として活用しましょう。
-
知識源を積極的に強化する:高い誤差率や質の低い回答は、しばしば知識源が不明瞭で時代遅れ、または不一致であることを示しています。 これらの資料は頻繁に更新・再構成し、より良い基盤を築くこと。
-
ツールの安定性と成功を最適化する:信頼できないツール呼び出しは信頼を損なう。 成功率を追跡し、頻繁に失敗したり一貫性のないデータを返すアクションをリファクタリングします。
-
テーマを使って新たな機会を見極めましょう:テーマは新たな意図を強調します。 新しいトピックや知識源、統合ニーズに情報を提供するために活用しましょう。
-
会話をきれいに終わらせる:解決とCSATを記録するために必ず会話の終わりトピックを使いましょう。 このトピックがなければ、分析は不完全で誤解を招くものになります。
-
自律型エージェントとユーザー主導型エージェントの別評価:自律型エージェントはトリガーやツールチェーンに大きく依存しています。 実行の結果やトリガーは、ユーザーが開始したフローとは別にレビューしてください。
-
時間経過によるセンチメントの追跡:個別のフィードバックは有用ですが、数週間にわたるセンチメントトレンドはシステム的な問題を明らかにします。 持続的な下落を早めに調査しましょう。