Copilot チューニング Expert Answers エージェント テンプレート (早期アクセス プレビュー)

Expert Answers エージェント テンプレートは、organizationのコンテンツに根付いた複雑なドメイン固有の質問に回答するように設計された調整可能なMicrosoft 365 Copilot エージェント テンプレートです。 エンタープライズ データを使用してエージェントをさらに調整して、回答の品質、関連性、整合性を向上させることができます。

この記事では、Expert Answers エージェント テンプレートを効果的に実装するのに役立つ一般的なシナリオ、チューニング オプション、要件、制限事項について説明します。

Expert Answers エージェント テンプレートの概要

Expert Answers エージェント テンプレートは、エンタープライズ コンテンツ全体で詳細な検索を実行し、そのデータに基づいて根拠のある回答を生成します。

一般的なシナリオは次のとおりです。

• 何千ものファイルを含む法的リポジトリやコンプライアンス リポジトリなど、大規模な接地データセットに対する質問の回答
• 内部人事やポリシー エージェントなど、特定のトーンまたはガードレールを適用する
• 社内ナレッジ ベースなど、会社固有の用語や専門用語を含むデータセットの操作

一般的なワークフローは、カスタマイズされていないエージェントのテストから始まります。 エージェント ビルダーで Expert Answers エージェント テンプレート を使用してエージェントをカスタマイズし、必要に応じてエージェントを調整して応答をさらに改善できます。

最終的な応答は次の組み合わせです。

• エージェント ビルダーで構成された宣言型エージェント機能
• チューニング フローを介して構成されたエキスパート回答機能

ほとんどの場合、エージェント ビルダーで知識を追加し、エージェントのチューニングを通じて動作を絞り込むことで、両方の方法を組み合わせて使用します。

チューニング フロー

チューニング フローは、エージェントの応答を評価して改善するのに役立ちます。 Expert Answers エージェント テンプレートは、3 つの方法で調整できます。

カスタマイズされていないエージェントを使用する

エージェントをカスタマイズする前に、既定のエクスペリエンスをテストします。

質問する前に SharePoint サイトを選択する必要があります。 エージェントは、そのサイトのコンテンツを使用して質問に回答します。 サイトを選択しない場合、エージェントは参照先サイトの以前のメッセージを検索します。

エージェントをカスタマイズする

まず、エージェント ビルダーで Expert Answers エージェント テンプレート を選択します。

以下の情報を指定します。

• 名前
• 説明
• 手順

必要に応じて 、ナレッジ と 機能を追加できます。

カスタマイズされたエージェントを使用する

カスタマイズ後、エージェントは、ナレッジ ソースとして構成した SharePoint サイトを使用して質問に回答します。

コンテキストのチューニング

コンテキスト チューニングを使用すると、エージェントの目標を設定し、評価データを作成し、Expert Answers 検索機能の情報取得を強化できます。

この手順では、次の情報を入力します。

チューニング目標を定義する

• 主な目標: エージェントの目的を絞り込みます。 開始点として既存の手順を使用します。 この目標は、推論中に Expert Answers 検索機能をガイドします。
• ドメイン: 人事などの高レベルのサブジェクト領域を指定します。
• サンプル ファイル: 評価の質問と回答を生成するために使用されるサンプル ファイル。 これらのファイルは、ユーザーが質問する可能性があるドキュメントの種類とトピックを表す必要があります。

接地データセットからこれらのファイルを選択します。 より多くのファイル (最大 50 個) を提供し、トピックの多様性を高めることで、評価品質が向上します。

明確な質問を確認する

アップロードしたドキュメントでサブゴールを使用して、評価用の質問と回答のペアを生成します。 また、エキスパートの回答検索機能のガイドにも役立ちます。

これらの質問は、ユーザーが求めるクエリの種類に焦点を当てます。 メトリックステップで回答品質基準を定義します。

メトリックを確認する

エージェントを評価する方法を定義します。 指定したメトリックに加えて、Microsoft は、エージェントの応答をデータから派生した "ゴールデン" 回答と比較する組み込みの精度メトリックを適用します。

エージェント コンテキスト

エージェントの接地データを確認します。 Expert Answers 検索機能では、このデータを使用して応答が生成されます。

評価

コンテキストのチューニングとその後の手順を完了すると、 エージェントの調整 ホームページに評価結果が表示されます。

モデルのチューニング

モデルチューニングは、Expert Answers 検索機能をトレーニングします。 エージェントは 、トレーニング データセット を使用して、より適切なクエリを記述し、 接地データセットからより関連性の高いドキュメントを選択する方法を学習します。

接地データセットは主に最終的な回答を生成しますが、トレーニング データセットからの情報も応答に表示される場合があります。 ほとんどの場合、接地とトレーニングには同じデータセットを使用します。

モデルのチューニングは、次の場合に最も効果的です。

• 接地データセットには、数百以上のファイルが含まれています。
• クエリには、会社固有の言語または概念が含まれます。

モデルを調整するには:

1. 推奨される出力を指定します。トレーニング データセットを選択します。 ほとんどのシナリオでは、接地に同じデータセットを使用します。

   

2. アクセスを確認する: アクセスに関する推奨事項を確認します。

   

ツールのチューニング

ツールチューニングを使用すると、エージェントが応答を生成するときに使用できる追加のツールを追加できます。 これらのツールには次のものが含まれます。

• 特定のトーンに一致するように応答を書き換えるスタイル エディター (調整可能なエージェント)
• 定義されたガードレールを適用するためのドキュメント レビュー担当者 (調整可能なエージェント)
• より 長く、より深い検索を実行する研究者

チューニング可能なエージェントを使用するには、最初にコンテキストを調整します。

ツールの連携方法を定義するオーケストレーション命令を提供することもできます。 すべてのツールを選択すると、既定のフローは次のようになります。

1. 研究者を追加のソースとして使用します。
2. スタイル エディターを使用して応答を書き直します。
3. ドキュメント レビュー担当者を使用して応答を検証します。

カスタム オーケストレーション命令の例を次に示します。

• 最初の回答が不完全な場合は、最終的な応答を生成する前に研究者を使用してください。
• 利点に関する質問がある場合は、検証エージェントを使用します。
• 最初に検証エージェントを使用してから、トーンアライメントを適用します。

制限事項

コンテキストのチューニング

• サポートされているのは SharePoint ファイルとフォルダーのみです。
• エキスパートの回答検索には、既知の取得制限があります。

モデルのチューニング

• サポートされているのは SharePoint ファイルとフォルダーのみです。
• サポートされているファイルの種類: .docx、.pdf、.aspx、.doc、.html、.txt。
• トレーニングにはテキスト コンテンツのみが使用されます。
• .aspxファイルと .html ファイルの場合は、抽出されたテキストのみが使用されます。

ツールのチューニング

• エージェント ビルダーでナレッジまたは機能を追加した場合、応答がスタイル エディターまたはドキュメント レビュー担当者によって定義されたトーンまたはガードレールに従わない可能性があります。 この制限は、これらのエージェントの実行後に追加情報を追加するときに発生します。
• トーンとルールの適用を確実に行うために、エージェント ビルダーで機能を追加しないようにします。

FAQ

エージェント ビルダーで追加する必要があるナレッジ ソース、コンテキスト チューニング、モデルチューニング

ほとんどの場合、3 つすべてで同じナレッジ ソースを使用します。 次の場合は、別の方法を選択できます。

• 宣言型エージェント機能を使用する必要はありません。 この場合は、エージェント ビルダーでナレッジを追加しないでください。
• Expert Answers 検索機能でファイルのサブセットに焦点を当てる必要があります。 この場合は、コンテキストとモデルのチューニング中に追加されたファイルを制限します。

エージェントを再トレーニングする必要がある場合

通常、接地データに対する増分変更によってパフォーマンスが大幅に低下することはありません。 新しいファイルは自動的に応答に含まれます。 ただし、トレーニング後に削除されたファイルの情報は、エージェントを再トレーニングするまで応答に表示される場合があります。

関連コンテンツ

• Copilot チューニングの概要