独自のパフォーマンス テストを作成するための開始点として、GitHubで使用できる Apache JMeter を使用して構築された
参照サンプルは以下の原理を示しています:
- WebSocket を介したDirect Lineとの通信
- マルチターン会話を導く
- 複数のスレッドグループを運用し、それぞれが異なる会話型ユーザーケースを駆動します
リファレンスサンプルは、人気のあるオープンソースツールである JMeterを使って作成されています。 他のツールを使用して、Copilot Studio エージェントのパフォーマンス テスト スクリプトを作成することもできます。 以下のような選択基準を使用してください:
- コミュニティサポート:トラブルシューティングやリソースのために、強く活発なコミュニティがあるツールを選びましょう。
- プラグインの利用可能性:特にWebSocketプロトコルに必要なプラグインをサポートしているか確認してください。
- リッチレポート:包括的なレポート機能を備えたツールを探しましょう。組み込みのものも、プラグインで拡張可能なものも含めて。
- スケーラビリティ:テスト実行を簡単にスケールできるツールを選びましょう。 JMeter とリロートはどちらもAzure Load Testingと互換性があります。
Copilot Studio で構築されたエージェントのパフォーマンス テスト スクリプトを設計する場合は、実際の使用状況を正確にシミュレートし、運用環境のセットアップと一致していることを確認します。 以下の主要なガイドラインは、効果的で現実的なテストスクリプト作成に役立ちます:
- 現実的な遅延をシミュレートする:エージェントの最後の応答をキャプチャした後、次のユーザーメッセージを送信する前に現実的な遅延(例えば30秒から1分)を導入します。 この遅延は、実際のユーザーが会話中に読む時間や思考、応答に時間をかける様子を反映しています。
- 複数ターンの会話におけるエラー処理:会話の各ターン後にエラーチェックを含めること。 エラーが発生した場合(例えば、回答が欠落または誤った場合は、問題の連鎖を防ぎ、現実的なユーザー行動を反映するためにシミュレートされた会話を停止してください。
- 本番環境の通信プロトコルに合わせる:テストスクリプトがWebSocketsやHTTP GETなど、本番環境と同じ通信プロトコルを使用していることを確認してください。 このアプローチにより、性能テストが実際の状況を正確に反映することを保証します。