Effectuez des tests et consultez les résultats

[Cet article fait partie de la documentation en version préliminaire et peut faire l’objet de modifications.]

Effectuez des évaluations et analysez les résultats pour optimiser le comportement de votre agent et valider que celui-ci répond à vos exigences commerciales et de qualité. Vous pouvez aussi lancer plusieurs fois un ensemble de tests pour voir les évolutions au fil du temps au fur et à mesure que vous améliorez votre agent.

Les résultats des tests sont disponibles dans Copilot Studio pendant 89 jours. Pour sauvegarder vos résultats de test plus longtemps, exportez les résultats dans un fichier CSV.

Effectuez un test avec un ensemble de tests

Après avoir créé un ensemble de test, lancez un test en utilisant cet ensemble. Ou bien, relancer des tests en utilisant le même ensemble pour comparer les résultats dans le temps et les itérations. Un test peut prendre jusqu’à quelques minutes. Vous ne pouvez effectuer qu’un seul test à la fois.

1. Rendez-vous sur la page d’évaluation de votre agent.

1. Effectuez un test en effectuant l’une des actions suivantes :

   • À la fin de la création ou de l’édition d’un ensemble de test, sélectionnez Évaluer.
   • Dans la section Résultats récents , relancez un test en suivant l’une des étapes suivantes :
     • Passez la souris sur le résultat du test que vous souhaitez évaluer, sélectionnez les trois points (...) puis sélectionnez à nouveau Évaluer l’ensemble de tests.
     • Sélectionnez le résultat du test pour l’ouvrir, puis sélectionnez les trois points (...) dans le panneau résumé d’évaluation , puis sélectionnez à nouveau Évaluer l’ensemble de test.

   Si le profil utilisateur de l’ensemble de test a des connexions cassées, ou si l’ensemble de test n’a pas de profil utilisateur, la fenêtre de dialogue Gérer les connexions apparaît. Vous n’êtes pas obligé d’utiliser un profil utilisateur pour les tests. Cependant, si vous utilisez un profil, toutes les connexions doivent fonctionner. Pour des informations sur la réparation des connexions, voir Gérer les profils et connexions utilisateurs.

Une évaluation peut prendre quelques minutes à être réalisée. Une alerte s’affiche dans Copilot Studio lorsque les résultats des tests sont prêts à être affichés.

Plongez dans les résultats des tests

Chaque fois que vous exécutez une évaluation avec un jeu de tests, Copilot Studio :

1. Il utilise le compte d’utilisateur connecté pour simuler des conversations avec l’assistant, en envoyant chaque question de l’incident de test à l’assistant.

2. Il collecte les réponses de l’assistant.

3. Mesure et analyse le succès de chaque réponse. Chaque cas de test reçoit une mention Réussi, Échouée, Invalide ou Erreur selon les critères du cas de test.

4. Affecte un score de taux de réussite en fonction du taux de réussite et / du jeu de tests.

Vous pouvez voir le taux de réussite de chaque ensemble de tests effectués sur la page d’évaluation de votre agent, sous Résultats récents. Sélectionnez Afficher tout pour afficher plus d’exécutions de jeux de test.

Voir et évaluer une analyse détaillée pour un cas test

Lorsque vous ouvrez un résultat de test, vous voyez les détails de la course, une liste des requêtes utilisées, la réponse de l’agent, ainsi que le score de réussite ou d’échec .

Sélectionnez un cas test dans la liste pour voir une évaluation détaillée de chaque réponse. Sélectionner Tout, Réussir ou Échouer pour filtrer les cas par résultat.

L’évaluation inclut les réponses attendues et réelles, le raisonnement du résultat du test, ainsi que les connaissances, sujets et outils utilisés par l’agent pour répondre.

1. Les résultats de l’évaluation. Cet exemple montre les détails des résultats d’une évaluation de qualité.

2. Sélectionnez Afficher la carte d’activité pour voir la séquence d’entrées, décisions et sorties de votre agent dans un cas de test. En savoir plus dans Afficher la conversation au sein d’une activité.

3. La transcription de la question du test et la réponse de l’agent.

4. Les ressources utilisées par l’agent lors du test. Sélectionnez-en un pour l’ouvrir.

Vous pouvez fournir des retours à Microsoft sur la performance de l’évaluation pour chaque cas de test. Ce retour porte spécifiquement sur l’efficacité avec laquelle la méthode d’évaluation sélectionnée a évalué la réponse, et non sur la justesse de la réponse elle-même. Vos retours contribuent à améliorer la qualité et la précision des évaluations au fil du temps.

Pour noter une évaluation, sélectionnez l'icône ou l'icône dans le panneau des détails du cas de test. Lorsque le formulaire de retour s’ouvre, fournissez plus de détails sur votre note, puis sélectionnez Envoyer.

Comparer les résultats des tests

Vous voulez tester une version de votre agent et voir des changements de performance avant et après avoir effectué les modifications. Vous pouvez comparer deux exécutions du même ensemble de tests en utilisant l’outil Comparaison avec .

Pour faire une comparaison, il faut exécuter au moins deux fois le même ensemble de tests.

1. Dans la page d’évaluation de votre agent, sous Résultats récents des tests, ouvrez la série d’essai que vous souhaitez utiliser comme base pour la comparaison.

2. Sélectionnez le menu déroulant Comparer avec, puis sélectionnez l’heure et la date du lancement de test que vous souhaitez comparer avec les résultats du test actuellement ouvert.

Dans la liste des cas test , les flèches indiquent quels résultats de cas test se sont améliorés en passant d’échec à réussi , ou ont diminué en passant de réussi à échec .

Sélectionnez un cas test pour voir plus de détails. Dans le panneau résumé d’évaluation , vous pouvez voir une comparaison directe des résultats des tests, avec le résultat du test en cours en haut.

Exporter les résultats des tests

Vous pouvez exporter les résultats des tests vers un fichier CSV. Le fichier liste la question, la réponse attendue (le cas échéant), la méthode de test, le score de réussite (si applicable), la réponse de l’agent, le résultat du test et l’analyse pour chaque cas de test.

1. Rendez-vous sur la page d’évaluation de votre agent.
2. Dans la section Résultats récents , exportez un résultat de test en suivant l’une des étapes suivantes :
   • Passez la souris sur le cas de test que vous souhaitez exporter, sélectionnez les trois points (...) puis sélectionnez Exporter les résultats du test.
   • Sélectionnez le cas de test pour l’ouvrir, sélectionnez les trois points (...) dans le panneau résumé d’évaluation , puis sélectionnez Exporter les résultats du test.

Les résultats du test se téléchargent comme nom de votre ensemble de test.csv.