Optimizar un agente no termina en el lanzamiento. Copilot Studio proporciona análisis enriquecidos que le ayudan a comprender cómo interactúan los usuarios con su agente, dónde las conversaciones tienen éxito o se interrumpen, y cómo el agente utiliza sus herramientas y conocimiento. Este artículo ofrece una lista de verificación estructurada y mejores prácticas para ayudarte a evaluar y mejorar continuamente a tu agente.
Valida tu preparación para la mejora y la analítica
Utiliza estas preguntas durante las revisiones periódicas, como en ceremonias de sprint, optimizaciones mensuales o preparación previa al lanzamiento.
Temas y patrones de intención del usuario
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás revisando temas para identificar grupos de preguntas de usuario e intenciones emergentes? |
| ✓ |
¿Estás añadiendo temas frecuentes a tu lista de mejoras futuras? |
Resultados de la conversación
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás analizando conversaciones resueltas, escaladas, abandonadas y no implicadas para encontrar áreas de mejora? |
| ✓ |
¿Te aseguras de que las conversaciones terminen con el tema de Fin de la Conversación para que los resultados se capturen correctamente? |
| ✓ |
¿Estás investigando picos en sesiones abandonadas para identificar respuestas poco claras o lagunas en la lógica? |
| ✓ |
¿Estás validando que los caminos de escalada solo se activan cuando es apropiado? |
Tasa de respuesta generada y calidad
| ¿Hecho? |
Tarea |
| ✓ |
¿Revisas la tasa de respuestas generada para identificar lagunas en el conocimiento o cobertura que falta? |
| ✓ |
¿Compruebas métricas de calidad de respuestas como la completitud, la estabilidad y la relevancia? |
| ✓ |
¿Investigas respuestas de mala calidad y abordas las razones señaladas en analítica? |
| ¿Hecho? |
Tarea |
| ✓ |
¿Controlas con qué frecuencia se invocan herramientas y acciones y si tienen éxito o fracasan? |
| ✓ |
¿Identificas herramientas poco utilizadas o propensas a errores y decides si optimizarlas o eliminarlas? |
| ✓ |
¿Valida que las herramientas usadas en la orquestación generativa de procesos funcionan de forma fiable? |
| ¿Hecho? |
Tarea |
| ✓ |
¿Revisas el uso y las tasas de error de todas las fuentes de conocimiento? |
| ✓ |
¿Priorizas las actualizaciones para fuentes de conocimiento con altas tasas de error o resultados inconsistentes? |
| ✓ |
¿Verificais que las fuentes de conocimiento correctas apoyen los escenarios para los que están pensadas? |
Satisfacción y comentarios de los usuarios
| ¿Hecho? |
Tarea |
| ✓ |
¿Estás recopilando la opinión de los usuarios mediante pulgares arriba/abajo y encuestas CSAT? |
| ✓ |
¿Analizas tendencias de feedback para detectar respuestas poco claras o flujos de conversación débiles? |
| ✓ |
¿Estás añadiendo patrones de interacción de baja satisfacción a tu lista de pendientes para el rediseño? |
Señalamientos de mejores prácticas
-
Trata la analítica como un bucle iterativo de mejora: Utiliza la analítica para impulsar cambios incrementales. Utiliza temas, respuestas incompletas y patrones de fallos para informar la planificación del sprint y priorizar los elementos del backlog.
-
Céntrate en la calidad de los resultados, no solo en el volumen: un sistema saludable maximiza las conversaciones resueltas y minimiza escaladas y abandonos. Utiliza las ratios de resultados como indicador avanzado de claridad y efectividad.
-
Fortalecer las fuentes de conocimiento de forma proactiva: Una alta tasa de error o respuestas de baja calidad suelen apuntar a fuentes de conocimiento poco claras, desactualizadas o desajustadas. Actualiza y reestructura estas fuentes con frecuencia para mejorar la base.
-
Optimiza las herramientas para lograr estabilidad y éxito: Las llamadas a herramientas poco fiables degradan la confianza. Haz un seguimiento de las tasas de éxito y de las acciones de refactorización que fallan con frecuencia o devolven datos inconsistentes.
-
Utiliza temas para identificar nuevas oportunidades: Los temas destacan las intenciones emergentes. Utilízalos para informar nuevos temas, fuentes de conocimiento o necesidades de integración.
-
Asegúrate de que las conversaciones terminen de forma limpia: Utiliza siempre el tema Fin de la Conversación para capturar la resolución y el CSAT. Sin este tema, las analíticas se vuelven incompletas y engañosas.
-
Evaluación separada de agentes autónomos e iniciados por el usuario: Los agentes autónomos dependen en gran medida de los disparadores y cadenas de herramientas. Revisa los resultados de la ejecución y los disparos separadamente de los flujos que se inician por el usuario.
-
Seguimiento del sentimiento a lo largo del tiempo: La retroalimentación aislada es útil, pero las tendencias de sentimiento de varias semanas revelan problemas sistémicos. Investiga las caídas persistentes al principio.