Analizar la efectividad del agente conversacional

La página Analytics de Copilot Studio proporciona una visión agregada de la eficacia general de tu agente a lo largo de las sesiones de análisis. La página se divide en áreas principales que se centran en diferentes contextos de rendimiento. La página también muestra un área Información general que proporciona métricas de indicadores clave de rendimiento (KPI) de alto nivel para el agente, un área Ahorro que analiza el tiempo y el ahorro de costos imputables al agente o a las herramientas del agente, y un área de Resumen que proporciona información analítica clave sobre el rendimiento del agente.

Para más información acerca de:

• Las áreas Resumen e Información general , consulte Información general sobre análisis
• Consulte el área de Ahorro, donde puede analizar el ahorro de tiempo y costes para los agentes

Hay seis áreas principales en las que hay que centrarse a la hora de revisar y mejorar la eficacia de los agentes conversacionales:

• Temas: Los temas ayudarán a obtener conocimientos analíticos agrupando preguntas de los usuarios en categorías sugeridas por IA.
• Resultados de la conversación: saber el resultado final de una conversación ayuda a identificar dónde el agente tiene éxito y dónde necesita mejorar.
• Agentes: visualice las métricas de volumen de llamadas, las tasas de éxito y el estado actual para agentes secundarios y conectados.
• Tasa de respuestas generada y calidad: comprender cuándo el agente tiene dificultades para proporcionar respuestas a preguntas del usuario y cómo usa orígenes de conocimiento puede ayudarle a encontrar formas de mejorar la tasa de respuestas y la calidad del agente.
• Uso de herramientas: aprender con qué frecuencia se usan las herramientas y con qué frecuencia tienen éxito puede ayudarle a comprender si esas herramientas son útiles y exitosas para los usuarios.
• Satisfacción: revisar los comentarios de los usuarios le ayuda a identificar nuevos escenarios y problemas de usuario y a realizar mejoras basadas directamente en lo que solicitan los usuarios.

Puede ver análisis de eventos que se produjeron en los últimos 90 días.

Resultados de la conversación

En la sección Resultados de conversación se muestra un gráfico que realiza un seguimiento del tipo de resultado de cada sesión entre el agente y los usuarios.

Captura de pantalla de los gráficos de resultados e interacción.

El gráfico, tanto si se muestra como un histograma apilado como un gráfico de áreas apiladas, visualiza los volúmenes relativos de resultados, codificados por color y apilados por tipo. Cada uno de los elementos Resueltos, Escalados, Abandonados y Sin conexión se representan mediante sus respectivos colores para cada punto de datos. El eje Y señala el número de sesiones.

Para ver las métricas sobre los resultados individuales específicos de un punto de datos (un día específico), mantenga el puntero sobre un área que represente el color de un resultado de interés (por ejemplo, teal para Abandonado) el día en que le interese. En el ejemplo, hubo 90 sesiones abandonadas que representan el 35,6 % de todos los resultados de la sesión el 24 de noviembre.

Captura de pantalla del gráfico de áreas apiladas de resultados de conversación con información sobre herramientas.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las etiquetas de resultados para resaltar ese resultado en el gráfico.

Captura de pantalla del gráfico apilado de áreas de los resultados de la conversación resaltando un resultado.

Seleccione (activado o desactivado) una o varias de las etiquetas de leyenda para mostrar u ocultar los resultados del gráfico de áreas apiladas. Haga esto para agregar más claridad a los resultados que permanecen cuando:

• Las líneas de resultado individuales se ven visualmente próximas.
• Quiere ver más claramente cuando las líneas de tendencia son positivas o negativas, pero el agregado de resultados apilados en el gráfico está aplanando estas líneas de tendencia.

En el ejemplo siguiente, se quitaron las etiquetas Escaladas y No comprometidas del gráfico. La información sobre herramientas muestra que hubo 95 sesiones abandonadas el 23 de noviembre, lo que representa el 60,5 % de los resultados visibles restantes en el gráfico. Esto corresponde a la suma de los resultados clasificados como Resueltos y Abandonados.

Captura de pantalla del gráfico de áreas apiladas de los resultados de la conversación, donde se han eliminado dos resultados.

Para descargar datos de resultados de conversación (datos visualizados en el gráfico), seleccione el icono de menú y seleccione Descargar CSV.

Para abrir un panel lateral con información detallada sobre los resultados de la conversación, seleccione Ver detalles en el gráfico. El panel lateral Resultados de la conversación incluye:

• Un desglose circular de los resultados de la sesión, que muestra la ponderación relativa (expresada como porcentaje) de resultados Resueltos, Escalados y Abandonados.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) de las razones de resultados Resolución confirmada y Resolución implícita describiendo todos los resultados de sesiones resueltas.
• Gráfico de barras apiladas que muestra la ponderación relativa (expresada como porcentaje) del Sistema previsto, Sistema no deseado y los motivos de resultados Solicitados por el usuario que describen todos los resultados de sesión escalados.
• Los temas principales que llevaron a cada resultado.

Captura de pantalla del panel de resultados de la conversación.

Una sesión se divide en uno de los siguientes dos estados:

• Sin compromiso: una sesión comienza cuando un usuario interactúa con el agente o cuando el agente envía un mensaje proactivo al usuario. La sesión comienza en un estado desconectado.

• Comprometido: el usuario interactúa activamente con el agente. Hay una diferencia en el comportamiento en función del modo de orquestación del agente.

  • Orquestación clásica: una sesión se activa cuando se desencadena uno de los temas siguientes:

    • Tema personalizado desencadenado directamente por el usuario
    • Elevar tema
    • Tema alternativo
    • Tema de refuerzo conversacional

  • Orquestación de IA generativa: una sesión se activa cuando un usuario desencadena directamente un plan e incluye uno de los siguientes elementos:

    • Tema fuera del sistema
    • Escalar el tema
    • Tema alternativo
    • Un Origen de conocimiento
    • Una herramienta

Una sesión activa tiene uno de los siguientes resultados:

También puede establecer el resultado para las herramientas con el parámetro mediante el editor de código de las herramientas. Por ejemplo, para un éxito confirmado o para un éxito implícito.

Consulta la documentación de la guía sobre cómo medir la participación para sugerencias y mejores prácticas sobre cómo medir y mejorar la implicación.

Agentes

La lista de agentes muestra métricas de alto nivel de volumen, rendimiento y estado para los agentes conectados e hijos del agente principal. La lista identifica el tipo de relación que el agente listado tiene con su agente principal en la columna Tipo. Si un agente es un agente secundario, su tipo es . Los agentes conectados tienen un tipo enumerado que refleja dónde se crearon (por ejemplo, Copilot Studio, Fundición de IA de Azure). La métrica Llamadas para cada agente enumerado describe el volumen de llamadas del agente principal al agente conectado o secundario. La tasa de éxito refleja la proporción de llamadas (como un % de todas las llamadas) que se completaron correctamente. El estado indica el estado administrativo individual para cada agente conectado y secundario.

De forma predeterminada, la lista Agentes muestra los cinco primeros (5) agentes conectados y secundarios del agente principal, clasificados de mayor a menor número total de preguntas. Si hay más de cinco agentes, seleccione Ver todo para mostrar todos los agentes.

Captura de pantalla de la sección de Agentes de la página de análisis.

Tasa y calidad de las respuestas generadas (versión preliminar)

Con respuestas generativas, el agente puede usar la inteligencia artificial para generar respuestas a las consultas de usuario mediante orígenes de conocimiento y las instrucciones que proporcione. Sin embargo, es posible que el agente no pueda responder a todas las consultas de usuario. La sección Tasa de respuestas generada y calidad realiza un seguimiento, organiza y analiza las consultas sin respuesta y la calidad de respuesta para proporcionarle instrucciones para mejorar el rendimiento de respuesta del agente.

La sección de tasa de respuestas dadas y calidad.

La tasa de respuestas muestra el número de preguntas respondidas y no respondidas dentro del período de tiempo seleccionado y el porcentaje de cambio a lo largo del tiempo.

La calidad de respuesta mide la calidad de las respuestas mediante la inteligencia artificial. Copilot Studio examina un conjunto de ejemplos de preguntas respondidas y analiza diferentes calidades, incluida la integridad, la relevancia y el nivel de base de una respuesta. Si la respuesta cumple un estándar establecido, Copilot Studio etiqueta la respuesta como Good calidad. Copilot Studio etiqueta las respuestas que no cumplen ese estándar como de pobre calidad. Para respuestas deficientes, Copilot Studio asigna un motivo para la evaluación de calidad y muestra el porcentaje de respuestas asignadas a cada categoría.

Mantenga el puntero sobre cualquier segmento de una barra del gráfico para ver la ponderación relativa de un motivo individual para una etiqueta de calidad Buena o Mala. El cuadro de información también indica el número de respuestas muestreadas para llegar al valor de porcentaje calculado.

Captura de pantalla del gráfico de barras apiladas sobre la calidad de las respuestas generadas, con cuadro de información que muestra métricas sobre razones individuales.

En la leyenda debajo del gráfico, pase el mouse por encima de cualquiera de las razones de etiqueta de calidad para resaltar esa razón en el gráfico.

Captura de pantalla del gráfico de barras apiladas titulado "Calidad de respuestas generadas," con la razón "Irrelevante" resaltada.

Puede proporcionar comentarios a Microsoft sobre esta sección con los iconos Pulgar hacia arriba y Pulgar hacia abajo. Use el panel Enviar comentarios a Microsoft para agregar un comentario y compartir archivos relacionados. Al proporcionar comentarios descriptivos como este, podemos trabajar juntos para mejorar continuamente nuestro producto.

1. En el panel Enviar comentarios a Microsoft , describa en lenguaje natural lo que le gusta o no le gusta, en función del icono que haya seleccionado para abrir el panel.
2. Elija si desea compartir el mensaje, la respuesta generada, las muestras de contenido relevantes y los archivos de registro adicionales.
3. Seleccione Enviar.

Captura de pantalla del panel Enviar comentarios a Microsoft.

Seleccione Ver detalles para abrir un panel lateral con las tasas de respuestas a preguntas, el uso del origen de conocimiento y las tasas de error durante el período de tiempo seleccionado. Puede utilizar estos gráficos para identificar qué fuentes de conocimiento funcionan bien para ayudar a los usuarios y a cuáles dirigirse para realizar mejoras.

Si el agente tiene agentes secundarios, en el panel lateral, seleccione Todo para mostrar las métricas tanto para el agente principal como para los agentes secundarios, el agente principal solo para las métricas sobre el agente principal o el agente secundario solo para las métricas sobre los agentes secundarios.

Captura de pantalla del panel de detalles de calidad y tasa de generación de respuestas que resalta el filtro por tipo de agente.

• Las preguntas sin responder muestran los motivos por los que el agente no respondió a una consulta de usuario.
• El uso de fuentes de conocimiento muestra el porcentaje de sesiones que utilizaron cada fuente de conocimiento a la que el agente tiene acceso.
• Todos los orígenes muestran el porcentaje de preguntas que usaron cada origen de conocimiento.
• Errors muestra el porcentaje de consultas que provocaron un error relacionado con el conocimiento para cada tipo de origen de conocimiento (por ejemplo, SharePoint).

En Todos los orígenes, para ver más información en el nivel de cualquiera de los orígenes de conocimiento enumerados, seleccione un origen individual. La información sobre herramientas incluye:

• Número total de preguntas a las que se hace referencia a este origen de conocimiento, así como el número de reacciones de pulgares hacia arriba y hacia abajo.
• Gráfico de barras apiladas que muestra el desglose de la calidad de las ponderaciones relativas de respuesta para las preguntas que hacen referencia a este origen de conocimiento. Pase sobre cualquier segmento del gráfico de barras para ver el valor de la ponderación relativa de ese segmento y el número de preguntas muestreadas para llegar a ese valor.

Captura de pantalla de ponderaciones relativas de la calidad de respuesta para un origen de conocimiento determinado, mostrando el tooltip para un valor de calidad.

Uso de herramientas

La sección Uso de herramientas muestra un gráfico y métricas que realizan un seguimiento de la frecuencia con la que se inician las herramientas a lo largo del tiempo y la frecuencia con la que el agente usó esas herramientas correctamente. También muestra indicadores de tendencia para la frecuencia con la que el agente usa cada herramienta y el porcentaje de herramientas llamadas usadas correctamente.

El gráfico muestra las cinco herramientas principales usadas en el periodo de fechas definido en la parte superior de la página Análisis.

En la leyenda debajo del gráfico, mantenga el puntero sobre cualquiera de las herramientas para resaltar esa herramienta en el gráfico.

Captura de pantalla del gráfico de uso de la herramienta con una sola herramienta resaltada.

Para abrir un panel lateral con una lista de todas las herramientas usadas en el período de tiempo especificado, junto con los indicadores de tendencia, seleccione Ver detalles en el gráfico. En el panel Uso de herramientas, puede mostrar cálculos del porcentaje de preguntas usadas para cada herramienta. Si el agente tiene agentes secundarios, puede elegir mostrar cálculos tanto para el agente principal como para los agentes secundarios (Todos), solo para el agente principal o solo para el agente secundario.

Captura de pantalla del gráfico de uso de la herramienta y las métricas

Captura de pantalla del panel Uso de la herramienta que resalta el filtrado por tipo de agente.

Satisfacción

La sección de Satisfacción muestra los comentarios de los usuarios recogidos a partir de las reacciones a las respuestas de los agentes, resultados de encuestas y puntuación de sentimiento para una sesión. La Satisfacción se divide en dos subsecciones: una sección de Reacciones, que muestra comentarios de aprobación y desaprobación, así como comentarios de los usuarios para respuestas específicas de los agentes, y una sección de Resultados de Encuestas, que muestra la puntuación explícita de satisfacción del cliente (CSAT) y el análisis de sentimiento basado en IA para toda la sesión.

Los datos de comentarios se almacenan en la tabla de transcripción de conversación de Dataverse. Para obtener una lista de los canales que admiten esta característica, consulte Detalles de características.

Reacciones

En la sección Reacciones se muestran los comentarios de los usuarios recopilados de reacciones a las respuestas de agente y los resultados de la encuesta para una sesión. El gráfico cuenta el número de veces que los usuarios seleccionaron los botones de pulgar arriba (positivo) o pulgar abajo (negativo) disponibles en cada respuesta que recibieron de su agente.

Gráfico de reacciones de respuesta.

Después de que un usuario proporcione una reacción, puede dejar un comentario. Para ver los comentarios, seleccione Ver detalles. En el panel de comentarios de reacción, selecciona Todos, Reacciones positivas o Reacciones negativas para filtrar los comentarios.

Para cada reacción, para ver la consulta de usuario asociada y la respuesta del agente, seleccione el interruptor junto al comentario. La página Análisis almacena las consultas de usuario y las respuestas del agente durante un máximo de 28 días.

Captura de pantalla del botón de alternancia expandir-contraer en el panel Reacciones que muestra la consulta y la respuesta del usuario.

Los comentarios de los usuarios están activados de forma predeterminada. Puede desactivar esta característica, si lo desea. También puede agregar o editar un descargo de responsabilidad para los usuarios sobre cómo se usan sus comentarios:

1. Abra el agente, vaya a Configuración y busque la sección Comentarios del usuario.

2. Permita a los usuarios dar comentarios al usar este agente, activándolo o desactivándolo.

3. Agregue o edite un descargo de responsabilidad para que los usuarios sepan cómo se usan sus comentarios. También puede proporcionar información y consejos sobre privacidad.

Satisfacción del usuario durante las sesiones

La sección de satisfacción del usuario en las sesiones muestra información sobre la satisfacción del usuario basada en los resultados de encuestas y el análisis de sentimiento por IA en una muestra de sesiones:

Captura de pantalla de la casilla de satisfacción del usuario para las sesiones.

• Puntuación de satisfacción de la encuesta: Una puntuación de 5 calculada a partir de las puntuaciones medias de satisfacción del cliente (CSAT) para sesiones en las que los usuarios respondieron a solicitudes de final de sesión para responder a una encuesta.

  Nota

  Las puntuaciones de y se asignan a Insatisfecho, una puntuación de se considera Neutro, y las puntuaciones de y se asignan a Satisfecho.

• Satisfacción por sesión: Un gráfico de barras apiladas que visualiza el peso relativo de cada una de las categorías de puntuación de la encuesta, que son , , y . Pasa el cursor sobre cada segmento del gráfico para ver el tamaño de la muestra y el valor numérico del peso de cada categoría de puntuación.

• Análisis de sentimiento (vista previa): Una métrica complementaria a la puntuación de la encuesta. Esta métrica utiliza IA para analizar los mensajes de los usuarios de una muestra de sesiones y así evaluar el sentimiento general del usuario hacia el agente. El valor numérico representa el porcentaje de sesiones con un sentimiento negativo del usuario.

Seleccione Ver detalles para profundizar en los datos de sentimiento y determinar el peso relativo de cada una de las categorías de sentimiento (siendo , , y ), y para ver cómo evolucionan las métricas de satisfacción durante el periodo de tiempo configurado del informe.

Captura de pantalla del gráfico de tendencias de puntuación de satisfacción.