Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
A página Analytics no Copilot Studio fornece uma visão agregada sobre a eficácia geral de seu agente em sessões de análise. A página é dividida em áreas principais que focam em diferentes contextos de performance. A página também exibe uma área de visão geral que fornece métricas de KPI (indicador de desempenho chave) de alto nível para seu agente, uma área de Poupança que analisa a economia de tempo e custos atribuível ao agente ou às ferramentas do agente e uma área resumo que fornece informações analíticas importantes sobre o desempenho do agente.
Para saber mais sobre:
- As áreas Sumário e Visão Geral, veja Visão Geral do Analytics
- Consulte a área de Economia, analisando a economia de tempo e custos para agentes Analisar a economia de tempo e custos para agentes
Há seis áreas principais para se concentrar ao analisar e aumentar a eficácia do agente de conversa:
- Temas: os temas ajudam você a obter insights de análise agrupando perguntas do usuário em categorias sugeridas por IA.
- Resultados da conversa: saber o resultado final de uma conversa ajuda você a começar a identificar onde seu agente está tendo êxito e onde ele precisa de melhorias.
- Agentes: Consulte as métricas de volume de chamadas, taxas de êxito e status atual para agentes subordinados e conectados.
- Taxa de resposta e qualidade geradas: entender quando o agente se esforça para fornecer respostas às perguntas do usuário e como ele usa fontes de conhecimento pode ajudá-lo a encontrar maneiras de melhorar a taxa de resposta e a qualidade do agente.
- Uso de ferramentas: aprender com que frequência as ferramentas são usadas e com que frequência elas são bem-sucedidas pode ajudá-lo a entender se essas ferramentas são úteis e bem-sucedidas para os usuários.
- Satisfação: a revisão dos comentários do usuário ajuda você a identificar novos cenários e problemas do usuário e a fazer melhorias com base diretamente no que seus usuários estão solicitando.
Você pode visualizar análises de eventos que ocorreram nos últimos 90 dias.
Resultados da conversa
A seção Resultados da conversa mostra um gráfico que faz o acompanhamento do tipo de resultado de cada sessão entre o agente e os usuários.
O gráfico, seja exibido como um histograma empilhado ou um gráfico de área empilhado, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada Resolvido, Escalonado, Abandonado e Não engajado é representado pelas respectivas cores de cada ponto de dados. O eixo y indica o número de sessões.
Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), passe o mouse sobre uma área que representa a cor de um resultado de interesse (por exemplo, azul-petróleo para Abandonado) no dia em que você está interessado. No exemplo, houve 90 sessões abandonadas, representando 35,6% de todos os resultados das sessões em 24 de novembro.
Na legenda abaixo do gráfico, focalize qualquer um dos rótulos de resultado para realçar esse resultado no gráfico.
Selecione (ligado ou desligado) um ou diversos rótulos de legenda para mostrar ou ocultar resultados do gráfico de áreas empilhadas. Faça isso para dar mais clareza aos resultados que permanecem quando:
- As linhas de resultado individuais parecem visualmente próximas.
- Você deseja ver mais claramente quando as linhas estão tendendo para o positivo ou o negativo, mas a agregação de resultados empilhados no gráfico está achatando essas linhas de tendência.
Observação
Ao remover um resultado do gráfico assim, você remove esse resultado do conjunto maior de resultados exibidos. A remoção de resultados exibidos altera o valor percentual exibido de qualquer resultado restante em relação ao pool porque altera o denominador da proporção.
No exemplo a seguir, os rótulos Escalonado e Sem engajamento foram removidos do gráfico. A dica de ferramenta mostra que houve 95 sessões abandonadas em 23 de novembro, o que representa 60,5% dos resultados visíveis restantes no gráfico (sendo a soma dos resultados Resolvidos + Abandonados).
Para baixar dados de resultado da conversa (dados visualizados no grafo), selecione o ícone 
de menu e selecione Baixar CSV.
Observação
Se algum resultado for removido do gráfico quando você baixar, os dados deles não serão exibidos no CSV.
Para abrir um painel lateral com informações detalhadas sobre os resultados da conversa, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversa inclui:
- Uma análise do gráfico de setores dos resultados da sessão, mostrando a ponderação relativa (expressa como percentual) dos resultados Resolvidos, Escalonados e Abandonados.
- Um gráfico de barras empilhado mostrando a ponderação relativa (expressa em percentual) dos motivos de resultados Resolvidos confirmados e Resolvidos implícitos descrevendo todos os resultados das sessões resolvidas.
- Um gráfico de barras empilhado mostrando a ponderação relativa (expressa como percentual) dos motivos de resultados Desejados pelo sistema, Não desejados pelo sistema e Solicitados pelo usuário descrevendo todos os resultados da sessão escalonada.
- Os principais temas que levaram a cada resultado.
Observação
Para ver uma dica de ferramenta com informações de contagem bruta, focalize qualquer um dos segmentos do gráfico de pizza ou do gráfico de barras empilhadas.
Uma sessão se enquadra em um dos dois estados a seguir:
Não engajada: Uma sessão começa quando um usuário interage com o agente ou quando seu agente envia uma mensagem proativa para o usuário. A sessão começa em um estado não engajada.
Envolvido: o usuário interage ativamente com o agente. Há uma diferença no comportamento com base no modo de orquestração do agente.
Orquestração clássica: uma sessão se envolve quando um dos seguintes tópicos é acionado:
- Tópico personalizado acionado diretamente pelo usuário
- Priorizar tópico
- Tópico de contingência
- Tópico de otimização de conversa
Orquestração de IA generativa: uma sessão se torna ativa quando um usuário aciona diretamente um plano e inclui um dos seguintes elementos:
- Tópico que não seja do sistema
- Priorizar tópico
- Tópico de contingência
- Uma Fonte de Conhecimento
- Uma ferramenta
Uma sessão engajada tem um dos seguintes resultados:
| Categoria de resultado | Resultado | Descrição |
|---|---|---|
| Resolvidas | Uma sessão é encerrada com êxito. Há dois tipos de sessões resolvidas: resolvido confirmado e resolvido implícito. | |
| Resolvido confirmado | Uma sessão é considerada Resolvida confirmada quando o tópico Fim da conversa é disparado e o usuário confirma que a interação foi um êxito. | |
| Resolvido implícito | Uma sessão é Resolvida implicitamente quando é considerada concluída sem a confirmação do usuário, mas com base na lógica do agente. O estado Implícito Resolvido depende se o seu agente utiliza a orquestração de IA Clássica ou IA Generativa: - Orquestração clássica: uma sessão é considerada como Resolvida implicitamente quando o tópico Fim da conversa é disparado e o usuário permite que a sessão atinja o tempo limite sem fornecer uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Resolvida por Implicação quando uma sessão atinge o tempo limite e não há planos ativos restantes. Um plano ativo é aquele que está aguardando a entrada de um usuário. |
|
| Escalonado | Uma sessão termina, mas é considerada Escalonada quando o tópico Escalonar é disparado ou um nó Transferir para agente é executado (a sessão de análise atual termina, independentemente da transferência da conversa para um agente humano ou não). Existem três tipos de sessões escalonadas: Desejada pelo sistema, Não desejada pelo sistema e Solicitada pelo usuário. | |
| Intencionado pelo sistema | Uma sessão é escalonada automaticamente por causa de um conjunto de regras de negócios automático por um criador. A escalada é um resultado esperado da conversa e não é algo que precise de investigação ou mudança. Exemplo: um usuário gostaria de transferir mais de US$ 25.000 para terceiros. Esse valor excede um limite em uma regra de negócios, e a sessão é escalonada automaticamente como resultado. |
|
| Não desejado pelo sistema | Um escalonamento ocorre automaticamente quando uma sessão excede um ou mais limites estabelecidos por um usuário. Normalmente, esse resultado indica que o usuário está preso na conversa e precisa de ajuda. Exemplo: uma sessão é escalada após três falhas em realizar uma tarefa específica. |
|
| Solicitado pelo usuário | Uma sessão é escalada porque houve uma solicitação do usuário explícita durante a conversa. Exemplo: um usuário insere Transfer me to an agent. |
|
| Abandonado | Uma sessão é encerrada e é considerada Abandonada quando uma sessão ativa expira após 30 minutos e não atingiu um estado resolvido ou escalonada. |
Você também pode definir o resultado das ferramentas com o conversationOutcome parâmetro usando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.
Consulte a documentação de orientação sobre como medir o engajamento para sugestões e melhores práticas sobre como medir e melhorar o engajamento.
Agentes
A lista de Agentes exibe métricas de volume, desempenho e status de alto nível para agentes conectados e agentes filhos do seu agente principal. A lista identifica o tipo de relacionamento que o agente listado tem com seu agente principal na coluna Tipo. Caso um agente seja considerado filho, seu tipo é Child. Os agentes conectados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente conectado ou filho.
A taxa de sucesso reflete a proporção de chamadas (em porcentagem de todas as chamadas) que foram concluídas com sucesso.
Status indica o status administrativo individual de cada agente conectado e agente filho.
Por padrão, a lista de Agentes exibe os cinco (5) principais agentes conectados e filhos do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para exibir todos os agentes.
Observação
O botão Ver tudo é visível apenas se houver mais de cinco agentes conectados ou subordinados ao seu agente principal.
Taxa de respostas geradas e qualidade (versão preliminar)
Importante
Este artigo contém documentação de visualização do Microsoft Copilot Studio e pode mudar.
A versão prévia dos recursos não foi criada para uso em ambientes de produção e pode ter funcionalidade restrita. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer comentários.
Se você estiver criando um agente pronto para produção, consulte Microsoft Copilot Studio Visão geral.
Com respostas generativas, seu agente pode usar IA para gerar respostas às perguntas dos usuários usando fontes de conhecimento e as instruções que você fornece. No entanto, seu agente talvez não consiga responder todas as consultas dos usuários. A seção taxa de resposta gerada e qualidade rastreia, organiza e analisa consultas sem resposta e qualidade de resposta para fornecer orientação para melhorar o desempenho de resposta do agente.
A taxa de resposta mostra o número de perguntas respondidas e sem resposta dentro do período de tempo selecionado e a alteração percentual ao longo do tempo.
A qualidade da resposta mede a qualidade das respostas usando IA. Copilot Studio analisa um conjunto de exemplos de perguntas respondidas e analisa diferentes qualidades, incluindo integridade, relevância e nível de fundamentação de uma resposta. Se a resposta atender a um padrão definido, o Copilot Studio rotulará a resposta como Good qualidade. Copilot Studio rotula respostas que não atendem a esse padrão como qualidade Poor. Para respostas Ruins, o Copilot Studio atribui um motivo para a avaliação de qualidade e mostra a porcentagem de respostas atribuídas a cada categoria.
Focalize qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para um rótulo de qualidade Boa ou Ruim. A dica de ferramenta também indica o número de respostas de amostra para chegar ao valor percentual calculado.
Captura de tela do gráfico de barras empilhadas intitulado "Qualidade das Respostas Geradas", com dica de ferramenta mostrando métricas para um motivo individual.
Na legenda abaixo do gráfico, focalize qualquer um motivos do rótulo de qualidade para realçar esse motivo no gráfico.
Selecione Ver perguntas para ver uma lista não filtrada de todas as perguntas dentro do período de tempo configurado.
Selecione Ver detalhes para abrir um painel lateral com taxas de resposta a perguntas, uso da fonte de dados de conhecimento e taxas de erro durante o período de tempo selecionado. Você pode usar esses gráficos para identificar quais fontes de conhecimento funcionam bem para ajudar usuários e quais direcionar para melhorias.
Se seu agente tiver agentes filho, no painel lateral, selecione Todos para exibir métricas tanto do agente principal quanto dos agentes filho, Agente principal para métricas apenas sobre o agente principal, ou Agente filho para métricas apenas sobre agentes filho.
- Perguntas sem resposta mostram os motivos pelos quais o agente não respondeu a uma consulta de usuário.
- Uso da fonte de conhecimento mostra a porcentagem de sessões que usaram cada fonte de conhecimento à qual o agente tem acesso.
- Todas as fontes mostram o percentual de perguntas que usaram cada fonte de conhecimento.
- Errors mostra o percentual de consultas que resultaram em um erro relacionado ao conhecimento para cada tipo de fonte de conhecimento (por exemplo, SharePoint).
Em Todas as fontes, para ver mais informações no nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A dica de ferramenta inclui:
- O número total de perguntas que fizeram referência a essa fonte de conhecimento, assim como o número de reações positivas e negativas.
- Um gráfico de barras empilhado mostrando a divisão dos pesos relativos à qualidade das respostas para perguntas que fazem referência a essa fonte de conhecimento. Passe o mouse sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas com amostra para chegar a esse valor.
Aprofundar em uma lista de perguntas dos agentes
Faça uma busca detalhada para exibir perguntas específicas que contribuíram para uma métrica e o contexto de suporte, como como o agente respondeu, como os usuários reagiram e quais fontes de conhecimento estavam envolvidas. Essa exibição fornece uma visão melhor da qualidade da resposta e ajuda a identificar possíveis lacunas na cobertura de conhecimento.
Importante
Para exibir a lista e suas métricas, é necessário ter a função de segurança de um Visualizador de Transcrição de Bot. Somente administradores podem conceder essa função atribuindo o direito de acesso Visualizador de Transcrição do Bot durante o compartilhamento do agente.
Para habilitar essa função de segurança em seu ambiente de grupo ou único, veja Como definir as configurações de transcrição.
No momento, há suporte para a lista de perguntas para os seguintes painéis de métricas: taxa de resposta gerada e qualidade e uso da fonte de conhecimento.
Para fazer uma busca detalhada na janela de lista de perguntas:
- No painel de qualidade e taxa de resposta gerada , selecione Ver perguntas.
- No painel taxa e qualidade da resposta gerada, passe o mouse sobre e selecione o segmento de barra de resposta Boa ou Ruim.
- No painel de qualidade e taxa de resposta gerada , selecione a métrica de porcentagem de perguntas 'Respondidas' ou 'Sem Resposta '.
- No painel de Knowledge source use, selecione Ver detalhes para abrir o painel lateral Knowledge source use, selecione a fonte desejada e depois selecione Ver perguntas no pop-up.
A lista de perguntas do usuário é filtrada com base no ponto de dados em que você aprofundou a análise. Isso é refletido nas configurações de filtro padrão acima da lista de perguntas. Por exemplo, escolher o segmento de barra Irrelevante da barra Poor no bloco Qualidade das respostas geradas define o filtro de qualidade de resposta para Irrelevant as perguntas listadas.
Se desejado, você pode executar as seguintes ações na página de lista:
- Aplique mais filtragem para restringir ainda mais a lista de perguntas usando os filtros dimensional da lista.
- Avalie as perguntas listadas de acordo com os critérios definidos no método de teste da avaliação.
- Baixe as perguntas listadas como um arquivo .csv.
A janela lista de perguntas exibe o seguinte:
| Coluna | Descrição |
|---|---|
| Pergunta | A pergunta feita. |
| Respondido | O status da resposta de IA generativa: respondida ou sem resposta. |
| Qualidade da resposta | Qualidade da resposta para perguntas amostradas. Os valores possíveis são: Poor e Good. |
| Reação | Polegares para cima, polegares para baixo ou nenhuma reação, com um comentário opcional em texto. |
| Data | Data em que a pergunta foi respondida. |
| Fonte de conhecimento | Lista de fontes de conhecimento citadas na resposta do agente. |
Para obter mais informações, selecione Mostrar detalhes sobre qualquer pergunta para abrir o painel lateral de detalhes da pergunta. Este painel fornece insights adicionais sobre a qualidade da resposta associada a cada pergunta.
| Parâmetro detalhado no nível da pergunta | Descrição |
|---|---|
| Carimbo de data/hora | Carimbo de data/hora da última vez em que a pergunta foi respondida. |
| Consulta de usuário | A pergunta feita. |
| Resposta | A resposta de IA generativa. |
| Valor de avaliação Positiva/Negativa | Valor da instância mais recente desta pergunta para o parâmetro de Curtidas/Não curtidas. |
| Comentário | Comentário extra opcional baseado em texto, fornecido pelo usuário, além da reação de polegar para cima / polegar para baixo . |
| Qualidade da resposta1 | Resposta à pergunta de qual era a qualidade da resposta à consulta do usuário. Os valores possíveis são: Poor e Good. |
| Motivo2 | No caso em que a qualidade da resposta está Poor, esse parâmetro explica o motivo. |
1 A qualidade da resposta nem sempre está disponível e aparece somente se a pergunta foi amostrada para análise de qualidade.
2 Se a qualidade da resposta for Good ou se a pergunta não tiver sido amostrada, o parâmetro Reason não será atribuído a nenhum valor.
Uso de ferramentas
A seção Uso da Ferramenta mostra um gráfico e métricas que acompanham a frequência com que suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com êxito. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.
O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página Análise .
Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.
Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período de tempo especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.
Satisfação
A seção de Satisfação mostra o feedback dos usuários coletado a partir das reações às respostas dos agentes, resultados de pesquisas e pontuação de sentimento para uma sessão. A satisfação é dividida em duas subseções: uma seção de Reações , que mostra feedback positivo, negativo e comentários dos usuários para respostas específicas de agentes, e uma seção de resultados da Pesquisa , que exibe a pontuação explícita de satisfação do cliente (CSAT) e a análise de sentimento baseada em IA para toda a sessão.
Os dados de comentários são armazenados na tabela de transcrição de conversa no Dataverse. Para obter uma lista de canais que dão suporte a esse recurso, consulte Detalhes do recurso.
Reações
A seção Reações mostra os comentários dos usuários coletados das reações às respostas do agente e aos resultados da pesquisa para uma sessão. O gráfico conta o número de vezes que os usuários selecionaram os polegares para cima (positivo) ou para baixo (negativo) botões disponíveis em cada resposta que receberam do seu agente.
Após um usuário fornecer uma reação, ele pode deixar um comentário. Para exibir comentários, selecione Ver detalhes. No painel de comentários de reação, selecione Todos, Gostei ou Não gostei para filtrar os comentários.
Observação
- Os agentes publicados no canal do Microsoft 365 Copilot não dão suporte a reações.
- Para exibir comentários, você deve ter a função de segurança Visualizador de Transcrições do Bot.
Para cada reação, para ver a consulta do usuário associada e a resposta do agente, selecione o botão ao lado do comentário. A página Análise armazena consultas de usuário e respostas de agente por até 28 dias.
Os comentários do usuário estão Ativados por padrão. Você poderá desativar esse recurso, se quiser. Você também pode adicionar ou editar um aviso de isenção de responsabilidade para usuários sobre como os comentários são usados:
Abra o agente, vá para Configurações e localize a seção Comentários do usuário.
Ative ou Desative a opção Permitir que os usuários forneçam comentários ao usar este agente.
Adicione ou edite um aviso de isenção de responsabilidade para que os usuários saibam como os comentários são usados. Você também pode fornecer informações de privacidade e dicas.
Satisfação do usuário em sessões
A seção Satisfação do Usuário para sessões mostra informações sobre a satisfação do usuário baseadas em resultados de pesquisas e análise de IA do sentimento em uma amostra de sessões:
Pontuação de satisfação da pesquisa: Uma pontuação de até 5 calculada a partir das pontuações médias de satisfação do cliente (CSAT) para sessões em que os usuários responderam a solicitações feitas ao final da sessão para responder a uma pesquisa.
Observação
Pontuações de
1e2mapeiam para Insatisfeito, uma pontuação de3é considerada Neutra e pontuações de4e5mapeiam para Satisfeito.Satisfação por sessão: Um gráfico de barras empilhadas que visualiza o peso relativo para cada uma das categorias de pontuação da pesquisa, sendo
Dissatisfied,Neutral, eSatisfied. Passe o mouse sobre cada segmento do gráfico para ver o tamanho da amostra e o valor numérico da ponderação de cada categoria de pontuação.Análise de sentimento (prévia): Uma métrica complementar à pontuação da pesquisa. Essa métrica utiliza IA para analisar mensagens de usuários de uma amostra de sessões e avaliar o sentimento geral do usuário em relação ao agente. O valor numérico representa a porcentagem de sessões com sentimento negativo do usuário.
Selecione Ver detalhes para aprofundar os dados de sentimento para o peso relativo de cada uma das categorias de sentimento (sendo Positive, Neutral, e Negative), e para ver como as métricas de satisfação tendem ao longo do período de tempo configurado pelo relatório.
