Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
A página Analytics no Copilot Studio fornece uma visão agregada da eficácia global do seu agente ao longo de sessões de análise. A página está dividida em áreas principais que se focam em diferentes contextos de desempenho. A página também exibe uma área Visão geral que fornece métricas de alto nível de indicadores chave de desempenho (KPI) para seu agente, uma área de Economia que analisa economias de tempo e custos atribuíveis ao seu agente ou às ferramentas do seu agente e uma área de Resumo que fornece insights analíticos importantes sobre o desempenho do seu agente.
Para obter mais informações:
- As áreas Resumo e Visão geral , consulte Visão geral do Google Analytics
- Na área Poupança, veja Analise poupança de tempo e custos para os agentes
Há seis áreas principais nas quais se deve concentrar ao rever e melhorar a eficácia dos agentes conversacionais:
- Temas: os temas ajudam você a obter insights analíticos agrupando as perguntas do usuário em categorias sugeridas pela IA.
- Resultados da conversa: Conhecer o resultado final de uma conversa ajuda você a começar a identificar onde seu agente está tendo sucesso e onde ele precisa ser melhorado.
- Agentes: veja as métricas de volume de chamadas, as taxas de sucesso e o estado atual dos agentes subordinados e ligados.
- Taxa de resposta e qualidade geradas: Entender quando o agente se esforça para fornecer respostas às perguntas do usuário e como ele usa fontes de conhecimento pode ajudá-lo a encontrar maneiras de melhorar a taxa de resposta e a qualidade do seu agente.
- Uso da ferramenta: Aprender com que frequência as ferramentas são usadas e com que frequência elas são bem-sucedidas pode ajudá-lo a entender se essas ferramentas são úteis e bem-sucedidas para os usuários.
- Satisfação: Analisar os comentários dos usuários ajuda a identificar novos cenários e problemas de usuários e a fazer melhorias com base diretamente no que os usuários estão pedindo.
Pode consultar análises de eventos que ocorreram nos últimos 90 dias.
Resultados da conversação
A secção de Resultados da conversação mostra um gráfico que monitoriza o tipo de resultado de cada sessão entre o agente e os utilizadores.
O gráfico, quer seja apresentado como um histograma empilhado ou um gráfico de áreas empilhadas, visualiza os volumes relativos de resultados, codificados por cores e empilhados por tipo. Cada um dos tipos Resolvida, Escalada, Abandonada e Não envolvido são representados pelas respetivas cores para cada ponto de dados. O eixo Y indica o número de sessões.
Para ver métricas sobre resultados individuais específicos de um ponto de dados (um dia específico), faça pairar o cursor sobre uma área que representa a cor de um resultado de interesse (por exemplo, azul-petróleo para sessões Abandonadas) no dia que lhe interessa. No exemplo, houve 90 sessões abandonadas, representando 35,6% de todos os resultados das sessões de 24 de novembro.
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das etiquetas de resultados para realçar esse resultado no gráfico.
Selecione (ativar ou desativar) uma ou várias etiquetas de legenda para mostrar ou ocultar resultados do gráfico de áreas empilhadas. Faça isto para tornar mais claros os resultados que permanecem quando:
- As linhas de resultados individuais aparecem visualmente próximas umas das outras.
- Pretendemos ver mais claramente quando as linhas de tendência têm uma tendência positiva ou negativa, mas o agregado de resultados empilhados no gráfico está a aplanar estas linhas de tendência.
Nota
Quando se remove um resultado do gráfico desta forma, remove-se esse resultado do conjunto maior de resultados apresentados. Remover os resultados apresentados altera o valor percentual apresentado de qualquer resultado restante em relação ao conjunto porque altera o denominador do rácio.
No exemplo seguinte, as etiquetas Escalado e Sem cativação foram removidas da tabela. A descrição mostra que houve 95 sessões abandonadas a 23 de novembro, o que representa 60,5% dos restantes resultados visíveis no gráfico (sendo a soma dos resultados das sessões Resolvidas + Abandonadas).
Para baixar dados de resultados de conversas (dados visualizados no gráfico), selecione o ícone 
de menu e selecione Baixar CSV.
Nota
Se algum resultado tiver sido removido do gráfico ao fazer download, os respetivos dados não aparecem no CSV.
Para abrir um painel lateral com informações detalhadas sobre os resultados das conversações, selecione Ver detalhes no gráfico. O painel lateral Resultados da conversação inclui:
- Um gráfico circular dos resultados das sessões, mostrando a ponderação relativa (expressa em percentagem) dos resultados das sessões Resolvidas, Escaladas e Abandonadas.
- Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos dos resultados Resolvida com confirmação e Resolvida implicitamente que descrevem todos os resultados das sessões resolvidas.
- Um gráfico de barras empilhadas que mostra a ponderação relativa (expressa em percentagem) dos motivos de resultados de sessões Previstas pelo sistema, Não previstas pelo sistema e Pedidas pelo utilizador, que descrevem todos os resultados de sessões escaladas.
- Os tópicos principais que conduziram a cada resultado.
Nota
Para ver uma descrição com informações de contagem não processadas, faça pairar o cursor sobre qualquer segmento do gráfico circular ou do gráfico de barras empilhadas.
Uma sessão enquadra-se num dos dois estados seguintes:
Não engajado: uma sessão começa quando um usuário interage com seu agente ou o agente envia uma mensagem proativa para o usuário. A sessão começa em um estado inativo.
Engajado: O usuário interage ativamente com o agente. Há uma diferença de comportamento com base no modo de orquestração do agente.
Orquestração clássica: Uma sessão é ativada quando um dos seguintes tópicos é acionado:
- Tópico personalizado acionado diretamente pelo utilizador
- Escalar tópico
- Tópico de contingência
- Tópico para impulsionar a conversação
Orquestração de IA generativa: Uma sessão torna-se ativada quando um utilizador aciona diretamente um plano e inclui um dos seguintes elementos:
- Tópico não pertencente ao sistema
- Escalar tópico
- Tópico de contingência
- Uma fonte de conhecimento
- Uma ferramenta
Uma sessão envolvida tem um dos seguintes resultados:
| Categoria dos resultados | Resultado | Descrição |
|---|---|---|
| Resolvido | Uma sessão termina com êxito. Existem dois tipos de sessões resolvidas: Resolvido confirmado e Resolvido implícito. | |
| Resolvida com confirmação | Uma sessão é considerada Resolvida com confirmação quando o tópico Fim da conversação é acionado e o utilizador confirma que a interação foi um êxito. | |
| Resolvida de forma implícita | Uma sessão é Resolvida implicitamente quando a sessão é concluída sem confirmação do utilizador, mas com base na lógica do agente. O estado implícito Resolvido depende se o agente usa orquestração de IA clássica ou generativa: - Orquestração clássica: uma sessão é considerada Resolvida implicitamente quando o tópico Fim da conversação é acionado e o utilizador deixa a sessão expirar sem fornecer uma confirmação. - Orquestração de IA generativa: uma sessão é considerada Resolvida implicitamente quando uma sessão expira e não há planos ativos restantes. Um plano ativo é um plano que aguarda a entrada de um utilizador. |
|
| Escalado | Uma sessão termina mas é considerada escalada quando o tópico Escalar é acionado ou é executado um nó Transferir para o agente (a sessão de análise atual termina, quer a conversação seja transferida para um agente ao vivo ou não). Existem três tipos de sessões escaladas: Prevista pelo sistema, Não prevista pelo sistema e Pedida pelo utilizador. | |
| Intenção do sistema | Uma sessão é escalada automaticamente como resultado de uma regra de negócio automática definida por um criador. A escalada é um resultado esperado da conversa e não é algo que precise de investigação ou mudança. Exemplo: um utilizador gostaria de transferir mais de 25.000 USD para um terceiro. Este valor ultrapassa um limiar numa regra de negócio e a sessão é automaticamente escalada como resultado. |
|
| Não prevista pelo sistema | Uma escalada ocorre automaticamente quando uma sessão excede um ou mais limites definidos por um configurador. Normalmente, este resultado indica que o utilizador está preso na conversa e precisa de ajuda. Exemplo: uma sessão é escalada após três falhas na execução de uma determinada tarefa. |
|
| Pedida pelo utilizador | Uma sessão é escalada porque houve um pedido explícito do utilizador durante a conversação. Exemplo: um utilizador introduz Transfer me to an agent. |
|
| Abandonado | Uma sessão termina e é considerada Abandonada quando uma sessão ativa expira após 30 minutos e não atinge um estado resolvido ou escalonado. |
Você também pode definir o resultado para ferramentas com o conversationOutcome parâmetro usando o editor de código da ferramenta. Por exemplo, conversationOutcome: ResolvedConfirmed para sucesso confirmado ou conversationOutcome: ResolvedImplied para sucesso implícito.
Consulte a documentação de orientações sobre a medição do envolvimento para sugestões e boas práticas sobre como medir e melhorar o envolvimento.
Agentes
A lista de Agentes mostra métricas de volume, desempenho e estado de alto nível para agentes ligados e subordinados do seu agente principal. A lista identifica o tipo de relação que o agente listado tem com o seu agente principal na coluna Tipo. Se um agente for um agente subordinado, o seu tipo é Child. Os agentes ligados têm um tipo listado que reflete onde foram criados (por exemplo, Copilot Studio, Azure AI Foundry). A métrica de Chamadas para cada agente listado descreve o volume de chamadas do agente principal para o agente ligado ou subordinado. A taxa de sucesso reflete a proporção de chamadas (em percentagem de todas as chamadas) que foram concluídas com sucesso. O Estado indica o estado administrativo individual de cada agente conectado e subordinado.
Por predefinição, a lista de Agentes mostra os cinco (5) principais agentes ligados e subordinados do seu agente principal, classificados do maior ao menor número total de perguntas. Se houver mais de cinco agentes, selecione Ver todos para apresentar todos os agentes.
Nota
O botão Ver tudo só é visível se houver mais de cinco agentes ligados ou subordinados ao seu agente principal.
Taxa de respostas geradas e qualidade (pré-visualização)
Importante
Este artigo contém documentação de pré-visualização do Microsoft Copilot Studio e está sujeito a alterações.
As funcionalidades de pré-visualização não se destinam à produção e poderão ter caraterísticas restritas. Esses recursos estão disponíveis antes de um lançamento oficial para que você possa obter acesso antecipado e fornecer feedback.
Se está a construir um agente pronto para produção, veja Microsoft Copilot Studio Overview.
Com respostas generativas, o seu agente pode usar IA para gerar respostas às perguntas dos utilizadores usando fontes de conhecimento e as instruções que fornece. No entanto, o seu agente pode não conseguir responder a todas as perguntas dos utilizadores. A seção Taxa de resposta e qualidade geradas rastreia, organiza e analisa consultas não respondidas e qualidade de resposta para fornecer orientação para melhorar o desempenho de resposta do seu agente.
A taxa de resposta mostra o número de perguntas respondidas e não respondidas dentro do período de tempo selecionado e a variação percentual ao longo do tempo.
A qualidade da resposta mede a qualidade das respostas usando IA. O Copilot Studio analisa um conjunto de perguntas respondidas e analisa diferentes qualidades, incluindo completude, relevância e nível de fundamento de uma resposta. Se a resposta cumprir um padrão definido, Copilot Studio classifica a resposta como qualidade Bom. Copilot Studio rotula respostas que não cumprem esse padrão como de qualidade fraca. Para respostas Pobres, o Copilot Studio atribui um motivo para a classificação de qualidade e mostra a percentagem de respostas atribuídas a cada categoria.
Faça pairar o cursor sobre qualquer segmento de uma barra no gráfico para ver a ponderação relativa de um motivo individual para uma etiqueta de qualidade Boa ou Má. A descrição também indica o número de respostas analisadas para chegar ao valor percentual calculado.
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer um dos motivos da etiqueta de qualidade para realçar esse motivo no gráfico.
Selecione Ver perguntas para ver uma lista sem filtros de todas as perguntas dentro do período de tempo configurado.
Selecione Ver detalhes para abrir um painel lateral com taxas de resposta a perguntas, uso da fonte de conhecimento e taxas de erro durante o período selecionado. Pode utilizar estes gráficos para identificar que origens de conhecimento funcionam bem para ajudar os utilizadores e quais sinalizar para melhorias.
Se o seu agente tiver agentes subordinados, no painel lateral, selecione Todos para mostrar métricas tanto para o agente principal como para agentes subordinado, Agente principal para métricas apenas sobre o agente principal, ou Agente subordinado para métricas apenas sobre agentes subordinados.
- As perguntas não respondidas mostram os motivos pelos quais o agente não respondeu a uma consulta do usuário.
- O uso da fonte de conhecimento mostra a porcentagem de sessões que usaram cada fonte de conhecimento à qual o agente tem acesso.
- Todas as fontes mostram a percentagem de perguntas que utilizaram cada fonte de conhecimento.
- Erros mostra a percentagem de consultas que resultaram num erro relacionado com o conhecimento para cada tipo de fonte de conhecimento (por exemplo, SharePoint).
Em Todas as fontes, para ver mais informações ao nível de qualquer uma das fontes de conhecimento listadas, selecione uma fonte individual. A dica de ferramenta inclui:
- O número total de perguntas que referenciavam esta fonte de conhecimento, bem como o número de reações de polegar para cima e polegar para baixo.
- Um gráfico de barras empilhadas que mostra a desagregação dos pesos relativos atribuídos à qualidade das respostas em perguntas que fazem referência a esta fonte de conhecimento. Passe o rato sobre qualquer segmento do gráfico de barras para ver o valor do peso relativo desse segmento e o número de perguntas amostradas para chegar a esse valor.
Aprofunde-se numa lista de perguntas de agentes
Aprofunde para ver perguntas específicas que contribuíram para uma métrica e o contexto de apoio, como a resposta do agente, a reação dos utilizadores e quais as fontes de conhecimento envolvidas. Esta perspetiva proporciona uma melhor perceção da qualidade da resposta e ajuda a identificar possíveis lacunas na cobertura do conhecimento.
Importante
Você precisa de uma função de segurança de Bot Transcript Viewer para visualizar a lista e as suas métricas. Apenas os administradores podem conceder esta função, atribuindo o direito de acesso Visualizador de Transcrição do Bot durante a partilha de agentes.
Para ativar esta função de segurança no seu ambiente individual ou de grupo, veja Como configurar as definições de transcrição.
A análise da lista de perguntas é atualmente suportada para os seguintes painéis de métricas: Taxa de resposta gerada e qualidade e utilização da fonte de conhecimento.
Para aprofundar a janela da lista de perguntas:
- No painel de Taxa de resposta gerada e qualidade , selecione Ver perguntas.
- No painel de Taxa de resposta Gerada e Qualidade , passe o rato e selecione o segmento da barra de respostas Bom ou Mau .
- No painel de Taxa de Resposta Gerada e Qualidade , selecione a métrica percentual de perguntas 'Respondidas' ou 'Não Respondidas '.
- A partir do painel utilização da fonte de conhecimento, selecione Ver detalhes para abrir o painel lateral de uso da fonte de conhecimento, selecione a fonte desejada e depois selecione Ver perguntas no pop-up.
A lista de perguntas dos utilizadores é filtrada com base no ponto de dados que aprofundaste. Isto reflete-se nas definições padrão do filtro acima da lista de perguntas. Por exemplo, ao escolher o segmento Irrelevante da barra Pobre na peça de Qualidade das respostas geradas, define-se o filtro de Qualidade das Respostas para Irrelevant nas perguntas listadas.
Se desejar, pode realizar as seguintes ações na página da lista:
- Aplique mais filtragem para restringir ainda mais a lista de perguntas usando os filtros dimensionais da lista.
- Avalie as perguntas listadas de acordo com os critérios que definir no método de teste da avaliação.
- Descarregue as perguntas listadas como ficheiro .csv.
A janela da lista de perguntas mostra o seguinte:
| Column | Descrição |
|---|---|
| Pergunta | A pergunta feita. |
| Respondido | O status da resposta da inteligência artificial generativa: Respondida ou Não Respondida. |
| Qualidade da resposta | Qualidade da resposta para perguntas amostradas. Os valores possíveis são Poor e Good. |
| Reação | Polegar para cima, polegar para baixo, ou sem reação, com um comentário opcional por escrito. |
| Date | Data em que a pergunta foi respondida. |
| Fonte de conhecimento | Lista de fontes de conhecimento citadas na resposta do agente. |
Para mais informações, selecione Mostrar detalhes de qualquer pergunta para abrir o painel lateral de detalhes. Este painel fornece informações adicionais sobre a qualidade das respostas associadas a cada pergunta.
| Parâmetro detalhado ao nível da pergunta | Descrição |
|---|---|
| Data e Hora | Carimbo de data/hora do caso mais recente em que a pergunta foi respondida. |
| Consulta do utilizador | A pergunta feita. |
| Resposta | A resposta generativa da IA. |
| Gosto / Não gosto | Valor para a instância mais recente desta pergunta para o parâmetro Polegar para cima / Polegar para baixo. |
| Comentar | Comentário extra opcional baseado em texto, fornecido pelo usuário, além da reação Polegares para cima / Polegares para baixo . |
| Qualidade da resposta1 | Resposta à pergunta sobre qual foi a qualidade da resposta à consulta do utilizador. Os valores possíveis são Poor e Good. |
| Razão2 | No caso em que a qualidade da resposta é Poor, este parâmetro explica porquê. |
1 A qualidade da resposta nem sempre está disponível e só aparece se a pergunta tiver sido amostrada para análise de qualidade.
2 Se a qualidade da resposta for Good ou se a pergunta não tiver sido amostrada, o parâmetro Reason não receberá nenhum valor.
Utilização de ferramentas
A seção Uso da ferramenta mostra um gráfico e métricas que controlam a frequência com que suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com êxito. Também mostra indicadores de tendência sobre a frequência com que o seu agente usa cada ferramenta e a percentagem de ferramentas chamadas que são usadas com sucesso.
O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página do Google Analytics .
Na legenda abaixo do gráfico, faça pairar o cursor sobre qualquer uma das ferramentas para realçar essa ferramenta no gráfico.
Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período de tempo especificado, juntamente com indicadores de tendência, selecione Ver detalhes no gráfico. No painel de Utilização de ferramentas, pode apresentar cálculos da percentagem de perguntas utilizadas para cada ferramenta. Se o seu agente tiver agentes subordinados, pode optar por apresentar os cálculos tanto para o agente principal como para os agentes subordinados (Tudo), apenas para o Agente principal ou apenas para o Agente subordinado.
Satisfação
A secção de Satisfação mostra o feedback dos utilizadores recolhido a partir das reações às respostas dos agentes, resultados de inquéritos e pontuação de sentimento para uma sessão. A satisfação está dividida em duas sub-secções: uma secção de Reações , que mostra feedback positivo, negativo e comentários dos utilizadores para respostas específicas dos agentes, e uma secção de resultados de inquéritos , que mostra a pontuação explícita de satisfação do cliente (CSAT) e a análise de sentimento baseada em IA para toda a sessão.
Os dados de comentários são armazenados na tabela de transcrição da conversação no Dataverse. Para obter uma lista de canais que suportam esta funcionalidade, consulte Detalhes da funcionalidade.
Reações
A secção Reações mostra os comentários do utilizador recolhidos a partir das reações às respostas dos agentes e dos resultados do inquérito para uma sessão. O gráfico conta o número de vezes que os utilizadores selecionaram os botões de polegar para cima (positivo) ou polegar para baixo (negativo) disponíveis em cada resposta que receberam do seu agente.
Depois de um utilizador fornecer uma reação, podem deixar um comentário. Para ver comentários, selecione Ver detalhes. No painel de Comentários de Reação, selecione Todos, Gostos ou Não gostos para filtrar os comentários.
Nota
- Os agentes publicados no canal Microsoft 365 Copilot não suportam reações.
- Para ver comentários, deve ter a Função de Segurança de Visualizador de Transcrição do Bot.
Para cada reação, para ver a consulta de utilizador associada e a resposta do agente, selecione o alternador ao lado do comentário. A página do Google Analytics armazena consultas de usuários e respostas de agentes por até 28 dias.
Os comentários dos utilizadores estão Ativados por predefinição. Pode desligar esta funcionalidade, se quiser. Também pode adicionar ou editar uma exclusão de responsabilidade aos utilizadores sobre como os seus comentários são utilizados:
Abra o agente, vá para Configurações e localize a seção Comentários do usuário .
Ative or DesativePermitir que os utilizadores enviem comentários ao ustilizar esse agente.
Adicione ou edite uma exclusão de responsabilidade para que os utilizadores saibam como os respetivos comentários são utilizados. Também pode fornecer informações e sugestões de privacidade.
Satisfação do utilizador nas sessões
A secção de satisfação do utilizador nas sessões mostra informações sobre a satisfação do utilizador com base nos resultados de inquéritos e na análise de IA do sentimento numa amostra de sessões:
Pontuação de satisfação do inquérito: Uma pontuação em 5 calculada a partir das médias de satisfação do cliente (CSAT) para sessões em que os utilizadores responderam a pedidos no final da sessão para responder a um inquérito.
Nota
Pontuações de
1e2mapear para Insatisfeito, uma pontuação de3é considerada Neutra, e pontuações de4e5mapear para Satisfeito.Satisfação por sessão: Um gráfico de barras empilhadas que visualiza a ponderação relativa para cada uma das categorias de pontuação do inquérito, sendo
Dissatisfied,Neutral, eSatisfied. Passe o rato sobre cada segmento do gráfico para ver o tamanho da amostra e o valor numérico do peso de cada categoria de pontuação.Análise de sentimento (pré-visualização): Uma métrica complementar à pontuação do questionário. Esta métrica utiliza IA para analisar mensagens de utilizadores de uma amostra de sessões e avaliar o sentimento global do utilizador em relação ao agente. O valor numérico representa a percentagem de sessões com sentimento negativo do utilizador.
Selecione Ver detalhes para aprofundar os dados de sentimento para o peso relativo de cada uma das categorias de sentimento (sendo Positive, Neutral, e Negative), e para ver como as métricas de satisfação tendem ao longo do período de tempo configurado pelo relatório.
