Perguntas frequentes sobre a ferramenta de uso do computador

Essas perguntas frequentes (perguntas frequentes) fornecem insights sobre os recursos, o uso, as limitações e as proteções que você deve estar ciente ao adicionar a ferramenta de uso do computador aos seus agentes do Copilot Studio.

O que é a ferramenta de uso do computador?

Computer use é uma ferramenta que você pode adicionar aos agentes do Copilot Studio projetados para automatizar tarefas em sites e aplicativos. Você fornece descrições de tarefa em linguagem natural e a ferramenta automatiza os cliques do mouse e as ações de teclado adequadamente. Por exemplo, você pode instruir a ferramenta a abrir um PDF e usar seu conteúdo para preencher um formulário da Web. A ferramenta interpreta visualmente a tela e executa os cliques e pressionamentos de tecla necessários, emulando interações humanas.

Quais são as funções da ferramenta do computador?

A ferramenta de uso do computador processa dados de pixels da tela para compreender o conteúdo exibido e executa tarefas usando cliques virtuais do mouse e entradas do teclado. A ferramenta pode gerenciar fluxos de trabalho em múltiplas etapas, lidar com cenários inesperados e se adaptar dinamicamente às mudanças na tela, permitindo realizar diversas tarefas digitais, como navegar em sites e preencher formulários, sem precisar de APIs especializadas.

A ferramenta de uso do computador segue um loop iterativo com base em três etapas:

• Percepção: captura capturas de tela para entender visualmente o estado atual da tela do computador.

• Raciocínio: ele avalia o estado atual, as ações anteriores e as capturas de tela por meio de uma abordagem de cadeia de pensamento, que permite adaptar suas ações efetivamente.

• Ação: ele executa ações como clicar, digitar ou rolar até que a tarefa seja concluída ou exija mais entradas do usuário.

Quais são os usos pretendidos da ferramenta de uso de computador?

A ferramenta de uso do computador destina-se a automatizar as interações do usuário com sites e aplicativos por meio de um mouse virtual e teclado, especialmente útil em cenários em que as APIs não estão disponíveis.

Como a ferramenta de uso do computador foi avaliada? Quais métricas são usadas para medir o desempenho?

A ferramenta de uso do computador foi rigorosamente avaliada usando cenários do mundo real em suas fases de design, desenvolvimento e implantação. Os métodos de avaliação incluíram pesquisas, estudos de impacto e testes em diferentes cenários para medir a precisão, a confiança do usuário e a utilidade. As métricas qualitativas e quantitativas são monitoradas regularmente para manter o alto desempenho e uma experiência positiva do usuário. A disponibilidade da ferramenta também é garantida pelo cumprimento dos SLAs estabelecidos.

Quais são as limitações da ferramenta de uso do computador? Como os usuários podem minimizar o impacto das limitações da ferramenta de uso do computador ao usar o sistema?

O uso de computador é uma nova tecnologia com riscos de segurança conhecidos e limitações funcionais. Estamos capacitando você a experimentar isso. Essa funcionalidade em estágio inicial permite a automação de determinadas tarefas baseadas em computador, embora seu desempenho varie amplamente dependendo do caso de uso. Para usá-la de forma eficaz e responsável, compreenda suas limitações atuais.

Limitações conhecidas

• A taxa de sucesso varia de acordo com a tarefa: a ferramenta tem o melhor desempenho em tarefas baseadas na Web (cerca de 80% êxito), mas cai significativamente em aplicativos da área de trabalho (cerca de 35% êxito).
• Desempenho inconsistente: a mesma tarefa pode produzir resultados diferentes dependendo das alterações visuais ou de tempo.
• Dificuldades com determinados controles de interface do usuário: o uso do computador pode ter dificuldades para interagir com elementos de interface não padrão ou dinâmicos, como listas suspensas, seletores de data ou widgets personalizados.
• Loops e estados travados: Em alguns casos, o agente entra em um loop ou fica travado quando a tela não corresponde às expectativas ou muda de forma imprevisível.
• Desafios com tarefas complexas: embora seja eficaz para ações simples, a ferramenta pode ter dificuldades com interfaces gráficas detalhadas ou tarefas que envolvem manipulação de texto intrincada.
• Não para casos de uso confidenciais ou de alto risco: a ferramenta não se destina a:
  • Recomendando ou pontuando em domínios confidenciais, como contratação, assistência médica ou finanças
  • Fazendo transações financeiras
  • Ações prejudiciais, como spam ou desinformação
  • Compartilhar dados fora de sua organização sem autorização adequada

Como minimizar as limitações

Para melhorar a confiabilidade, você deve fornecer instruções claras e detalhadas ao configurar tarefas para reduzir erros e aumentar as taxas de sucesso da tarefa.

Qual é o recurso de supervisão humana?

As execuções de uso de computador podem encontrar ambiguidade ou informações ausentes, por exemplo, um valor necessário não está presente ou várias interpretações são plausíveis. Nesses casos, o recurso de supervisão humana permite que o agente que usa o computador pause a execução e emita uma solicitação de esclarecimento para um revisor humano autorizado e configurado. Os revisores podem responder por email ou no Copilot Studio usando o mapa de atividades do agente. Depois que o agente que usa o computador recebe uma resposta, ele retoma sua execução da etapa pausada no mapa.

Confiabilidade e limites

As avaliações lideradas pelo produto indicam que o recurso de supervisão humana geralmente funciona conforme o esperado, mas pode falhar ou se comportar de maneiras que os usuários podem não prever. Como as solicitações de esclarecimento são disparadas pelo comportamento do modelo probabilístico, elas podem não disparar em todas as situações em que uma pessoa deseja uma pausa e também podem disparar quando uma pausa não é necessária. Você não deve contar com solicitações de esclarecimento como um sistema à prova de falhas ou como garantia de que o sistema sempre solicitará a entrada humana antes de continuar.

Não é um mecanismo de imposição de regras personalizadas

As solicitações de supervisão humana não garantem a imposição de suas regras, políticas ou restrições definidas. Você deve aplicar mais controles apropriados para cada cenário possível (por exemplo: instruções claras, ambientes restritos, contas com privilégios mínimos, listas de permissões e outras proteções operacionais) em vez de depender de solicitações de esclarecimento para fornecer informações ou impedir ações indesejadas.

Quais fatores operacionais e configurações permitem o uso efetivo e responsável da ferramenta de uso do computador?

A ferramenta de uso do computador tem o melhor desempenho quando são fornecidas instruções de usuário claras e detalhadas. Os usuários devem dar dicas precisas sobre interações de site ou aplicativo para melhorar a confiabilidade e a precisão durante a execução da tarefa. Para maior visibilidade e controle, habilite a supervisão humana atribuindo um ou mais revisores autorizados na página de configuração de ferramentas. Quando o modelo detecta instruções potencialmente mal-intencionadas, esses revisores recebem notificações para validar e decidir se devem continuar ou interromper a execução.

Como fazer para fornecer comentários sobre a ferramenta de uso do computador?

Tem comentários sobre a ferramenta de uso do computador? Envie email para computeruse-feedback@microsoft.com.