Automatizar aplicativos web e de área de trabalho com o uso do computador (versão preliminar)

[Este artigo faz parte da documentação de pré-lançamento e está sujeito a alterações.]

O uso do computador é uma ferramenta no Copilot Studio que permite que seu agente interaja e automatize tarefas em um computador Windows. Ele funciona com sites e aplicativos de desktop selecionando botões, escolhendo menus e inserindo texto em campos na tela. Descreva em linguagem natural aquilo que você deseja que o computador faça, e ele realiza a tarefa em um computador configurado por você usando mouse e teclado virtuais. Com o uso do computador, os agentes podem concluir tarefas mesmo quando não há uma API para se conectar diretamente ao sistema. Se uma pessoa pode usar um aplicativo ou site, o computador também pode. Você pode usar o computador em tarefas como entrada de dados automatizada, processamento de faturas e extração de dados.

O uso do computador é alimentado por Computer-Using Agents (CUA), um modelo de IA que combina recursos de visão com raciocínio avançado para interagir com interfaces gráficas do usuário (GUIs). Por ser alimentado por IA, ele se adapta às mudanças de interface. Por exemplo, quando botões ou telas mudam, a ferramenta continua funcionando sem quebrar seu fluxo. É simples de usar. Basta descrever o que você quer em linguagem natural. Não é necessário gravar códigos.

Assista a este vídeo para saber como a ferramenta de uso do computador permite que um agente interaja com um aplicativo Web.

Requisitos

• O recurso está disponível para ambientes em que a região está definida como United States.

• Verifique se o agente tem o orquestrador gerativo habilitado para usar o uso do computador.

Adicionar o uso do computador para o agente

Em um novo agente ou um agente existente no Copilot Studio, adicione o uso do computador como uma ferramenta seguindo estas etapas:

1. Vá para a seção Ferramentas em seu agente e selecione Adicionar ferramenta.

2. Na caixa de diálogo Adicionar ferramenta , selecione Nova ferramenta.

3. Selecione o uso do computador.

4. Forneça as instruções que descrevem a tarefa que a ferramenta deve realizar no computador. Você vê alguns modelos de instrução para introdução. Para saber mais sobre como escrever melhor instruções para uso do computador, verifique as práticas recomendadas para obter instruções sobre o uso do computador.

5. Selecione Adicionar e configurar.

   • Na página de configuração, configure estes quatro campos:

     • Nome: insira o nome de exibição da ferramenta de uso do computador. Esse nome ajuda a diferenciá-lo de outras ferramentas adicionadas ao agente.
     • Descrição: insira uma breve descrição do que essa ferramenta faz e quando usá-la. Este texto permite que seu agente saiba quando usar essa ferramenta.
     • Modelo: Selecione o modelo usado para executar a ferramenta de uso do computador. Modelos atualmente suportados incluem Computer-Using Agent da OpenAI e Claude Sonnet 4.5 da Anthropic.

       Observação

       O Claude Sonnet 4.5 da Anthropic está atualmente sendo lançado em todas as regiões suportadas e pode ainda não estar disponível na sua região. Certifique-se de que seu administrador tenha habilitado modelos externos.

     • Instruções: liste as etapas que a ferramenta deve executar, incluindo URLs e nomes de aplicativos. Para obter dicas, consulte As práticas recomendadas para obter instruções sobre o uso do computador.

6. Analise esses outros campos e configurações na página de configuração que podem ser relevantes:

   • Entradas: Use Entradas para definir valores dinâmicos que mudam sempre que o uso do computador é executado. Por exemplo, se você quiser preencher um formulário com um valor diferente a cada execução, crie uma entrada para esse campo. No momento da execução, o uso do computador combina suas instruções com os valores de entrada para concluir a tarefa.

   • Computador: selecione o computador de destino usado pelo agente para executar o uso do computador. Consulte Configurar onde o uso do computador é executado para obter mais detalhes sobre como escolher o tipo de computador certo com base nos requisitos.

     • Use Atualizar para atualizar a lista de computadores.
     • Escolha Manage computadores para abrir a página de gerenciamento de máquinas no portal Power Automate.
     • Selecione See machine details para abrir a página de detalhes do computador no portal Power Automate.

   • Conexão: conexão usada para esta ferramenta. Atualize ou crie uma nova conexão para alterar as credenciais usadas.

   • Credenciais a serem usadas: especifique como o uso do computador se autentica durante a execução:

     • Credenciais fornecidas pelo fabricante (padrão): Esta opção usa as credenciais do fabricante e é adequada para agentes autônomos.

     Aviso

     Se você compartilhar um agente com essa configuração, qualquer pessoa que o use pode agir com as permissões de acesso do autor original na máquina configurada.

     • Credenciais do usuário final: esta opção usa as credenciais da pessoa que interage com o agente. Cada usuário deve ter credenciais de acesso ao computador.

   • Human supervision: especifique quem deve ser contatado por email (Outlook) se o agente de uso do computador detectar instruções potencialmente prejudiciais que possam alterar o comportamento do modelo. Cada agente é executado, e a atividade está vinculada ao usuário que a iniciou. Se você escolher um revisor diferente da pessoa que está operando o agente de monitoramento de uso do computador, é provável que ele não consiga visualizar a atividade, pois não foi ele quem iniciou a execução. Por isso, eles não podem verificar nem agir devidamente em relação à solicitação. Além disso, verifique se o destinatário tem autorização e o contexto necessário para processar essas solicitações. O limite de tempo de resposta define por quanto tempo a solicitação permanece ativa. Depois desse período, a solicitação vai expirar, e a execução de uso do computador será interrompida se nenhuma resposta for recebida. Consulte Supervisão humana para obter mais informações.

   • Credenciais armazenadas: defina as credenciais que o computador usa para entrar em sites e aplicativos. Durante a execução, se uma solicitação de entrada for exibida, o uso do computador usará de maneira segura qualquer credencial definida por você para esse site ou aplicativo. Os valores de senha dessas credenciais são armazenados no armazenamento interno do Power Platform (nenhuma configuração necessária) ou em um Azure Key Vault fornecido. Saiba como criar um Azure Key Vault em Criar um cofre de chaves usando o portal Azure.

     • Opção de armazenamento interno: Com essa opção, você pode configurar credenciais na ferramenta sem nenhuma pré-configuração. Os segredos são criptografados e armazenados internamente na Power Platform. Para cada credencial, forneça os seguintes detalhes:

       • Tipo: escolha entre o site e o aplicativo desktop dependendo de qual superfície você pretende usar essa credencial
       • Nome de usuário: o nome de usuário que você usa para fazer login no site ou aplicativo de destino.
       • Senha: o valor da senha usado para fazer login no site ou aplicativo de destino.

       Observação

       Há suporte para campos de senha em todos os sites e na maioria dos aplicativos Windows (WinForms, WPF, UWP, WinUI, Win32), que abrange a maioria dos cenários do cliente. Alguns tipos de aplicativo, como Electron, Java, Unity, jogos, interfaces de linha de comando, Citrix ou outros ambientes virtualizados, podem não ter suporte.

       • Domínio de login ou nome do aplicativo de desktop: o domínio ou nome do aplicativo onde você digita as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar esse domínio, pois ele pode diferir da URL principal do site.

     • Opção Azure Key Vault: Com essa opção, você pode configurar credenciais na ferramenta inserindo primeiro a ID da assinatura, o nome do grupo de recursos e o nome do Key Vault. Todas essas informações estão disponíveis na página Overview do Key Vault.

       • Para usar segredos do Azure Key Vault com o Power Platform:

         • A assinatura Azure que tem o cofre deve ter o provedor de recursos PowerPlatform registrado.
         • O usuário que cria a variável de ambiente deve ter permissões apropriadas para o recurso Azure Key Vault.

       • Caso ainda não tenha feito isso, siga as etapas em Configure Azure Key Vault forneça os seguintes detalhes:

         • Nome de usuário: o nome de usuário que você usa para fazer login no site ou aplicativo de destino.
         • Nome do segredo do Azure: o nome do segredo no Key Vault que guarda a senha do site ou aplicativo.

         Observação

         Há suporte para campos de senha em todos os sites e na maioria dos aplicativos Windows (WinForms, WPF, UWP, WinUI, Win32), que abrange a maioria dos cenários do cliente. Alguns tipos de aplicativo, como Electron, Java, Unity, jogos, interfaces de linha de comando, Citrix ou outros ambientes virtualizados, podem não ter suporte.

         • Domínio de login ou nome do aplicativo de desktop: o domínio ou nome do aplicativo onde você digita as credenciais (por exemplo, login.microsoft.com ou Excel). Para o domínio de login, certifique-se de verificar esse domínio, pois ele pode diferir da URL principal do site.

   • Controle de acesso: por padrão, o uso do computador pode operar em qualquer site ou aplicativo. Se quiser restringir esse acesso, habilite o controle de acesso para definir as URLs específicas e os aplicativos da área de trabalho aos quais o uso do computador deve ser limitado. Você pode configurar sites e aplicativos:

     • Sites: insira o endereço do site principal (por exemplo, example.com). Todas as páginas desse site são incluídas automaticamente. Você também pode usar curingas (*) para subdomínios.
       • Exemplos: www.contoso.com, , *.contoso.comcontoso.com
     • Aplicativos da área de trabalho: insira o nome do produto do aplicativo ou o nome do processo. Para encontrá-lo, pressione Ctrl+Shift+Esc para abrir o Gerenciador de Tarefas. Em seguida, verifique a guia Processos .
       • Exemplos: Microsoft Edge, msedge, Notepad.

     Observação

     O controle de acesso apenas impede que o modelo tome ações em sites ou aplicativos que não estejam na lista de autorização. Isso não impedirá o modelo de abri-los. Por exemplo, se apenas microsoft.com e Microsoft Edge estiverem na lista de permissões, o modelo ainda poderá usar a barra de pesquisa do Edge para abrir o Bing. No entanto, uma vez que o Bing é aberto, qualquer tentativa de interagir com ele falha porque ele não está na lista de permissão.

7. Clique em Salvar.

Testar uso do computador

O teste de uso do computador é uma etapa-chave na jornada de criação. Depois de inserir um nome, uma descrição e instruções e salvar a ferramenta, selecione Testar para iniciar a experiência de teste.

Após um curto período de carregamento, a experiência de teste aparece:

• O painel à esquerda mostra suas instruções e um registro passo a passo do raciocínio e ações da ferramenta.
• O painel direito mostra uma prévia das ações na máquina que você configurou para uso.

Quando a tarefa for concluída, você verá uma mensagem Teste concluído. Enquanto o teste está em andamento, você pode selecionar Parar teste para interromper imediatamente todas as ações no computador.

Se o resultado não for o esperado, vá para a página de configuração e refine suas instruções. Adicione mais detalhes para melhorar a precisão. Para obter diretrizes, consulte as práticas recomendadas para escrever instruções eficazes.

Publicar um agente usando computador

Configure o uso do computador e depois publique seu agente. A forma como o agente é executado depende do cenário. Pode ser autônomo ou conversacional:

• Os agentes autônomos são executados automaticamente e executam tarefas em segundo plano.
• Os agentes de conversa permitem que os usuários interajam por meio de canais como Microsoft Teams.

O uso do computador funciona melhor para agentes autônomos, executando tarefas em segundo plano sem interação do usuário.

Você também pode aplicar o uso do computador em experiências de conversa, mas tenha em mente estas considerações:

• Se você selecionar a autenticação de usuário como a configuração de autenticação, cada usuário interagindo com o agente em uma conversa precisará de credenciais válidas para o computador usado pelo uso do computador.
• Quando a ferramenta é executada, ela compartilha mensagens de raciocínio e capturas de tela da atividade do computador no chat.

Práticas recomendadas

Para manter a produtividade e a segurança nos ambientes digitais atuais, siga as melhores práticas de uso do computador, especialmente ao gravar instruções claras e proteger computadores.

Melhores práticas para proteger computadores

Ao configurar computadores para uso do computador que permitam que a IA realize tarefas usando linguagem natural, considere estas recomendações de segurança:

Práticas recomendadas para instruções de uso do computador

As instruções que você escreve determinam o quão bem o uso do computador funciona. Instruções específicas e detalhadas ajudam o uso do computador a concluir tarefas com precisão. Pense nisso como explicar uma tarefa a um colega. Orientações claras e orientações etapa a etapa ajudam a garantir o sucesso.

Dicas para escrever instruções eficazes:

• Seja específico sobre sites e aplicativos. Sempre inclua a URL completa de qualquer site e o nome exato de qualquer aplicativo que a ferramenta deve usar. Exemplo: Abra https://www.microsoft.com e vá para 'Notícias da empresa'.

• Indique claramente as ações relevantes. Se você quer que algo seja feito, diga explicitamente — especialmente ações como enviar um formulário ou enviar um e-mail. Exemplo: Depois de preencher o formulário, selecione Enviar. Não precisa pedir permissão.

• Divida interações complexas. Para áreas em que a interface do usuário pode ser mais complexa de navegar, explique cada etapa em detalhes. Exemplo: Selecione o ícone Mais no canto superior direito. Um menu suspenso aparece. Quando abrir, selecione o último item da lista.

• Use a formatação etapa por etapa para tarefas mais longas. Instruções longas são mais fáceis de seguir quando você as formata como uma lista.

Exemplo de instruções

Explore estas instruções de exemplo para experimentar o uso do computador ou usá-las como referência para escrever suas próprias.

Melhores práticas para extração de dados

Você pode usar o computador para extrair dados de sites ou aplicativos e, em seguida, passar esses dados para o agente ou para outras ferramentas dentro do agente. Para isso, basta descrever quais informações você deseja extrair diretamente nas instruções de uso do computador.

Se quiser usar os dados extraídos com outra ferramenta (por exemplo, enviando por email), especifique essa necessidade nas instruções do agente e verifique se ambas as ferramentas estão adicionadas ao agente.

Exemplo: Use o uso do computador para extrair as informações do cliente para o painel do portfólio financeiro e envie por e-mail os dados extraídos. Nesse caso, seu agente deve incluir tanto a ferramenta de uso do computador quanto a ferramenta de e-mail.

Extrair valores como texto

Você pode instruir o computador a extrair valores específicos e retorná-los como texto sem formatação. Por exemplo, o próximo prompt extrai o gestor de portfólio e o valor da carteira para o cliente, Fourth Coffee:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

O agente só retorna os dois valores solicitados como texto.

Extrair valores como JSON

Você também pode solicitar ao computador que retorne informações extraídas no formato JSON. Esse formato é útil quando você deseja passar dados estruturados para outra ferramenta. O seguinte exemplo extrai todas as linhas de portfólio relacionadas à Contoso e as retorna como JSON devidamente formatado:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Essa abordagem garante que o resultado seja estruturado.

Licenciamento

Embora o uso do computador esteja em versão prévia, ele é cobrado usando a função de ação do Agente com uma taxa de cobrança de cinco créditos Copilot. Para obter mais informações, consulte Microsoft Copilot Studio taxa de cobrança e gerenciamento.

Cada execução de uso de computador depende de um modelo de IA que executa uma sequência de etapas. Uma etapa pode envolver uma ou mais ações de baixo nível (por exemplo, clicar, digitar ou navegar). Cada etapa consome 5 Copilot Créditos.

Por exemplo, se você configurar o uso do computador para preencher um formulário de folha de ponto baseado na web, a execução pode executar os seguintes passos:

1. Abra o navegador e navegue até o portal da folha de ponto.

2. Selecione Criar nova folha de ponto.

3. Preencha os campos de Hora de Início, Hora de Término e Código do Projeto.

4. Selecione o botão Enviar.

Neste exemplo, a execução no computador realiza 4 etapas, consumindo um total de 20 Créditos Copilot.

Compartilhe seus comentários

Você tem comentários sobre o uso do computador? Dê sua opinião em computeruse-feedback@microsoft.com.

Informações relacionadas

Perguntas frequentes sobre a ferramenta de uso do computador