Automatiseer web- en desktop-apps met computergebruik (preview)

[Dit artikel maakt deel uit van de voorlopige documentatie en kan nog veranderen.]

Computergebruik is een tool in Copilot Studio waarmee uw agent kan interageren met en taken op een Windows-computer kan automatiseren. Het werkt met websites en desktop-apps door knoppen te selecteren, menu's te kiezen en tekst in te voeren in velden op het scherm. Beschrijf in natuurlijke taal wat u wilt dat computergebruik doet en vervolgens wordt de taak met behulp van een virtuele muis en toetsenbord uitgevoerd op een computer die u hebt ingesteld. Met computergebruik kunnen agenten taken voltooien, zelfs als er geen API is om rechtstreeks verbinding te maken met het systeem. Als iemand een app of website kan gebruiken, kan computergebruik dat ook. U kunt computergebruik gebruiken voor taken zoals geautomatiseerde gegevensinvoer, factuurverwerking en gegevensextractie.

Computergebruik wordt aangestuurd door Computer-Using Agents (CUA), een AI-model dat visuele mogelijkheden combineert met geavanceerd redeneervermogen om te communiceren met grafische gebruikersinterfaces (GUI's). Omdat het op kunstmatige intelligentie (AI) werkt, past het zich aan veranderingen in de interface aan. Wanneer bijvoorbeeld knoppen of schermen veranderen, blijft de tool gewoon doorwerken, zonder dat uw workflow wordt onderbroken. Het is eenvoudig te gebruiken. Beschrijf gewoon wat u wilt, in natuurlijke taal. U hoeft geen code te schrijven.

Bekijk deze video om te leren hoe een agent met de tool voor computergebruik kan communiceren met een webapplicatie.

Vereisten

• De functie is beschikbaar voor omgevingen waarin de regio is ingesteld op United States.

• Zorg ervoor dat de agent de generatieve orchestrator heeft ingeschakeld om computergebruik te gebruiken.

Voeg computergebruik toe aan uw agent

Voeg op een nieuwe agent of een bestaande agent in Copilot Studio computergebruik toe als hulpprogramma door de volgende stappen uit te voeren:

1. Ga naar de sectie Extra in uw agent en selecteer Het hulpprogramma Toevoegen.

2. Selecteer nieuw hulpprogramma in het dialoogvenster Hulpprogramma toevoegen.

3. Selecteer Computergebruik.

4. Geef de instructies op die de taak beschrijven die het hulpprogramma moet uitvoeren op de computer. U ziet enkele instructiesjablonen om aan de slag te gaan. Raadpleeg de aanbevolen procedures voor instructies voor computergebruik voor meer informatie over het beste schrijven van instructies voor computergebruik.

5. Selecteer Toevoegen en configureren.

   • Op de configuratiepagina configureer je deze vier velden:

     • Naam: Voer de weergavenaam in voor het hulpprogramma voor computergebruik. Met deze naam onderscheidt u het van andere hulpmiddelen die u aan uw agent toevoegt.
     • Beschrijving: Voer een korte beschrijving in van wat dit hulpprogramma doet en wanneer u het wilt gebruiken. Met deze tekst laat u uw agent weten wanneer hij/zij deze tool moet gebruiken.
     • Model: Selecteer het model dat wordt gebruikt om de computertool uit te voeren. Momenteel ondersteunde modellen zijn onder andere OpenAI's Computer-Using Agent en Anthropic's Claude Sonnet 4.5.

       Notitie

       Anthropic's Claude Sonnet 4.5 wordt momenteel uitgerold in de ondersteunde regio's en is mogelijk nog niet beschikbaar in jouw regio. Zorg ervoor dat je beheerder externe modellen heeft ingeschakeld.

     • Instructies: Vermeld de stappen die het hulpprogramma moet uitvoeren, inclusief URL's en toepassingsnamen. Zie Best practices voor instructies voor computergebruik voor tips.

6. Bekijk de andere velden en instellingen op de configuratiepagina die mogelijk relevant zijn:

   • Invoer: Gebruik Invoer om dynamische waarden te definiëren die veranderen telkens wanneer het computergebruik wordt uitgevoerd. Als u bijvoorbeeld een formulier bij elke uitvoering met een andere waarde wilt invullen, maakt u een invoer voor dat veld. Tijdens de uitvoering combineert de computer uw instructies met de invoerwaarden om de taak te voltooien.

   • Machine: selecteer de doelcomputer die door de agent wordt gebruikt om computergebruik uit te voeren. Raadpleeg Configureren waar computergebruik wordt uitgevoerd voor meer informatie over het kiezen van het juiste computertype op basis van uw vereisten.

     • Gebruik Vernieuwen om de lijst met computers bij te werken.
     • Kies Beheermachines om de pagina machinebeheer in Power Automate portal te openen.
     • Selecteer Machinedetails bekijken om de pagina met computerdetails in Power Automate portal te openen.

   • Verbinding: verbinding die wordt gebruikt voor dit hulpprogramma. Werk een bestaande verbinding bij of maak een nieuwe verbinding om de gebruikte referenties te wijzigen.

   • Inloggegevens te gebruiken: geef op hoe de computer authenticatie verwerkt tijdens het uitvoeren:

     • Door de maker verstrekte inloggegevens (standaard): Deze optie gebruikt de inloggegevens van de maker en is geschikt voor autonome agenten.

     Waarschuwing

     Als je een agent deelt met deze instelling, kan iedereen die het gebruikt handelen met de toegang van de oorspronkelijke auteur op de geconfigureerde machine.

     • Eindgebruikersreferenties: deze optie maakt gebruik van de referenties van de persoon die met de agent communiceert. Elke gebruiker moet over toegangsgegevens voor de machine beschikken.

   • Menselijk toezicht: geef op wie contact moet worden opgenomen via e-mail (Outlook) als de computergebruikersagent mogelijk schadelijke instructies detecteert die het gedrag van het model kunnen wijzigen. Elke agentuitvoering en de bijbehorende activiteit is gekoppeld aan de gebruiker die deze heeft geïnitieerd. Als je een andere reviewer kiest dan degene die de computer-use agent draait, ziet die waarschijnlijk de activiteit niet omdat ze de run niet hebben gestart. Daarom kunnen ze de aanvraag niet goed verifiëren of erop reageren. Zorg er ook voor dat de ontvanger is geautoriseerd en de benodigde context heeft om dergelijke aanvragen te verwerken. De reactietijdlimiet bepaalt hoe lang de aanvraag actief blijft. Na deze periode verloopt de aanvraag en wordt de uitvoering van het computergebruik beëindigd als er geen antwoord wordt ontvangen. Zie Menselijk toezicht voor meer informatie.

   • Opgeslagen referenties: definieer de referenties die door de computer worden gebruikt om u aan te melden bij websites en toepassingen. Als tijdens de uitvoering een aanmeldingsprompt wordt weergegeven, worden voor computergebruik veilig referenties gebruikt die u in deze sectie hebt gedefinieerd voor die site of toepassing. Wachtwoordwaarden van deze referenties worden opgeslagen in de interne opslag van Power Platform (geen configuratie vereist) of in een Azure Key Vault die u opgeeft. Meer informatie over het maken van een Azure Key Vault in Maak een sleutelkluis met behulp van de Azure-portal.

     • Interne opslagoptie: Met deze optie kun je inloggegevens in de tool configureren zonder enige voorconfiguratie. Geheimen worden versleuteld en intern opgeslagen in het Power Platform. Voor elk certificaat vermeld u de volgende gegevens:

       • Type: kies tussen de website- en desktop-app, afhankelijk van welk surface je dit inloggegevens wilt gebruiken
       • Gebruikersnaam: de gebruikersnaam die je gebruikt om in te loggen op de doelwebsite of applicatie.
       • Wachtwoord: de wachtwoordwaarde die wordt gebruikt om in te loggen op de doelwebsite of applicatie.

       Notitie

       Wachtwoordvelden worden ondersteund op alle websites en de meeste Windows toepassingen (WinForms, WPF, UWP, WinUI, Win32), die betrekking hebben op de meeste scenario's van klanten. Sommige app-typen, zoals Electron, Java, Unity, games, opdrachtregelinterfaces, Citrix of andere gevirtualiseerde omgevingen, worden mogelijk niet ondersteund.

       • Inlogdomein of naam van de desktopapp: het domein of de applicatienaam waarop je de inloggegevens invoert (bijvoorbeeld login.microsoft.com of Excel). Voor het inlogdomein moet je dit domein controleren, want het kan verschillen van de hoofd-URL van de site.

     • Azure Key Vault optie: Met deze optie kunt u referenties configureren in het hulpprogramma door eerst de abonnements-id, resourcegroepnaam en Key Vault naam in te voeren. Al deze informatie is beschikbaar op de pagina Overview van uw Key Vault.

       • Azure Key Vault geheimen gebruiken met Power Platform:

         • Het Azure-abonnement dat de kluis heeft, moet de PowerPlatform-resourceprovider geregistreerd hebben.
         • De gebruiker die de omgevingsvariabele maakt, moet over de juiste machtigingen voor de Azure Key Vault resource beschikken.

       • Als u dat nog niet hebt gedaan, volgt u de stappen in Configure Azure Key Vault geef dan de volgende details op:

         • Gebruikersnaam: de gebruikersnaam die je gebruikt om in te loggen op de doelwebsite of applicatie.
         • Azure geheime naam: de naam van het geheim in de Key Vault waarin het wachtwoord voor de website of toepassing wordt opgeslagen.

         Notitie

         Wachtwoordvelden worden ondersteund op alle websites en de meeste Windows toepassingen (WinForms, WPF, UWP, WinUI, Win32), die betrekking hebben op de meeste scenario's van klanten. Sommige app-typen, zoals Electron, Java, Unity, games, opdrachtregelinterfaces, Citrix of andere gevirtualiseerde omgevingen, worden mogelijk niet ondersteund.

         • Inlogdomein of naam van de desktopapp: het domein of de applicatienaam waarop je de inloggegevens invoert (bijvoorbeeld login.microsoft.com of Excel). Voor het inlogdomein moet je dit domein controleren, want het kan verschillen van de hoofd-URL van de site.

   • Toegangsbeheer: het gebruik van computers kan standaard worden uitgevoerd op elke website of toepassing. Als u deze toegang wilt beperken, schakelt u toegangsbeheer in om de specifieke URL's en bureaubladtoepassingen te definiëren waartoe computergebruik moet worden beperkt. U kunt zowel websites als toepassingen configureren:

     • Websites: Voer het adres van de hoofdwebsite in (bijvoorbeeld example.com). Alle pagina's op die website worden automatisch opgenomen. U kunt ook jokertekens (*) gebruiken voor subdomeinen.
       • Voorbeelden: www.contoso.com, *.contoso.comcontoso.com
     • Bureaubladtoepassingen: voer de productnaam of procesnaam van de toepassing in. Druk op Ctrl+Shift+Esc om Taakbeheer te openen om het te vinden. Controleer vervolgens het tabblad Processen .
       • Voorbeelden: Microsoft Edge, msedge, Notepad.

     Notitie

     Toegangscontrole voorkomt alleen dat het model acties onderneemt op websites of applicaties die niet in de toestaanlijst staan. Het weerhoudt het model er niet van om ze te openen. Als bijvoorbeeld alleen microsoft.com en Microsoft Edge in de acceptatielijst staan, kan het model nog steeds de Edge-zoekbalk gebruiken om Bing te openen. Echter, zodra Bing is geopend, mislukt elke poging om ermee te interageren omdat het niet in de toestemmingslijst staat.

7. Selecteer Opslaan.

Computergebruik testen

Het testen van computergebruik is een belangrijke stap in het creatietraject. Nadat u een naam, beschrijving en instructies hebt ingevoerd en het hulpprogramma hebt opgeslagen, selecteert u Testen om de testervaring te starten.

Na een korte laadperiode verschijnt de testervaring.

• Het linkerpaneel toont je instructies en een stapsgewijs logboek van de redenering en acties van het hulpmiddel.
• Op het rechterpaneel ziet u een voorbeeld van de acties op de machine die u voor computergebruik hebt ingesteld.

Wanneer de taak is voltooid, ziet u het bericht Test voltooid . Terwijl de test wordt uitgevoerd, kunt u Stoppen testen selecteren om alle acties op de computer onmiddellijk te stoppen.

Als het resultaat niet is wat u verwacht, ga dan naar de configuratiepagina en pas uw instructies aan. Voeg meer details toe om de nauwkeurigheid te verbeteren. Voor hulp, zie best practices voor het schrijven van effectieve instructies.

Een agent publiceren met computergebruik

Stel computergebruik in en publiceer dan je agent. Hoe uw agent functioneert, hangt af van het scenario. Het kan autonoom of conversationeel zijn:

• Autonome agenten werken automatisch en voeren taken op de achtergrond uit.
• Met gespreksagenten kunnen gebruikers communiceren via kanalen zoals Microsoft Teams.

Computergebruik is het meest effectief voor autonome agenten die taken op de achtergrond uitvoeren, zonder tussenkomst van de gebruiker.

U kunt computergebruik ook toepassen in gesprekservaringen, maar houd rekening met het volgende:

• Als u Gebruikersverificatie selecteert als verificatie-instelling, heeft elke gebruiker die met de agent communiceert in een gesprek geldige inloggegevens nodig voor de machine die door computergebruik wordt gebruikt.
• Wanneer de tool wordt uitgevoerd, worden er redeneerberichten en schermafbeeldingen van de activiteit van de machine in de chat gedeeld.

Beste praktijken

Om productief en veilig te blijven in de huidige digitale omgevingen, is het belangrijk dat u de aanbevolen procedures voor computergebruik volgt. Dit geldt met name voor het opstellen van duidelijke instructies en het beveiligen van machines.

Best practices voor het beveiligen van machines

Wanneer u computers instelt voor computergebruik waarmee AI taken kan uitvoeren met behulp van natuurlijke taal, moet u rekening houden met de volgende beveiligingsaanbevelingen:

Aanbevolen werkwijzen voor instructies voor computergebruik

De instructies die u schrijft, bepalen hoe goed computergebruik werkt. Specifieke, gedetailleerde instructies helpen de computer om taken nauwkeurig uit te voeren. Stel je voor dat je een taak aan een collega uitlegt. Duidelijke, stapsgewijze begeleiding helpt succes te verzekeren.

Tips voor het schrijven van effectieve instructies:

• Wees specifiek over websites en apps. Vermeld altijd de volledige URL van een website en de exacte naam van de toepassing die de tool moet gebruiken. Voorbeeld: Open https://www.microsoft.com en ga naar 'Bedrijfsnieuws'.

• Geef duidelijk aan welke acties relevant zijn. Als je iets gedaan wilt hebben, zeg het dan expliciet—vooral acties zoals het indienen van een formulier of het versturen van een e-mail. Voorbeeld: Zodra je het formulier hebt ingevuld, selecteer je Indienen. Je hoeft geen toestemming te vragen.

• Breek complexe interacties op. Leg elke stap gedetailleerd uit voor gebieden waar de gebruikersinterface mogelijk complexer is om te navigeren. Voorbeeld: Selecteer het Meer-icoon rechtsboven. Er verschijnt een dropdown. Zodra het opengaat, selecteer je het laatste item in de lijst.

• Gebruik stapsgewijze opmaak voor langere taken. Lange instructies zijn gemakkelijker te volgen als u ze als een lijst opmaakt.

Voorbeeldinstructies

Probeer deze voorbeeldinstructies uit of gebruik ze als referentie bij het schrijven van uw eigen instructies.

Best practices voor het extraheren van gegevens

U kunt computergebruik gebruiken om gegevens van websites of toepassingen te extraheren en die gegevens vervolgens door te geven aan uw agent of aan andere hulpprogramma's in de agent. Hiervoor beschrijft u alleen welke informatie u rechtstreeks wilt extraheren in de instructies voor computergebruik.

Als u de geëxtraheerde gegevens wilt gebruiken met een ander hulpprogramma (bijvoorbeeld door deze per e-mail te verzenden), geeft u dat op in de instructies van de agent en controleert u of beide hulpprogramma's aan de agent worden toegevoegd.

Voorbeeld: Gebruik computergebruik om de klantinformatie uit het financiële portefeuilledashboard te halen en stuur de geëxtraheerde gegevens per e-mail. In dit geval moet je agent zowel het computergebruik als het e-mailprogramma toevoegen.

Waarden extraheren als tekst

U kunt computergebruik instrueren om specifieke waarden te extraheren en als tekst zonder opmaak te retourneren. Bijvoorbeeld, de volgende prompt haalt de portefeuillebeheerder en portefeuillewaarde op voor de klant, Fourth Coffee.

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

De agent retourneert alleen de twee aangevraagde waarden als tekst.

Waarden extraheren als JSON

U kunt het computersysteem ook vragen om de geëxtraheerde informatie in JSON-formaat terug te geven. Deze indeling is handig als u gestructureerde gegevens wilt doorgeven aan een ander hulpprogramma. In het volgende voorbeeld worden alle portefeuillerijen geëxtraheerd die betrekking hebben op Contoso en deze worden geretourneerd als JSON met de juiste indeling:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Deze aanpak zorgt ervoor dat de uitvoer gestructureerd is.

Licenties

Hoewel computergebruik in bètaversie is, wordt het gefactureerd met behulp van de Agent-actie-functie tegen een tarief van vijf Copilot-credits. Zie Microsoft Copilot Studio factureringstarief en -beheer voor meer informatie.

Elke computeruitvoering is afhankelijk van een AI-model dat een reeks stappen uitvoert. Een stap kan één of meer laag-niveau handelingen omvatten (bijvoorbeeld klikken, typen of navigeren). Elke stap verbruikt 5 Copilot Credits.

Als je bijvoorbeeld computergebruik instelt om een webgebaseerd urenstaatformulier in te vullen, kan de run de volgende stappen uitvoeren:

1. Start de browser en ga naar het urenstaatportaal.

2. Selecteer Nieuwe urenstaat aanmaken.

3. Vul de velden Starttijd, Eindtijd en Projectcode in.

4. Selecteer de knop Verzenden.

In dit voorbeeld voert de computer met de uitvoering vier stappen uit, waarbij in totaal 20 Copilot Credits worden verbruikt.

Deel je feedback

Hebt u feedback over computergebruik? Laat het ons weten op computeruse-feedback@microsoft.com.

Gerelateerde informatie

Veelgestelde vragen over het hulpprogramma voor computergebruik