Vanliga frågor och svar om datoranvändningsverktyget

Dessa vanliga frågor och svar ger insikter om funktioner, användning, begränsningar och skydd som du bör känna till när du lägger till datoranvändningsverktyget i dina Copilot Studio-agenter.

Vad är datoranvändningsverktyget?

Datoranvändning är ett verktyg som du kan lägga till i dina Copilot Studio-agenter som är utformade för att automatisera uppgifter på webbplatser och program. Du anger uppgiftsbeskrivningar på naturligt språk och verktyget automatiserar musklickningar och tangentbordsåtgärder i enlighet med detta. Du kan till exempel instruera verktyget att öppna en PDF-fil och använda dess innehåll för att fylla i ett webbformulär. Verktyget tolkar skärmen visuellt och kör nödvändiga klick och tangenttryckningar, vilket härmar mänskliga interaktioner.

Vad kan verktygen datoranvändning göra?

Verktyget Datoranvändning bearbetar skärmens bildpunktsdata för att förstå innehållet på skärmen och utföra uppgifter med hjälp av virtuella musklick och tangentbordsindata. Verktyget kan hantera flerstegsarbetsflöden, hantera oväntade scenarier och anpassa sig dynamiskt till skärmändringar, vilket gör det möjligt att utföra olika digitala uppgifter som att navigera på webbplatser och fylla i formulär utan att behöva specialiserade API:er.

Verktyget Datoranvändning följer en iterativ loop baserat på tre steg:

• Uppfattning: Den tar skärmbilder för att visuellt förstå datorskärmens aktuella tillstånd.

• Resonemang: Den utvärderar det aktuella tillståndet, tidigare åtgärder och skärmbilder genom en tankekedja, vilket gör att den kan anpassa sina åtgärder effektivt.

• Åtgärd: Den utför åtgärder som att klicka, skriva eller rulla tills uppgiften är klar eller kräver ytterligare användarinmatning.

Vilka är datoranvändningsverktygets avsedda användningsområden?

Verktyget Datoranvändning är tänkt att automatisera användarinteraktioner med webbplatser och appar via en virtuell mus och ett tangentbord, särskilt användbart i scenarier där API:er inte är tillgängliga.

Hur utvärderades verktyget Datoranvändning? Vilka mått används för att mäta prestanda?

Verktyget Datoranvändning utvärderades noggrant med hjälp av verkliga scenarier under design-, utvecklings- och distributionsfaserna. Utvärderingsmetoderna omfattade forskning, effektstudier och testning i olika scenarier för att mäta noggrannhet, användarförtroende och användbarhet. Både kvalitativa och kvantitativa mått övervakas regelbundet för att upprätthålla hög prestanda och en positiv användarupplevelse. Verktygets tillgänglighet säkerställs också genom att följa etablerade SLA:er.

Vilka är begränsningarna i verktyget Datoranvändning? Hur kan användare minimera effekten av datoranvändningsverktygets begränsningar när de använder systemet?

Datoranvändning är en ny teknik med kända säkerhetsrisker och funktionsbegränsningar. Vi ger dig möjlighet att experimentera med det. Den här funktionen är i ett tidigt skede och möjliggör automatisering av vissa datorbaserade uppgifter, även om dess prestanda varierar mycket beroende på användningsfallet. För att använda det effektivt och ansvarsfullt, förstå dess nuvarande begränsningar.

Kända begränsningar

• Framgångsgraden varierar beroende på aktivitet: Verktyget presterar bäst på webbaserade uppgifter (cirka 80 % lyckades) men sjunker avsevärt för datorappar (cirka 35 % lyckades).
• Inkonsekvent prestanda: Samma uppgift kan ge olika resultat beroende på ändringar i visuella objekt eller tidsinställningar.
• Problem med vissa kontroller i användargränssnittet: Datoranvändning kan ha svårt att interagera med element som inte är standard eller dynamiska gränssnitt, till exempel listrutor, datumväljare eller anpassade widgetar.
• Loopar och fast tillstånd: I vissa fall går agenten in en loop eller fastnar när skärmen inte matchar förväntningarna eller ändras oförutsägbart.
• Utmaningar med komplexa uppgifter: Även om det är effektivt för enkla åtgärder kan verktyget ha svårt med detaljerade grafiska gränssnitt eller uppgifter som involverar invecklad textmanipulering.
• Inte för användningsfall som är känsliga eller innebär hög risk: Verktyget är inte avsett för:
  • Rekommendera eller bedöma inom känsliga områden, till exempel anställning, sjukvård eller ekonomi
  • Göra finansiella transaktioner
  • Skadliga åtgärder, till exempel skräppost eller felaktig information
  • Dela data utanför organisationen utan korrekt auktorisering

Så här minimerar du begränsningarna

För att förbättra tillförlitligheten bör du ge tydliga, detaljerade instruktioner när du konfigurerar uppgifter för att minska fel och öka antalet lyckade aktiviteter.

Vad är funktionen för mänsklig övervakning?

Datoranvändningskörningar kan stöta på tvetydighet eller information som saknas, till exempel att ett obligatoriskt värde inte finns eller att flera tolkningar är rimliga. I dessa fall gör funktionen för mänsklig övervakning att datoranvändaren kan pausa körningen och utfärda en begäran om förtydligande till en auktoriserad och konfigurerad mänsklig granskare. Granskare kan svara via e-post eller i Copilot Studio med hjälp av agentens aktivitetskarta för körning. När den datorbaserade agenten får ett svar återupptas körningen från det pausade steget på kartan.

Tillförlitlighet och begränsningar

Produktledda utvärderingar visar att den mänskliga övervakningsfunktionen vanligtvis fungerar som förväntat, men den kan misslyckas eller bete sig på sätt som användarna kanske inte förväntar sig. Eftersom förtydligande begäranden utlöses av probabilistisk modellbeteende kanske de inte utlöses i varje situation där en person vill ha en paus, och de kan också utlösas när en paus inte behövs. Du bör inte förlita dig på förtydligande begäranden som ett säkerhetsfelsäkert eller som en garanti för att systemet alltid begär mänskliga indata innan du fortsätter.

Inte en mekanism för tillämpning av anpassade regler

Begäranden om mänsklig övervakning garanterar inte att dina definierade regler, principer eller begränsningar tillämpas. Du bör tillämpa fler kontroller som är lämpliga för varje möjligt scenario (till exempel tydliga instruktioner, begränsade miljöer, konton med minsta behörighet, tillåtna listor och andra operativa skyddsåtgärder) i stället för att förlita dig på förtydligande begäranden för att tillhandahålla information eller förhindra oönskade åtgärder.

Vilka driftfaktorer och inställningar gör det möjligt att på ett effektivt och ansvarigt sätt använda datoranvändningsverktyget?

Verktyget för datoranvändning fungerar bäst när tydliga och detaljerade användarinstruktioner tillhandahålls. Användarna bör ge exakta tips om webbplats- eller appinteraktioner för att förbättra tillförlitligheten och noggrannheten under aktivitetens genomförande. För ökad synlighet och kontroll kan du aktivera mänsklig övervakning genom att tilldela en eller flera auktoriserade granskare på konfigurationssidan för verktyg. När modellen identifierar potentiellt skadliga instruktioner får dessa granskare meddelanden för att verifiera och bestämma om körningen ska fortsätta eller stoppas.

Hur ger jag feedback om verktyget Datoranvändning?

Har du feedback på verktyget Datoranvändning? E-post computeruse-feedback@microsoft.com.