Verkko- ja työpöytäsovellusten automatisoiminen tietokoneen avulla (esiversio)

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Tietokoneen käyttö on Copilot Studiossa oleva työkalu, jonka avulla agenttisi voi käsitellä ja automatisoida tehtäviä Windows tietokoneessa. Se toimii verkkosivustojen ja työpöytäsovellusten kanssa valitsemalla painikkeita, valitsemalla valikoita ja kirjoittamalla tekstiä näytön kenttiin. Se, mitä tietokoneen halutaan tekevään, voidaan kuvailla luonnollisella kielellä, ja tehtävä suoritetaan määritetyssä tietokoneessa käyttämällä virtuaalista hiirtä ja näppäimistöä. Agentit voivat suorittaa tietokoneen avulla tehtäviä myös silloin, kun mikään ohjelmointirajapinta ei yhdistä suoraan järjestelmään. Jos henkilö voi käyttää sovellusta tai verkkosivustoa, myös tietokoneen käyttö voi tehdä niin. Tietokonetta voidaan käyttää tehtävissä, kuten tietojen syöttämisen automatisoinnissa, laskujen käsittely ja tietojen poimiminen.

Tietokoneen käyttö pohjautuu Computer-Using Agents (CUA) -tekoälymalliin, jossa näköominaisuuksia käytetään yhdessä edistyneen päättelyn kanssa vuorovaikutukseen graafisten käyttöliittymien (GUI) kanssa. Koska se toimii tekoälyllä, se mukautuu käyttöliittymän muutoksiin. Kun esimerkiksi painikkeet tai näytöt vaihtuvat, työkalu jatkaa toimintaansa työnkulkua rikkomatta. Se on helppokäyttöinen. Kuvaile vain, mitä haluat luonnollisella kielellä. Sinun ei tarvitse kirjoittaa koodia.

Tässä videossa kerrotaan, miten Tietokoneen käyttö -työkalu mahdollistaa agentin vuorovaikutuksen verkkosovelluksen kanssa.

Edellytykset

• Ominaisuus on käytettävissä ympäristöissä, joissa alue on määritetty United States.

• Varmista tietokoneen käytön käyttöä varten, että agentillasi on generatiivinen orkestraattori käytössä.

Tietokoneen käytön lisääminen agenttiin

Lisää tietokoneen käyttö työkaluna uudelle agentille tai olemassa olevalle agentille Copilot Studiossa seuraavasti:

1. Siirry agenttisi Työkalut-osioon ja valitse Lisää työkalu.

2. Valitse Lisää työkalu -valintaikkunassa Uusi työkalu.

3. Valitse Tietokoneen käyttö.

4. Anna työkalulla ohjeet, jossa kuvaillaan tietokoneessa suoritettava tehtävä. Aloittamaan pääsee ohjemallien avulla. Jos haluat lisätietoja tietokoneen käyttöä koskevien ohjeiden kirjoittamisesta, tarkista tietokoneen käyttöä koskevat parhaat käytännöt.

5. Valitse Lisää ja määritä.

   • Konfiguraatiosivulla määritä nämä neljä kenttää:

     • Nimi: Anna tietokoneen käyttötyökalun näyttönimi. Tämä nimi auttaa sinua erottamaan sen muista asiakaspalvelijallesi lisäämistäsi työkaluista.
     • Kuvaus: Anna lyhyt kuvaus siitä, mitä tämä työkalu tekee ja milloin sitä tulee käyttää. Tämä teksti kertoo asiakaspalvelijalle, milloin tätä työkalua kannattaa käyttää.
     • Malli: Valitse malli, jolla tietokoneen käyttötyökalu suoritetaan. Tällä hetkellä tuettuja malleja ovat OpenAI:n Computer-Using Agent ja Anthropicin Claude Sonnet 4.5.

       Muistiinpano

       Anthropicin Claude Sonnet 4.5 on parhaillaan käytössä tuetuilla alueilla, eikä sitä välttämättä vielä ole saatavilla omalla alueellasi. Varmista, että ylläpitäjäsi on ottanut ulkoiset mallit käyttöön.

     • Ohjeet: Luettele työkalun suorittamat vaiheet, mukaan lukien URL-osoitteet ja sovellusten nimet. Vinkkejä on artikkelissa Tietokoneen käyttöä koskevat parhaat käytännöt.

6. Tarkista nämä muut määrityssivun kentät ja asetukset, joilla voi olla merkitystä:

   • Syötteet: Määritä syötteiden avulla dynaamisia arvoja, jotka muuttuvat aina, kun tietokoneen käyttö suoritetaan. Jos esimerkiksi haluat täyttää lomakkeen eri arvolla jokaisessa suorituksessa, luo syöte kyseiselle kentälle. Suoritushetkellä Tietokoneen käyttö yhdistää ohjeet syötearvoihin suorittaakseen tehtävän.

   • Kone: Valitse kohdekone, jota agentti käyttää tietokonekäytön suorittamiseen. Lisätietoja oikean konetyyppien valitsemisesta vaatimusten perusteella on kohdassa Tietokonekäytön suoritussijainnin määrittäminen.

     • Päivitä koneluettelo valitsemalla Päivitä.
     • Avaa tietokoneen hallintasivu Power Automate portaalissa valitsemalla Hallintakoneet.
     • Avaa tietokoneen tietosivu Power Automate portaalissa valitsemalla Näytä tietokoneen tiedot.

   • Yhteys: Työkalussa käytettävä yhteys. Muuta käytettäviä tunnistetietoja tekemällä päivitys tai luomalla uusi yhteys.

   • Käytettävät tunnistetiedot: määritä tietokonekäytön todennus suorituksen aikana:

     • Makerin tarjoamat tunnistetiedot (oletus): Tämä vaihtoehto käyttää tekijän tunnuksia ja sopii autonomisille agenteille.

     Varoitus

     Jos jaat agentin tämän asetuksen kanssa, kuka tahansa sitä käyttävä voi toimia alkuperäisen tekijän käyttöoikeuksilla konfiguroidulla koneella.

     • Käyttäjien tunnistetiedot: Tässä vaihtoehdossa käytetään agenttia käyttävän henkilön tunnistetietoja. Kullakin käyttäjällä on oltava tunnistetiedot koneen käyttämistä varten.

   • Human-valvonta: Määritä keneen tulee ottaa yhteyttä sähköpostitse (Outlook), jos tietokoneen käyttöagentti havaitsee mahdollisesti haitallisia ohjeita, jotka voivat muuttaa mallin toimintaa. Jokainen agentin suoritus ja aktiviteetti on sidottu sen aloittaneeseen käyttäjään. Jos valitset arvioijan muun kuin tietokoneen käyttöagentin käyttäjän, hän ei todennäköisesti näe toimintaa, koska hän ei ole aloittanut suoritusta. Tämän vuoksi pyynnön varmistaminen tai toteuttaminen oikein ei ole mahdollista. Varmista myös, että vastaanottaja on valtuutettu ja konteksti soveltuu kyseisten pyyntöjen käsittelemiseen. Vasteaikarajoitus määrittää, kuinka kauan pyyntö pysyy aktiivisena. Pyyntö vanhenee tämän jakson jälkeen ja tietokonekäytön suoritus pysähtyy, jos vastausta ei saada. Lisätietoja on kohdassa Ihmisen valvonta.

   • Tallennetut tunnistetiedot: Määritä tunnistetiedot, joita tietokone käyttää sivustoihin ja sovelluksiin kirjautumisessa. Jos kirjautumiskehote tulee näkyviin suorituksen aikana, tietokonekäyttö käyttää turvallisesti tunnistetietoja, jotka määritettiin kyseisen sivuston tai sovelluksen tässä osassa. Näiden tunnistetietojen salasana-arvot tallennetaan joko Power Platformin sisäiseen tallennustilaan (määritystä ei tarvita) tai antamaasi Azure Key Vault. Lue, miten voit luoda Azure Key Vault Luo avainsäilö Azure portaalin avulla.

     • Sisäisen tallennuksen vaihtoehto: Tämän vaihtoehdon avulla voit konfiguroida tunnistetiedot työkalussa ilman ennakkoasetuksia. Salaisuudet salataan ja tallennetaan Power Platformin sisälle. Jokaisesta pätevyydestä anna seuraavat tiedot:

       • Tyyppi: valitse verkkosivuston ja työpöytäsovelluksen välillä sen mukaan, minkä pinnan aiot käyttää tätä tunnistetta
       • Käyttäjänimi: käyttäjätunnus, jolla kirjaudut kohdesivustolle tai sovellukseen.
       • Salasana: salasanan arvo, jolla kirjaudutaan kohdesivustolle tai sovellukseen.

       Muistiinpano

       Salasanakenttiä tuetaan kaikissa sivustoissa ja useimmissa Windows sovelluksissa (WinForms, WPF, UWP, WinUI, Win32), jotka kattavat useimmat asiakasskenaariot. Joitakin sovellustyyppejä, kuten Electron, Java, Unity, pelejä, komentoriviliittymiä, Citrixia tai muita virtualisoituja ympäristöjä, ei välttämättä tueta.

       • Kirjautumisdomainin tai työpöytäsovelluksen nimi: verkkotunnus tai sovellusnimi, johon syötät tunnukset (esim. login.microsoft.com tai Excel). Kirjautumisdomainin osalta varmista, että varmistat tämän domainin, sillä se voi poiketa pääsivuston URL-osoitteesta.

     • Azure Key Vault option: Tämän asetuksen avulla voit määrittää työkalussa tunnistetiedot antamalla ensin tilaustunnuksen, resurssiryhmän nimen ja Key Vault nimen. Kaikki nämä tiedot ovat saatavilla Key Vault Overview -sivulta.

       • Azure Key Vault salaisten koodien käyttäminen Power Platformissa:

         • Säilöä sisältävässä Azure tilauksessa on oltava PowerPlatform-resurssipalvelu rekisteröity.
         • Käyttäjällä, joka luo ympäristömuuttujan, on oltava asianmukaiset käyttöoikeudet Azure Key Vault resurssiin.

       • Jos et ole vielä tehnyt niin, noudata ohjeita kohdassa Configure Azure Key Vault ja anna sitten seuraavat tiedot:

         • Käyttäjänimi: käyttäjätunnus, jolla kirjaudut kohdesivustolle tai sovellukseen.
         • Azure salainen nimi: salaisen koodin nimi siinä Key Vault, joka tallentaa verkkosivuston tai sovelluksen salasanan.

         Muistiinpano

         Salasanakenttiä tuetaan kaikissa sivustoissa ja useimmissa Windows sovelluksissa (WinForms, WPF, UWP, WinUI, Win32), jotka kattavat useimmat asiakasskenaariot. Joitakin sovellustyyppejä, kuten Electron, Java, Unity, pelejä, komentoriviliittymiä, Citrixia tai muita virtualisoituja ympäristöjä, ei välttämättä tueta.

         • Kirjautumisdomainin tai työpöytäsovelluksen nimi: verkkotunnus tai sovellusnimi, johon syötät tunnukset (esim. login.microsoft.com tai Excel). Kirjautumisdomainin osalta varmista, että varmistat tämän domainin, sillä se voi poiketa pääsivuston URL-osoitteesta.

   • Käyttöoikeuksien valvonta: Tietokoneen käyttö voi oletusarvoisesti toimia missä tahansa sivustossa tai sovelluksessa. Tätä käyttöoikeutta voidaan rajoittaa ottamalla käyttöön käyttöoikeuksien hallinnan sekä määrittämällä, mihin URL-osoitteisiin ja työpöytäsovelluksiin tietokonekäyttö on rajoitettava. Sekä sivustot että sovellukset voidaan määrittää:

     • Verkkosivustot: Anna verkkosivuston pääosoite (esimerkiksi example.com). Kaikki kyseisen sivuston sivut sisällytetään automaattisesti. Myös alitoimialueet voidaan sisällyttää yleismerkkien (*) avulla.
       • Esimerkkejä: www.contoso.com, *.contoso.com, contoso.com
     • Työpöytäsovellukset: Anna sovelluksen tuotenimi tai prosessin nimi. Voit etsiä sen avaamalla tehtävienhallinnan näppäinyhdistelmällä Ctrl+vaihto+Esc. Valitse sitten Prosessit-välilehti .
       • Esimerkkejä: Microsoft Edge, msedge, Notepad.

     Muistiinpano

     Käyttöoikeuksien hallinta estää mallia toimimasta vain verkkosivuilla tai sovelluksissa, jotka eivät ole sallittujen listalla. Se ei estä mallia avaamasta niitä. Jos esimerkiksi sallittujen luettelossa on vain microsoft.com ja Microsoft Edge, malli voi edelleen avata Bingin Edge-hakupalkin avulla. Kuitenkin, kun Bing avataan, kaikki yritykset olla vuorovaikutuksessa sen kanssa epäonnistuvat, koska sitä ei ole sallittujen listalla.

7. Valitse Tallenna.

Tietokoneen käytön testaaminen

Tietokonekäytön testaaminen on tärkeä laatimissiirtymän vaihe. Kun olet antanut nimen, kuvauksen ja ohjeet ja tallentanut työkalun, aloita testikokemus valitsemalla Testaa .

Lyhyen latausajan jälkeen testikokemus tulee näkyviin:

• Vasemmassa paneelissa näkyvät ohjeet sekä vaiheittainen loki työkalun perusteluista ja toimista.
• Oikeanpuoleisessa paneelissa näkyy esikatselu tietokoneen käyttöä varten määritetyllä tietokoneella tapahtuvista toiminnoista.

Kun tehtävä on valmis, näet Valmis testi - sanoman. Kun testi on käynnissä, voit lopettaa kaikki tietokoneen toiminnot valitsemalla Lopeta testaus .

Jos tulos ei vastaa odotuksiasi, siirry määrityssivulle ja tarkenna ohjeita. Lisää yksityiskohtia tarkkuuden parantamiseksi. Katso ohjeita artikkelista Parhaiden käytäntöjen noudattaminen tehokkaiden ohjeiden kirjoittamiseen.

Tietokoneen käytön sisältävän agentin julkaiseminen

Aseta tietokoneen käyttö ja julkaise sitten agenttisi. Agentin suoritustapa määräytyy skenaarion mukaan. Se voi olla itsenäinen tai keskusteleva:

• Itsenäiset agentit toimivat automaattisesti ja suorittavat tehtäviä taustalla.
• Keskustelevien agenttien avulla käyttäjät voivat olla vuorovaikutuksessa Microsoft Teams kaltaisten kanavien kautta.

Tietokoneen käyttö toimii parhaiten itsenäisten agenttien yhteydessä suorittaen tehtäviä taustalla ilman vuorovaikutusta käyttäjien kanssa.

Vaikka tietokonekäyttöä voi nyt käyttää keskustelukokemuksissa, seuraavat on syytä muistaa:

• Jos valitset todennusasetukseksi Käyttäjätodentaminen , kaikki keskustelussa agentin kanssa vuorovaikutuksessa olevat käyttäjät tarvitsevat tietokoneen käyttämän tietokoneen käyttämän tietokoneen kelvolliset tunnistetiedot.
• Kun työkalu suoritetaan, se jakaa päättelyviestejä ja kuvakaappauksia koneen toiminnasta chatissa.

Parhaat käytännöt

Tuottavuuden ja suojauksen varmistaminen nykypäivän digitaalisissa ympäristöissä edellään tietokonekäytön parhaiden käytäntöjen noudattamista etenkin kirjoittaessa selkeitä ohjeita ja suojattaessa koneita.

Koneiden suojauksen parhaat käytännöt

Seuraava tietoturvasuositukset kannattaa ottaa huomioon määritettäessä koneita tietokonekäyttöä varten, kun tekoäly saa suorittaa tehtäviä luonnollisen kielen pohjalta:

Tietokoneen käyttöohjeiden parhaat käytännöt

Kirjoittamasi ohjeet määrittävät, kuinka hyvin tietokoneen käyttö toimii. Tarkat, yksityiskohtaiset ohjeet auttavat tietokoneen käyttöä suorittamaan tehtäviä tarkasti. Ajattele sitä tehtävän selittämisenä kollegalle. Selkeät, vaiheittaiset ohjeet auttavat varmistamaan onnistumisen.

Vinkkejä tehokkaiden ohjeiden kirjoittamiseen:

• Ole tarkka verkkosivustojen ja sovellusten suhteen. Sisällytä aina minkä tahansa verkkosivuston täydellinen URL-osoite ja työkalun käyttämien sovellusten tarkka nimi. Esimerkki: Avaa https://www.microsoft.com ja siirry kohtaan 'Yritysuutiset'.

• Ilmoita selkeästi asiaankuuluvat toimet. Jos haluat jotain tehtävän, sano se selvästi – erityisesti esimerkiksi lomakkeen lähettäminen tai sähköpostin lähettäminen. Esimerkki: Kun täytät lomakkeen, valitse Lähetä. Ei tarvitse pyytää lupaa.

• Pura monimutkaiset vuorovaikutukset. Jos käyttöliittymässä siirtyminen voi olla monimutkaisempaa, selitä jokainen vaihe yksityiskohtaisesti. Esimerkki: Valitse More-kuvake oikeasta yläkulmasta. Alasvetovalikko ilmestyy. Kun se avautuu, valitse listan viimeinen kohde.

• Käytä vaiheittaista muotoilua pidemmille tehtäville. Pitkiä ohjeita on helpompi noudattaa, kun muotoilet ne luetteloksi.

Esimerkkiohjeet

Tutustu näihin esimerkkiohjeisiin kokeillaksesi tietokoneen käyttöä tai käyttääksesi niitä viitteenä omien ohjeidesi kirjoittamisessa.

Tietojen poiminnan parhaat käytännöt

Tietoja voidaan noutaa tietokoneella sivustoista ja sovelluksista, jonka jälkeen ne välitetään agentille tai muille agentin työkaluille. Se onnistuu kuvailemalla poimittavat tiedot suoraan tietokonekäytön ohjeissa.

Jos poimittuja tietoja halutaan käyttää toisessa työkalussa (esimerkiksi lähettää ne sähköpostitse), agentin ohjeissa määritetään, mitä tarvitaan. Lisäksi molemmat työkalut on lisättävä agenttiin.

Esimerkki: Käytä tietokonetta poimiaksesi asiakastiedot taloussalkun hallintapaneelia varten ja lähetä poimitut tiedot sähköpostitse. Tässä tapauksessa agenttisi on sisällytettävä sekä tietokoneen käyttöväline että sähköpostityökalu.

Arvojen poiminta tekstinä

Tietokonekäyttö voidaan ohjeistaa poimimaan tietyt arvot ja palauttamaan ne vain teksti -muodossa. Esimerkiksi seuraava kehote poimii salkunhoitajan ja salkun arvon asiakkaalle, Fourth Coffeelle:

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
2. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
3. Return those two values as the final output.

Agentti palauttaa tekstinä vain kaksi pyydettyä arvoa.

Arvojen poiminta JSON-muodossa

Tietokonekäyttöä voidaan pyytää palauttamaan poimitut tiedot myös JSON-muodossa. Tämä muoto on kätevä, jos jäsennettyjä tietoja välitetään toiseen työkaluun. Seuraava esimerkki poimii salkun kaikki Contosoon liittyvät rivit ja palauttaa ne oikein muotoillussa JSON-muodossa:

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

Tämä menetelmä varmistaa, että tulos on jäsennetty.

Käyttöoikeudet

Kun tietokoneen käyttö on esikatselutilassa, sitä laskutetaan Agentti-toimintoominaisuuden avulla, ja sen laskutusaste on viisi Copilot saldoa. Lisätietoja on kohdassa Microsoft Copilot Studio laskutusaste ja hallinta.

Jokainen tietokoneen käyttö perustuu tekoälymalliin, joka suorittaa sarjan vaiheita. Vaihe voi sisältää yhden tai useamman matalan tason toiminnon (esimerkiksi klikkaamisen, kirjoittamisen tai navigoinnin). Jokainen vaihe kuluttaa 5 Copilot-krediittiä.

Esimerkiksi, jos konfiguroit tietokoneen käytön täyttämään verkkopohjaisen työaikalomakkeen, ajo voi suorittaa seuraavat vaiheet:

1. Käynnistä selain ja siirry työaikakirjausportaaliin.

2. Valitse Luo uusi työaikakirja.

3. Täytä Start Time, End Time ja Project Code -kentät.

4. Valitse Lähetä-painike.

Tässä esimerkissä tietokoneen käyttö suorittaa neljä vaihetta, jotka kuluttavat yhteensä 20 Copilot saldoa.

Anna palautetta

Onko sinulla palautetta tietokoneen käytöstä? Ilmoita meille osoitteessa computeruse-feedback@microsoft.com.

Liittyvät tiedot

Usein kysytyt kysymykset tietokoneen käyttötyökalusta