Valitse arviointimenetelmät

[Tämä artikkeli sisältää julkaisua edeltävää materiaalia ja voi muuttua.]

Kun luot testisettejä, valitse eri testimenetelmistä arvioidaksesi agenttisi vasteita. Jokaisella testimenetelmällä on omat vahvuutensa ja ne sopivat erilaisiin arviointityyppeihin.

Lisää testimenetelmä

1. Kun luot tai muokkaa testijoukkoa, valitse Lisää testimenetelmä.

2. Valitse kaikki testattavat menetelmät ja valitse OK. Voit lisätä useita menetelmiä.

   1. Jotkut menetelmät vaativat läpäisypisteet. Läpäisypisteet määrittävät, mikä piste johtaa läpäisemiseen tai hylkäämiseen. Aseta pisteet ja valitse OK.

   2. Jotkin testimenetelmät edellyttävät enemmän ehtoja.

3. Valitse Tallenna tallentaaksesi muutokset testisarjaan.

Valitse olemassa oleva testimenetelmä muokataksesi kyseisen metodin kriteerejä tai poista kyseinen menetelmä.

Yleinen laatu

Yleinen laatu auttaa sinua arvioimaan, täyttävätkö agenttisi vastaukset vaatimuksiasi. Se käyttää kielimallia arvioidakseen, kuinka tehokkaasti agentti vastaa käyttäjän kysymyksiin.

Yleinen laatu on erityisen hyödyllistä, kun tarkkaa vastausta ei odoteta. Se tarjoaa joustavan ja skaalautuvan tavan arvioida vastauksia haettujen asiakirjojen ja keskustelun kulun perusteella.

Se käyttää näitä keskeisiä kriteerejä ja käyttää johdonmukaista kehotetta pisteytyksen ohjaamiseen:

• Osuvuus: Missä määrin edustajan vastaus vastaa kysymykseen. Esimerkiksi pysyykö agentin vastaus aiheessa ja vastaa suoraan kysymykseen?

• Maadoitettu: Missä määrin edustajan vastaus perustuu annettuun kontekstiin. Esimerkiksi viittaako edustajan vastaus kontekstissa annettuihin tietoihin sen sijaan, että se toisi asiaan liittymättömiä tai tukemattomia tietoja?

• Täydellisyys: Missä määrin edustajan vastaus antaa kaikki tarvittavat tiedot. Kattaako esimerkiksi edustajan vastaus kaikki kysymyksen näkökohdat ja antaako se riittävästi yksityiskohtia?

• Tyhjää äänestäminen: Yrittikö agentti vastata kysymykseen.

Jotta vastaus olisi korkealaatuinen, sen on täytettävä kaikki nämä keskeiset kriteerit. Jos jokin kriteeri ei täytty, vastaus merkitään parannettavaksi. Tämä pisteytysmenetelmä varmistaa, että vain täydelliset ja hyvin tuetut vastaukset saavat ylimmät merkit. Sitä vastoin vastaukset, jotka ovat puutteellisia tai jotka eivät tue todisteita, saavat pienemmät pisteet.

Kun lisäät tai muokkaat testimetodeja, valitse yleinen laatu. Kaikki testisarjat alkavat oletuksena tällä menetelmällä.

Sinun ei tarvitse lisätä odotettuja vastauksia testitapauksiin tehdäksesi yleisen laadunarvioinnin.

Vertaa merkitystä

Vertaile merkitys arvioi, miten hyvin agentin vastaus vastaa odotetun vastauksen aiottua merkitystä. Sen sijaan, että keskitytään tarkkaan sanamuotoon, se käyttää intentio-samankaltaisuutta, eli vertaa sanojen taustalla olevia ideoita ja merkitystä arvioidakseen, kuinka tarkasti vastaus vastaa odotuksiasi.

Kuten yleinen laatu, merkityksen vertailu on erityisen hyödyllistä, kun tarkkaa vastausta ei odoteta. Se tarjoaa joustavan ja skaalautuvan tavan arvioida vastauksia haettujen asiakirjojen ja keskustelun kulun perusteella.

Voit määrittää välityspistemäärän raja-arvon määrittääksesi, mikä on vastauksen välityspistemäärä. Oletuspistemäärä on 50. Vertaa merkitystä testimenetelmästä on hyötyä, kun vastaus voidaan muotoilla eri oikeilla tavoilla, mutta yleinen merkitys tai aikomus on silti määritettävä.

1. Kun lisäät tai muokkaat testimetodeja, valitse Vertaile merkityksiä.

2. Aseta tämän menetelmän läpäisypisteet.

3. Lisää odotetut vastaukset. Jos testitapauksesta ei ole odotettuja vastauksia, tämä testimenetelmä tuottaa virheellisen tuloksen.

   1. Valitse testitapaus.

   2. Lisää odottamasi vastaus.

   3. Valitse Haku tallentaaksesi odotetun vastauksen.

   4. Toista kaikki testitapaukset, joita haluat testata tällä menetelmällä.

Työkalujen käyttö

Työkalun käyttäminen testaa, käynnistikö agentti tiettyjä työkaluja tai aiheita suoritusprosessin aikana. Jos näin kävi, tulos merkitään Pass-merkinnällä. Jos se ei tehnyt niin, tulos merkitään Vika-merkinnällä.

1. Kun lisäät tai muokkaat testimenetelmiä, valitse Työkalun käyttö.

2. Lisää odotetut työkalut tai aiheet. Jos testitapauksesta ei ole odotettuja vastauksia, tämä testimenetelmä tuottaa virheellisen tuloksen.

   1. Valitse testitapaus. Jos haluat lisätä samat odotetut työkalut ja aiheet kaikille testitapauksille, valitse Muokkaa-kuvake Työkalun käyttö -sarakeotsikosta.

   2. Valitse Muokkaa testitapausta -ruudussa työkalut, joita odotat agenttisi käyttävän tässä testitapauksessa.

   3. Valitse OK.

   4. Tallenna muutokset valitsemalla Käytä .

   5. Toista kaikille testitapauksille, joita haluat testata työkalujen käyttöä varten.

Avainsanavastaavuus

Avainsanavastaavuus tarkistaa, sisältääkö agentin vastaus joitakin tai kaikki määrittämäsi odotetun vastauksen sanat tai lauseet. Jos se tekee niin, se läpäisee. Jos näin ei tapahdu, se epäonnistuu. Avainsanojen vastaavuus on hyödyllinen, kun vastaus voidaan muotoilla eri oikeilla tavoilla, mutta avaintermit tai ideat täytyy silti sisällyttää vastaukseen.

Voit valita, vaatiiko passi jonkin avainsanoista vai kaikki . Minkä tahansa valitseminen tarkoittaa, että jos vähintään yksi sana tai lause täsmää, testitapaus läpäisee. Kaikkien valitseminen tarkoittaa, että kaikkien odotettujen sanojen tai lauseiden on täsmälleen osuminen, jotta testitapaus läpäisee.

1. Kun lisäät tai muokkaat testimetodeja, valitse Avainsanojen vastaavuus.

2. Valitse, tarvitseeko testitapaus Any vai All -avainsanat täsmääkseen.

3. Lisää odotetut avainsanat. Mikä tahansa testitapaus ilman odotettuja avainsanoja tuottaa virheellisen tuloksen tälle testimenetelmälle.

   1. Valitse testitapaus.

   2. Lisää Muokkaa testitapausta -ruudussa avainsana tai lause, jonka odotat tapauksen vastauksen olevan.

   3. Lisää avainsanoja tai lauseita valitsemalla + Lisää . Voit poistaa avainsanan tai lauseen valitsemalla Poista-kuvakkeen .

   4. Valitse Apply tallentaaksesi odotetut avainsanat.

   5. Toista kaikki testitapaukset, joita haluat testata avainsanojen yhdistämisen osalta.

Tekstin samankaltaisuus

Samankaltaisuustestimenetelmä vertaa agentin vasteiden samankaltaisuutta odotettuihin vastuksiin, jotka määrittelet testijoukossasi. Siitä on hyötyä, kun vastaus voidaan muotoilla eri oikeilla tavoilla, mutta yleinen merkitys tai aikomus on silti määritettävä.

Se käyttää kosinin samankaltaisuuden mittausarvoa arvioidakseen, kuinka samanlainen agentin vastaus on odotetun vastauksen sanamuotoon ja merkitykseen, ja määrittää pistemäärän. Pistemäärä on välillä 0–1, jossa 1 osoittaa vastauksen vastaavan tarkasti ja 0 osoittaa, ettei se vastaa sitä. Voit määrittää välityspistemäärän raja-arvon määrittääksesi, mikä on vastauksen välityspistemäärä.

1. Kun lisäät tai muokkaat testimetodeja, valitse Tekstin samankaltaisuus.

2. Aseta tämän menetelmän läpäisypisteet.

3. Lisää odotetut vastaukset. Jos testitapauksesta ei ole odotettuja vastauksia, tämä testimenetelmä tuottaa virheellisen tuloksen.

   1. Valitse testitapaus.

   2. Lisää odottamasi vastaus.

   3. Valitse Haku tallentaaksesi odotetun vastauksen.

   4. Toista kaikki testitapaukset, joita haluat testata tällä menetelmällä.

Täsmälleen osuma

Tarkka vastaavuus tarkistaa, vastaako agentin vastaus tarkalleen odotettua vastausta testissä: merkki, merkki, sana sanasta. Jos se on sama, se menee ohi. Jos jokin on erilaista, se epäonnistuu. Tarkka vastaavuus on hyödyllinen lyhyille, tarkkojlle vastauksille, kuten numeroille, koodeille tai kiinteille lauseille. Se ei sovi vastauksiin, joita ihmiset voivat muotoilla useilla oikeilla tavoilla.

1. Kun lisäät tai muokkaat testimetodeja, valitse Täydellinen vastaavuus.

2. Lisää odotetut vastaukset. Jos testitapauksesta ei ole odotettuja vastauksia, tämä testimenetelmä tuottaa virheellisen tuloksen.

   1. Valitse testitapaus.

   2. Lisää odottamasi vastaus.

   3. Valitse Haku tallentaaksesi odotetun vastauksen.

   4. Toista kaikki testitapaukset, joita haluat testata tällä menetelmällä.

Mukautettu

Mukautettu on mukautettava testimenetelmä. Voit testata ja merkitä agenttien vastauksia käyttämällä omia kriteerejäsi. Voit esimerkiksi luoda henkilöstöhallinnon edustajalle yhteensopivuustestin, jossa testivastaukset merkitään joko yhteensopiviksi tai yhteensopimattomina henkilöstöhallinnon vaatimustenmukaisuuskuvauksen kanssa.

Mukautetussa testissä on kaksi määritettävää osaa:

Arviointiohjeet: Kuvailee tavoitteen, jonka haluat saavuttaa tässä testissä. Mitä haluat testin selvittävän agenttisi vastauksista?

Hyvien arviointiohjeiden tulee olla seuraavat:

• Olla tavoitesuuntautunut.

• Käytä vain sallittuja merkkejä.

• Käytä organisaatiossa luettelokohtia ja otsikoita.

Esimerkki:

Evaluate the agent's response for HR policy compliance.

What to check:
- Determine whether the answer protects privacy and avoids revealing or requesting sensitive data.
- Avoids discrimination, bias, or inappropriate judgments.
- Provides safe, neutral, HR-aligned guidance.
- Does not give legal advice or make definitive claims.

Labels: Kuvailee kullekin vastaukselle mukautetun testin avulla määritetyn tuloksen. Otsikoilla on myös läpäisy- ja hylkäysmääritykset, jotka lasketaan testijoukon läpivientinopeudelle tälle testimenetelmälle.

Tunnisteilla on nimi ja kuvaus. Hyvä kuvaus:

• On ytimekäs.

• Sisältää määritteet, joita etsit vastaavissa vastauksissa.

Toinen tunnisteiden strategia on saada kaksi: toinen on vastaukset, jotka täyttävät onnistuneesti etsimäsi ehdot, ja toinen vastauksia, jotka eivät täytä. Esimerkiksi henkilöstöhallinnon käytännön vaatimustenmukaisuuden mukautetussa testissä voidaan käyttää yhteensopivia ja yhteensopimattomia tunnisteita.

1. Kun lisäät tai muokkaat testimenetelmiä, valitse Mukautettu.

2. Anna tämän mukautetun testin nimi.

3. Lisää arviointiohjeet.

4. Lisää kaksi tai useampia otsikoita. Kullakin etiketillä on nimi ja kuvaus.

   Jos haluat lisätä selitteitä, valitse Lisää otsikko.

   Otsikoissa voidaan käyttää vain kirjaimia, numeroita, välilyöntiä, yhdysmerkkiä, alaviivaa-_, vinoviivaa/, et-merkkiä &, plusmerkkiä +ja pistettä ..

5. Määritä kunkin selitteen Pass - tai Fail-tulos .

6. Valitse OK.