Respan: Span-01

Span-01 on Respanin käyttäytymisen pisteytysmalli keskusteluille ja agenttien suoritusjäljille. Se lukee tekstimuotoisen vuorovaikutuksen yhdessä luonnollisella kielellä kirjoitettujen käyttäytymismääritelmien kanssa ja palauttaa kullekin määritelmälle todennäköisyydet. Tulos erottaa annetussa suoritusjäljessä läsnä olevan, poissa olevan ja ei havaittavissa olevan käyttäytymisen. Tämä antaa arviointityönkululle numeerisen signaalin ja selkeän tavan esittää puuttuva evidenssi jäsennettävän generoidun selityksen sijaan.

Määrittele käyttäytyminen, jota haluat havainnoida

Kutsuja antaa käyttäytymiset. Kehoteinjektio, perusteettomat väitteet, salaisuuksien paljastuminen, toistuvat silmukat, työkalujen väärinkäyttö ja käyttäjän turhautuminen ovat mahdollisia määritelmiä, eivät malliin rakennettu kiinteä taksonomia. Ilmoita, mikä lasketaan kyseiseksi käyttäytymiseksi ja mikä ei. Tarkka määritelmä voi erottaa käyttäjän pyynnön siirtää asia ihmiselle pelkästä pettymyksen ilmaisemisesta. Toinen voi erottaa ongelman tunnustavan assistentin assistentista, joka lupaa toimenpiteen, jota se ei voi suorittaa.

Käytä määritelmien yhteydessä vakaita tunnisteita, jotta tulokset pysyvät sidoksissa arvioitavaan käyttäytymiseen. Kohdista kriteeri asiaan, jonka suoritusjälki voi näyttää. Jos käyttäytymisen arviointi vaatii lähdeasiakirjan, työkalutuloksen tai myöhemmän asiakasvastauksen, sisällytä tämä evidenssi tekstivuorovaikutukseen oikeaan kohtaan. Pelkkä määritelmä ei voi osoittaa tosiasiaa, joka puuttuu suoritusjäljestä.

Valmistele edeltävä konteksti ja kohdevuoro

Dokumentoitu syöte erottaa kentän span.input edeltävät viestit kentän span.output kohdevuorosta. Kunkin viestin sisältö on merkkijono. Anna todellinen keskustelukonteksti ja pisteytettävä vuoro sekä säilytä puhujaroolit ja sen tulkitsemiseen tarvittava järjestys. Tämä on tekstin pisteytysprofiili; valmisteltu asiakirjateksti tai litterointi voi olla evidenssiä, mutta media, josta teksti saatiin, ei itsessään ole dokumentoitu syöte.

Säilytä tukivuorovaikutuksessa asiakkaan pyyntö assistentin ehdottaman vastauksen yhteydessä. Työkaluja käyttävän agentin kohdalla säilytä olennainen työkaluhavainto ja siihen tukeutunut vastaus. Esimerkinomainen perusteltavuusmääritelmä voi kysyä, esittääkö assistentti johtopäätöksen, jota annettu havainto ei tue. Hyödyllinen tulos koskee määriteltyä käyttäytymistä kyseisessä katkelmassa, ei koko sovelluksen täydellistä diagnoosia.

Lue jokaiselle määritelmälle kolme todennäköisyyttä

Jokainen tulos sisältää käyttäytymisen tunnisteen ja arvot p_present, p_absent ja p_not_observable. Kolmen todennäköisyyden summa on noin 1. Läsnä arvioi käyttäytymisen esiintyneen, poissa arvioi, ettei sitä esiintynyt, ja ei havaittavissa arvioi, että annetusta katkelmasta puuttuu ratkaisuun tarvittava evidenssi. Näillä on erilliset merkitykset, ja ne tulisi pitää erillään tuloksia tulkittaessa.

Esimerkiksi katkelma, joka päättyy assistentin ilmoitukseen ongelman ratkaisemisesta tulevaisuudessa, voi näyttää lupauksen. Se ei vielä voi näyttää asiakkaan hyväksyneen myöhempää ratkaisua, jos asiakkaan vastausta ei ole. Käsittele puuttuvaan evidenssiin perustuvaa tulosta tuntemattomana sen sijaan, että muuntaisit sen poissa-tilaksi. Pieni läsnäolon todennäköisyys ei automaattisesti ole vahvaa evidenssiä poissaolosta, kun merkittävä osuus jakaumasta kuuluu ei havaittavissa -tilaan.

Käyttäytymismääritelmien pisteytys yhdellä laskentakierroksella

Respan kuvaa Span-01:tä päättelyluokittimeksi, joka on ensin koulutettu yleiseen luokitteluun RLAIF-menetelmällä ja sitten erikoistettu käyttäytymisen tunnistamiseen. Jokainen määritelmä suoritetaan rinnakkaisena haarana samasta suoritusjäljestä, ja malli palauttaa käyttäytymistodennäköisyydet yhdellä eteenpäinlaskennalla. Hybridiattention tukee pitkien, monimutkaisten suoritusjälkien käsittelyä. Se ei generoi tokeneita, kirjoita kerronnallista arviota tai tuota vapaamuotoista selitystä luokitukselleen.

Käsiteopas ja pisteytysviite eivät dokumentoi pyyntökohtaista käyttäytymismäärän ylärajaa. Jokainen määritelmä on silti osa annettua arviointia, joten pidä kukin selkeänä ja olennaisena sen sijaan, että pitäisit määrärajan puuttumista osoituksena rajattomasta syötekapasiteetista. Tulos sisältää yhden merkinnän käyttäytymistä kohti pyynnön mukaisessa järjestyksessä id-tunnisteella yksilöitynä. Useat määritelmät kuvaavat useita riippumattomia havaintoja; ne eivät ole toisensa poissulkevia luokkavalintoja, joiden summan pitäisi olla yksi eri käyttäytymisten välillä.

Hyödyllisen arviointituotoksen valmistelu

Yhdistä palautetut todennäköisyydet tehtäväkohtaisiin kynnysarvoihin ja tarkastelusääntöihin mallin ulkopuolella. Valmistaja suosittelee merkittyjen keskustelujen käyttöä kynnysarvojen valintaan sekä läsnäolon rajatapausten ja suuren ei havaittavissa -arvon tulosten tutkimista. Tukityönkulku voi kirjata turhautumisen, ehdotetun eskaloinnin ja perusteettoman lupauksen erikseen. Agentin laadunarvioinnin työnkulku voi seurata toistuvia toimenpiteitä tai sitä, käyttikö vastaus sille tarjottua evidenssiä.

Säilytä tekstikatkelma, käyttäytymismääritelmä, tulostunniste ja täydellinen kolmiosainen jakauma yhdessä. Kun määritelmä muuttuu, huomioi sen muuttavan sitä, mitä todennäköisyys mittaa. Tarkastele näennäisiä virheitä todellisen keskustelun perusteella sen sijaan, että pitäisit numeerista tulosta todisteena havaitsemattomasta tapahtumasta. Hyödyllinen tuotos on suoritusjälkeen ja kriteeriin sidottu käyttäytymistietue, jonka epävarmuus säilytetään myöhempää tarkastelua tai sovelluksen seuraavaa päätöstä varten.