Respan: Span-01 Lite

Span-01 Lite er en egen navngitt modellprofil i Respans Span-01-familie for atferdsskåring. Produsentens hurtigstart og modelltabell angir Lite som en av de to profilene som bruker den samme skåringsflyten. Den mottar en tekstinteraksjon og atferdsdefinisjoner skrevet i vanlig språk, og returnerer deretter tre sannsynligheter for hver definisjon: til stede, fraværende og ikke observerbar. Det nyttige resultatet fra profilen er en atferdsregistrering med eksplisitt usikkerhet, ikke et skriftlig svar i samtalen.

Velg observasjonen og avgrensningen

Definer atferden med ordene som passer oppgaven din. For en kontroll av overlevering til et menneske angir du om det betyr at brukeren uttrykkelig ber om en person, at assistenten sier at en overlevering trengs, eller at én av disse betingelsene er oppfylt. Hvis ren skuffelse ikke skal telle, må du si det. For en kontroll av unnskyldninger definerer du hvilke formuleringer som utgjør en unnskyldning, i stedet for å stole på en uklar etikett. Hver definisjon har en identifikator som skåreren returnerer sammen med sannsynlighetene.

Settet med atferdstyper tilhører den som kaller modellen. Eksempler som frustrasjon, løfter uten dekning, feil bruk av verktøy eller gjentatte agenthandlinger er definisjoner du selv oppgir, ikke en fast liste med innebygde kategorier. Sørg for at hver definisjon kan observeres i den oppgitte interaksjonen. Et kort utsnitt kan avgjøre om assistenten ba om unnskyldning, men samtidig mangle grunnlag for at et eksternt problem faktisk ble løst.

Forbered samtaleutsnittet

I Respans dokumenterte inndata ligger de foregående meldingene i span.input og replikken som vurderes, i span.output. Meldingsinnholdet er en streng. Bevar konteksten som trengs for å forstå replikken, inkludert talerroller, den relevante forespørselen fra brukeren og eventuelt tekstgrunnlag assistenten brukte. For en kvalitetskontroll oppgir du den faktiske replikken, ikke en omskrivning som fjerner atferden som vurderes.

En illustrerende gjennomgang kan ta for seg en brukermelding som beskriver gjentatte problemer, og et svar fra assistenten som tilbyr å undersøke saken. Definer brukerens frustrasjon og assistentens løfte som separate observasjoner. Hvis et verktøyresultat har betydning for å avgjøre om en påstand var underbygget, beholder du den relevante teksten fra resultatet i konteksten. Utdataene er en vurdering av disse definisjonene i det oppgitte utsnittet; modellen utfører ikke den lovede undersøkelsen og endrer heller ikke selve samtalen.

Til stede, fraværende og ikke observerbar

Skåringssvaret inneholder atferdens id med p_present, p_absent og p_not_observable, som til sammen blir omtrent 1. Ikke observerbar betyr at sporet ikke kan besvare spørsmålet. Det er noe annet enn fraværende. For en definisjon som at kunden godtar en løsning, er et utsnitt som slutter før kunden reagerer, ufullstendig grunnlag, selv om assistentens svar virker sikkert.

Behold alle tre verdiene når du forbereder et resultat for gjennomgang. En kategori valgt etter den høyeste verdien kan være nyttig i en visning, men fordelingen bevarer hvor usikker observasjonen var. Ikke bruk en lav verdi for til stede alene til å konkludere med at atferden helt sikkert ikke forekom. Når manglende grunnlag dominerer, kan det nyttige tiltaket være å skaffe den relevante konteksten eller beholde resultatet som ukjent, i stedet for å finne på en forklaring.

Flere definisjoner over det samme grunnlaget

Produsentens skåringsflyt vurderer flere atferdsdefinisjoner samlet over ett spor og returnerer et resultat for hver identifikator i den rekkefølgen de står i forespørselen. Dokumentasjonen angir ingen øvre grense for antall atferdstyper per forespørsel. Dette fastsetter ikke et universelt tokenvindu eller ubegrenset sporstørrelse. Hold definisjonene målrettede og grunnlaget relevant, og bevar koblingen mellom hvert returnert resultat og definisjonen som ga det.

Atferdsresultatene er uavhengige observasjoner, ikke ett svar der bare ett alternativ kan velges. Frustrasjon, en unnskyldning og en foreslått overlevering kan alle være til stede i samme utveksling. Hver av de tredelte fordelingene har mening innenfor sin egen definisjon; å legge sammen verdiene for til stede på tvers av ulike atferdstyper gir ikke en normalisert kategorifordeling eller en ordnet skår på en vurderingsskala.

Hold den valgte profilen sammen med resultatene

Produsenten dokumenterer Lite-navnet og standardnavnet med en felles form for forespørsel og resultat. Denne kontrakten gjør det mulig å forberede spor og tolke atferdssannsynligheter for begge de navngitte profilene. Den viser ikke at Lite har de samme vektene, det samme antallet parametere eller den samme kvaliteten som den andre utgaven. Sørg for at den valgte profilen kan identifiseres når resultatene gjennomgås, i stedet for stilltiende å bytte om resultater fra ulike utgaver.

Bruk merkede samtaler fra den tiltenkte oppgaven til å velge terskler for logging, ruting eller gjennomgang. Ta vare på resultater med høy verdi for ikke observerbar og grensetilfeller for nærmere inspeksjon, og sammenlign enhver tilsynelatende feil med den opprinnelige replikken og atferdsdefinisjonen. Det nyttige sluttresultatet inneholder tekstutsnittets identifikator, definisjonen, den valgte profilen og det fullstendige tredelte sannsynlighetsresultatet. Et senere trinn i applikasjonen avgjør hva som skal gjøres med observasjonen; skåringsutdataene fra Lite utfører ikke i seg selv en overlevering, blokkerer ikke et svar og genererer ingen reparasjon.