Respan: Span-01

Span-01 er Respans modell for atferdsskåring av samtaler og agentspor. Den leser en tekstinteraksjon sammen med atferdsdefinisjoner skrevet i vanlig språk og returnerer sannsynligheter for hver definisjon. Utdataene skiller mellom atferd som er til stede, fraværende eller ikke observerbar i det oppgitte sporet. Dette gir en evalueringsflyt et numerisk signal med en eksplisitt måte å representere manglende grunnlag på, i stedet for en generert forklaring som må tolkes.

Definer atferden du vil observere

Atferdstypene oppgis av den som kaller modellen. Promptinjeksjon, udokumenterte påstander, eksponering av hemmeligheter, repeterende løkker, feil bruk av verktøy og brukerfrustrasjon er mulige definisjoner, ikke en fast taksonomi innebygd i modellen. Angi hva som teller som atferden, og hva som ikke gjør det. En smal definisjon kan skille mellom en bruker som ber om å bli overført til et menneske, og en som bare uttrykker skuffelse. En annen kan skille mellom en assistent som erkjenner et problem, og en som lover en handling den ikke kan utføre.

Bruk stabile identifikatorer for definisjonene, slik at resultatene forblir knyttet til atferden som vurderes. Hold kriteriet fokusert på noe sporet kan vise. Hvis atferden krever et kildedokument, et verktøyresultat eller et senere svar fra kunden, tar du med dette grunnlaget i tekstinteraksjonen der det hører hjemme. En definisjon alene kan ikke fastslå et faktum som mangler i sporet.

Forbered foregående kontekst og målreplikken

De dokumenterte inndataene skiller de foregående meldingene i span.input fra målreplikken i span.output. Innholdet i hver melding er en streng. Oppgi den faktiske samtalekonteksten og replikken du vil ha skåret, og bevar talerrollene og rekkefølgen som trengs for å tolke den. Dette er en profil for tekstskåring; forberedt dokumenttekst eller en transkripsjon kan være grunnlag, mens mediene teksten ble hentet fra, ikke i seg selv er dokumentert inndata.

For en supportinteraksjon holder du kundens forespørsel sammen med assistentens foreslåtte svar. For en agent som bruker verktøy, beholder du den relevante verktøyobservasjonen og svaret som bygget på den. En illustrerende definisjon av forankring kan spørre om assistenten hevder en konklusjon som den oppgitte observasjonen ikke støtter. Det nyttige resultatet gjelder den definerte atferden i dette utsnittet, ikke en fullstendig diagnose av hele applikasjonen.

Les tre sannsynligheter for hver definisjon

Hvert resultat inneholder atferdens identifikator og p_present, p_absent og p_not_observable. De tre sannsynlighetene blir til sammen omtrent 1. Til stede anslår at atferden forekom; fraværende anslår at den ikke gjorde det; ikke observerbar anslår at det oppgitte utsnittet mangler grunnlaget som trengs for å avgjøre det. Dette er separate betydninger og skal holdes adskilt når resultatene tolkes.

Et utsnitt som slutter med at assistenten sier at den skal løse et problem, kan for eksempel vise et løfte. Det kan ennå ikke vise at kunden godtok den endelige løsningen hvis det ikke finnes noe svar fra kunden. Behandle et slikt resultat med manglende grunnlag som ukjent i stedet for å gjøre det om til fraværende. En lav sannsynlighet for til stede er ikke automatisk sterkt bevis for fravær når en betydelig andel av fordelingen er ikke observerbar.

Skåring i ett pass på tvers av atferdsdefinisjoner

Respan beskriver Span-01 som en resonnerende klassifiserer som først er trent for generell klassifisering med RLAIF og deretter spesialisert for atferdsgjenkjenning. Hver definisjon kjøres som en parallell gren over det samme sporet, og modellen returnerer atferdssannsynlighetene i ett fremoverpass. Hybrid oppmerksomhet støtter behandlingen av lange, komplekse spor. Modellen genererer ikke tokener, skriver ingen fortellende vurdering og gir ingen fritekstforklaring av klassifiseringen.

Konseptveiledningen og skåringsreferansen dokumenterer ingen øvre grense for antall atferdstyper per forespørsel. Hver definisjon er likevel en del av den oppgitte evalueringen, så hold hver av dem klar og relevant i stedet for å tolke fraværet av en antallsgrense som bevis på ubegrenset inndatakapasitet. Resultatet inneholder én oppføring per atferdstype i forespørselens rekkefølge, identifisert med sin id. Flere definisjoner beskriver flere uavhengige observasjoner; de er ikke gjensidig utelukkende kategorivalg som må summere seg til én på tvers av atferdstypene.

Forberede et nyttig evalueringsresultat

Kombiner de returnerte sannsynlighetene med oppgavespesifikke terskler og gjennomgangsregler utenfor modellen. Produsenten anbefaler å bruke merkede samtaler til å velge disse tersklene og å inspisere grensetilfeller for til stede eller resultater med høy verdi for ikke observerbar. En supportflyt kan registrere frustrasjon, en foreslått eskalering og et løfte uten dekning hver for seg. En flyt for agentkvalitet kan følge med på gjentatte handlinger eller på om et svar brukte grunnlaget det fikk tilgang til.

Hold tekstutsnittet, atferdsdefinisjonen, resultatidentifikatoren og den fullstendige tredelte fordelingen samlet. Når definisjonen endres, må du være klar over at det endrer hva sannsynligheten måler. Gjennomgå tilsynelatende feil mot den faktiske samtalen i stedet for å behandle et numerisk resultat som bevis på en hendelse som ikke er observert. Et nyttig resultat er en atferdsregistrering knyttet til sporet og kriteriet, med usikkerheten bevart for senere inspeksjon eller for applikasjonens neste beslutning.