Respan: Span-01

Span-01 – Respan elgsenos vertinimo modelis pokalbiams ir agentų pėdsakams. Jis skaito tekstinę sąveiką kartu su paprasta kalba parašytais elgsenos apibrėžimais ir grąžina tikimybes kiekvienam apibrėžimui. Išvestis atskiria, ar elgsena pateiktame pėdsake yra, jos nėra, ar jos negalima stebėti. Tai suteikia vertinimo darbo eigai skaitinį signalą su aiškiu būdu nurodyti trūkstamus įrodymus, o ne sugeneruotą paaiškinimą, kurį reikėtų analizuoti.

Apibrėžkite elgseną, kurią norite stebėti

Elgsenas pateikia užklausos siuntėjas. Raginimų injekcija, nepagrįsti teiginiai, slaptų duomenų atskleidimas, pasikartojantys ciklai, netinkamas įrankių naudojimas ir naudotojo susierzinimas yra galimi apibrėžimai, o ne fiksuota į modelį įdiegta taksonomija. Nurodykite, kas laikoma ta elgsena, o kas – ne. Siauras apibrėžimas gali atskirti naudotoją, prašantį perduoti pokalbį žmogui, nuo naudotojo, kuris tik reiškia nusivylimą. Kitas apibrėžimas gali atskirti asistentą, pripažįstantį problemą, nuo asistento, žadančio veiksmą, kurio jis negali atlikti.

Apibrėžimams naudokite stabilius identifikatorius, kad rezultatai liktų susieti su vertinama elgsena. Kriterijų sutelkite į tai, ką pėdsakas gali parodyti. Jei elgsenai nustatyti reikia šaltinio dokumento, įrankio rezultato ar vėlesnio kliento atsakymo, įtraukite šiuos įrodymus į tekstinę sąveiką tinkamoje vietoje. Vien apibrėžimas negali nustatyti fakto, kurio pėdsake nėra.

Paruoškite ankstesnį kontekstą ir vertinamą repliką

Dokumentuotoje įvestyje ankstesni pranešimai lauke span.input atskiriami nuo vertinamos replikos lauke span.output. Kiekvieno pranešimo turinys yra teksto eilutė. Pateikite tikrąjį pokalbio kontekstą ir repliką, kurią norite įvertinti, išlaikydami kalbėtojų vaidmenis ir tvarką, reikalingą jai interpretuoti. Tai teksto vertinimo profilis; paruoštas dokumento tekstas ar transkripcija gali būti įrodymas, tačiau medija, iš kurios tas tekstas gautas, pati nėra dokumentuota įvestis.

Pagalbos sąveikos atveju kliento užklausą laikykite kartu su asistento siūlomu atsakymu. Įrankius naudojančio agento atveju išsaugokite susijusį įrankio stebėjimą ir atsakymą, kuris juo rėmėsi. Pavyzdinis pagrįstumo apibrėžimas galėtų klausti, ar asistentas teigia išvadą, kurios pateiktas stebėjimas nepagrindžia. Naudingas rezultatas susijęs su apibrėžta elgsena toje atkarpoje, o ne su išsamia visos programos diagnoze.

Kiekvienam apibrėžimui skaitykite tris tikimybes

Kiekviename rezultate yra elgsenos identifikatorius ir p_present, p_absent bei p_not_observable. Šių trijų tikimybių suma apytiksliai lygi 1. „Yra“ išreiškia įvertinimą, kad elgsena pasireiškė; „nėra“ – kad nepasireiškė; „negalima stebėti“ – kad pateiktoje atkarpoje trūksta sprendimui reikalingų įrodymų. Tai atskiros reikšmės, ir interpretuojant rezultatus jos turi likti atskiros.

Pavyzdžiui, atkarpa, kuri baigiasi asistento žodžiais, kad jis išspręs problemą, gali parodyti pažadą. Tačiau ji dar negali parodyti, kad klientas priėmė galutinį sprendimą, jei kliento atsakymo nėra. Tokį trūkstamų įrodymų rezultatą laikykite nežinomu, o ne paverskite „nėra“. Maža „yra“ tikimybė nėra savaime stiprus nebuvimo įrodymas, kai didelė skirstinio dalis tenka „negalima stebėti“.

Vieno praėjimo vertinimas visiems elgsenos apibrėžimams

Respan apibūdina Span-01 kaip samprotaujantį klasifikatorių, iš pradžių RLAIF metodu apmokytą bendrajam klasifikavimui, o vėliau specializuotą elgsenai aptikti. Kiekvienas apibrėžimas vykdomas kaip lygiagreti šaka tame pačiame pėdsake, o modelis elgsenos tikimybes grąžina per vieną tiesioginį praėjimą. Hibridinis dėmesio mechanizmas padeda jam apdoroti ilgus, sudėtingus pėdsakus. Jis negeneruoja žetonų, nerašo pasakojamojo vertinimo ir nepateikia laisvos formos savo klasifikacijos paaiškinimo.

Koncepcijų vadove ir vertinimo žinyne nenurodyta jokia vienos užklausos elgsenų skaičiaus riba. Vis dėlto kiekvienas apibrėžimas yra pateikto vertinimo dalis, todėl kiekvienas jų turi būti aiškus ir susijęs; skaičiaus ribos nebuvimas nėra neribotos įvesties talpos įrodymas. Rezultate kiekvienai elgsenai tenka vienas įrašas užklausos tvarka, identifikuojamas pagal jos id. Keli apibrėžimai aprašo kelis nepriklausomus stebėjimus; tai nėra vienas kitą paneigiantys kategorijų pasirinkimai, kurių suma visoms elgsenoms turi būti lygi vienetui.

Naudingo vertinimo rezultato paruošimas

Grąžintas tikimybes derinkite su konkrečiai užduočiai skirtais slenksčiais ir peržiūros taisyklėmis už modelio ribų. Gamintojas rekomenduoja šiuos slenksčius parinkti naudojant pažymėtus pokalbius ir patikrinti ribinius „yra“ rezultatus arba rezultatus su didele „negalima stebėti“ reikšme. Pagalbos tarnybos darbo eiga gali atskirai registruoti susierzinimą, pasiūlytą eskalavimą ir nepagrįstą pažadą. Agentų kokybės darbo eiga gali sekti pasikartojančius veiksmus arba tai, ar atsakyme panaudoti jam pateikti įrodymai.

Teksto atkarpą, elgsenos apibrėžimą, rezultato identifikatorių ir visą trijų reikšmių skirstinį laikykite kartu. Pasikeitus apibrėžimui, atminkite, kad keičiasi ir tai, ką tikimybė matuoja. Tariamas klaidas tikrinkite pagal tikrąjį pokalbį, o ne laikykite skaitinį rezultatą nestebėto įvykio įrodymu. Naudingas rezultatas – su pėdsaku ir kriterijumi susietas elgsenos įrašas, kuriame neapibrėžtumas išsaugotas vėlesniam patikrinimui arba kitam programos sprendimui.