Respan: Span-01 Lite

Span-01 Lite – atskirai pavadintas modelio profilis Respan elgsenos vertinimo šeimoje Span-01. Gamintojo greitos pradžios vadove ir modelių lentelėje Lite nurodomas kaip vienas iš dviejų profilių, naudojančių tą pačią vertinimo darbo eigą. Jis gauna tekstinę sąveiką ir paprasta kalba parašytus elgsenos apibrėžimus, tada kiekvienam apibrėžimui grąžina tris tikimybes: „yra“, „nėra“ ir „negalima stebėti“. Naudinga profilio išvestis yra elgsenos įrašas su aiškiai išreikštu neapibrėžtumu, o ne parašytas atsakymas į pokalbį.

Pasirinkite stebėjimą ir jo ribas

Apibrėžkite elgseną žodžiais, atitinkančiais jūsų užduotį. Tikrindami perdavimą žmogui, nurodykite, ar tai reiškia, kad naudotojas aiškiai prašo žmogaus, kad asistentas sako, jog reikia perdavimo, ar bet kurią iš šių sąlygų. Jei paprastas nusivylimas neturėtų būti įskaitomas, tai ir nurodykite. Tikrindami atsiprašymą, apibrėžkite, kokia formuluotė laikoma atsiprašymu, užuot rėmęsi neaiškia žyme. Kiekvienas apibrėžimas turi identifikatorių, kurį vertintojas grąžina kartu su tikimybėmis.

Elgsenų rinkinį nustato užklausos siuntėjas. Tokie pavyzdžiai kaip susierzinimas, nepagrįsti pažadai, netinkamas įrankių naudojimas ar pasikartojantys agento veiksmai yra apibrėžimai, kuriuos reikia pateikti, o ne fiksuotas modelyje įdiegtų kategorijų sąrašas. Kiekvienas apibrėžimas turi būti stebimas pateiktoje sąveikoje. Trumpa atkarpa gali leisti nustatyti, ar asistentas atsiprašė, tačiau joje gali trūkti įrodymų, kad išorinė problema iš tikrųjų buvo išspręsta.

Paruoškite pokalbio atkarpą

Respan dokumentuotoje įvestyje ankstesni pranešimai pateikiami lauke span.input, o vertinama replika – lauke span.output. Pranešimo turinys yra teksto eilutė. Išsaugokite kontekstą, reikalingą replikai suprasti, įskaitant kalbėtojų vaidmenis, susijusią naudotojo užklausą ir visus tekstinius įrodymus, kuriais rėmėsi asistentas. Tikrindami kokybę, pateikite tikrąją repliką, o ne perfrazę, kurioje vertinamos elgsenos nebelieka.

Pavyzdinėje peržiūroje galima paimti naudotojo pranešimą, kuriame aprašomos pasikartojančios problemos, ir asistento atsakymą, kuriame siūloma tai ištirti. Naudotojo susierzinimą ir asistento pažadą apibrėžkite kaip atskirus stebėjimus. Jei vertinant, ar teiginys buvo pagrįstas, svarbus įrankio rezultatas, išsaugokite atitinkamą to rezultato tekstą kontekste. Išvestis yra šių apibrėžimų įvertinimas pateiktoje atkarpoje; modelis pats neatlieka pažadėto tyrimo ir nekeičia pokalbio.

„Yra“, „nėra“ ir „negalima stebėti“

Vertinimo atsakyme pateikiamas elgsenos id su p_present, p_absent ir p_not_observable, kurių suma apytiksliai lygi 1. „Negalima stebėti“ reiškia, kad pėdsakas neleidžia atsakyti į klausimą. Tai skiriasi nuo „nėra“. Tokiam apibrėžimui kaip kliento sutikimas su sprendimu atkarpa, kuri baigiasi prieš klientui sureaguojant, yra nepakankamas įrodymas, net jei asistento atsakymas skamba užtikrintai.

Ruošdami rezultatą peržiūrai, išsaugokite visas tris reikšmes. Pagal didžiausią reikšmę pasirinkta kategorija gali būti naudinga rodymui, tačiau skirstinys išsaugo informaciją apie tai, koks neapibrėžtas buvo stebėjimas. Vien iš mažos „yra“ reikšmės nedarykite išvados, kad elgsena tikrai nepasireiškė. Kai vyrauja trūkstami įrodymai, naudingas veiksmas gali būti gauti susijusį kontekstą arba palikti rezultatą kaip nežinomą, užuot sugalvojus paaiškinimą.

Keli apibrėžimai tiems patiems įrodymams

Gamintojo vertinimo darbo eiga kartu įvertina kelis elgsenos apibrėžimus viename pėdsake ir grąžina rezultatą kiekvienam identifikatoriui užklausos tvarka. Jos dokumentacijoje nenurodyta jokia vienos užklausos elgsenų skaičiaus riba. Tai nereiškia universalaus žetonų lango ar neriboto pėdsako dydžio. Apibrėžimai turi būti tikslingi, įrodymai – susiję, o kiekvienas grąžintas rezultatas turi likti susietas su jį sukūrusiu apibrėžimu.

Elgsenų rezultatai yra nepriklausomi stebėjimai, o ne vienas išskirtinio pasirinkimo atsakymas. Tame pačiame pokalbio fragmente gali pasireikšti ir susierzinimas, ir atsiprašymas, ir pasiūlytas perdavimas žmogui. Atskiri trijų reikšmių skirstiniai turi prasmę kiekvieno apibrėžimo viduje; sudėjus skirtingų elgsenų „yra“ reikšmes, normalizuoto kategorijų skirstinio ar sutvarkyto vertinimo skalės balo negaunama.

Išsaugokite pasirinktą profilį kartu su rezultatais

Gamintojas dokumentuoja Lite ir standartinį pavadinimus su bendra užklausos ir rezultato forma. Ši sutartis leidžia paruošti pėdsakus ir interpretuoti elgsenos tikimybes bet kuriam iš abiejų pavadintų profilių. Tačiau ji neįrodo, kad Lite turi tuos pačius svorius, parametrų skaičių ar kokybę kaip kitas leidimas. Peržiūrėdami rezultatus, užtikrinkite, kad pasirinktas profilis būtų atpažįstamas, ir nesukeiskite skirtingų leidimų rezultatų nepastebimai.

Registravimo, nukreipimo ar peržiūros slenksčiams parinkti naudokite pažymėtus numatytos užduoties pokalbius. Rezultatus su didele „negalima stebėti“ reikšme ir ribinius stebėjimus palikite patikrinimui, o bet kokią tariamą klaidą palyginkite su pradine replika ir elgsenos apibrėžimu. Naudingame galutiniame rezultate yra teksto atkarpos identifikatorius, apibrėžimas, pasirinktas profilis ir visas trijų reikšmių tikimybių rezultatas. Ką daryti su šiuo stebėjimu, nusprendžia vėlesnis programos žingsnis; Lite vertinimo išvestis pati neatlieka perdavimo žmogui, neblokuoja atsakymo ir negeneruoja pataisymo.