Respan: Span-01

Span-01 je model Respan za ocenjevanje vedenja v pogovorih in sledeh agentov. Bere besedilno interakcijo skupaj z opredelitvami vedenja v običajnem jeziku in za vsako opredelitev vrne verjetnosti. Izhod ločuje vedenje, ki je v podani sledi prisotno, odsotno ali ga ni mogoče ugotoviti iz zapisa. To poteku ocenjevanja daje številčni signal z izrecnim načinom predstavljanja manjkajočih dokazov, ne ustvarjene razlage, ki jo je treba razčleniti.

Opredelite vedenje, ki ga želite opazovati

Vedenja poda klicatelj. Vbrizgavanje pozivov, nepodprte trditve, razkritje skrivnosti, ponavljajoče se zanke, napačna uporaba orodij in frustracija uporabnika so možne opredelitve, ne določena taksonomija, vgrajena v model. Navedite, kaj šteje kot vedenje in kaj ne. Ozka opredelitev lahko uporabnikovo zahtevo po predaji človeku loči od zgolj izraženega razočaranja. Druga lahko loči asistentovo priznanje problema od obljube dejanja, ki ga ne more izvesti.

Z opredelitvami uporabite stabilne identifikatorje, da rezultati ostanejo povezani z ocenjenim vedenjem. Merilo osredotočite na nekaj, kar sled lahko pokaže. Če vedenje zahteva izvorni dokument, rezultat orodja ali poznejši odziv stranke, te dokaze vključite v besedilno interakcijo na ustrezno mesto. Sama opredelitev ne more dokazati dejstva, ki ga v sledi ni.

Pripravite predhodni kontekst in ciljno repliko

Dokumentirani vhod loči predhodna sporočila v span.input od ciljne replike v span.output. Vsebina vsakega sporočila je niz. Podajte dejanski kontekst pogovora in repliko, ki jo želite oceniti, ter ohranite vloge govorcev in vrstni red, potreben za interpretacijo. To je profil ocenjevanja besedila; pripravljeno besedilo dokumenta ali prepis je lahko dokaz, mediji, iz katerih je bilo to besedilo pridobljeno, pa sami niso dokumentirani vhod.

Pri interakciji s podporo strankino zahtevo ohranite skupaj s predlaganim asistentovim odgovorom. Pri agentu, ki uporablja orodja, ohranite relevantno opažanje orodja in odgovor, ki se je nanj opiral. Ponazoritvena opredelitev utemeljenosti lahko sprašuje, ali asistent trdi zaključek, ki ga podano opažanje ne podpira. Koristni rezultat se nanaša na opredeljeno vedenje v tem odseku, ne na popolno diagnozo celotne aplikacije.

Preberite tri verjetnosti za vsako opredelitev

Vsak rezultat vključuje identifikator vedenja ter p_present, p_absent in p_not_observable. Vsota treh verjetnosti je približno 1. Prisotno ocenjuje, da se je vedenje pojavilo; odsotno, da se ni; ni mogoče ugotoviti iz zapisa pa ocenjuje, da podanemu odseku manjkajo dokazi, potrebni za odločitev. Ti pomeni so ločeni in morajo pri interpretaciji rezultatov ostati ločeni.

Odsek, ki se konča z asistentovo izjavo, da bo rešil problem, lahko na primer pokaže obljubo. Ne more pa še pokazati, da je stranka sprejela poznejšo rešitev problema, če ni njenega odgovora. Tak rezultat z manjkajočimi dokazi obravnavajte kot neznan, namesto da ga pretvorite v odsotnost. Nizka verjetnost prisotnosti ni samodejno močan dokaz odsotnosti, kadar pomemben delež porazdelitve pripada nezmožnosti ugotovitve iz zapisa.

Ocenjevanje opredelitev vedenja v enem prehodu

Respan opisuje Span-01 kot razvrščevalnik, ki uporablja sklepanje, najprej učen za splošno razvrščanje z RLAIF, nato pa specializiran za zaznavanje vedenja. Vsaka opredelitev teče kot vzporedna veja nad isto sledjo, model pa verjetnosti vedenja vrne v enem prehodu naprej. Hibridna pozornost podpira obravnavo dolgih, kompleksnih sledi. Model ne generira žetonov, ne piše pripovedne presoje in ne ustvarja razlage svoje razvrstitve v prosti obliki.

Konceptualni vodnik in referenca za ocenjevanje ne dokumentirata omejitve števila vedenj na zahtevo. Vsaka opredelitev je še vedno del podanega ocenjevanja, zato naj bo jasna in relevantna; odsotnosti številčne omejitve ne obravnavajte kot dokaz neomejene vhodne zmogljivosti. Rezultat vsebuje po en vnos za vsako vedenje v vrstnem redu zahteve, označen z njegovim id. Več opredelitev opisuje več neodvisnih opažanj; to niso medsebojno izključujoče izbire kategorij, katerih verjetnosti bi se morale po vseh vedenjih sešteti v 1.

Priprava uporabnega artefakta ocenjevanja

Vrnjene verjetnosti združite s pragovi in pravili pregleda, prilagojenimi nalogi, zunaj modela. Proizvajalec priporoča uporabo označenih pogovorov za izbiro teh pragov in pregled mejnih rezultatov prisotnosti ali visokih rezultatov nezmožnosti ugotovitve iz zapisa. Delovni tok podpore lahko frustracijo, predlagano eskalacijo in nepodprto obljubo beleži ločeno. Potek preverjanja kakovosti agenta lahko spremlja ponavljajoča se dejanja ali preverja, ali je odgovor uporabil dokaze, ki so mu bili na voljo.

Besedilni odsek, opredelitev vedenja, identifikator rezultata in celotno tridelno porazdelitev ohranite skupaj. Ko se opredelitev spremeni, upoštevajte, da se spremeni to, kar verjetnost meri. Navidezne napake preverjajte glede na dejanski pogovor, namesto da bi številčni rezultat šteli za dokaz neopaženega dogodka. Koristni artefakt je zapis vedenja, povezan s sledjo in merilom, z ohranjeno negotovostjo za poznejši pregled ali naslednjo odločitev aplikacije.