Respan: Span-01

Span-01 je model od Respan na hodnotenie správania v konverzáciách a záznamoch priebehu agentov. Číta textovú interakciu spolu s definíciami správania napísanými bežným jazykom a pre každú definíciu vracia pravdepodobnosti. Výstup rozlišuje, či je správanie v dodanom zázname prítomné, neprítomné alebo nepozorovateľné. Hodnotiaci pracovný postup tak získa číselný signál s explicitným spôsobom vyjadrenia chýbajúcich dôkazov, namiesto vygenerovaného vysvetlenia, ktoré by bolo treba parsovať.

Definujte správanie, ktoré chcete pozorovať

Správania dodáva volajúci. Vkladanie škodlivých pokynov (prompt injection), nepodložené tvrdenia, odhalenie tajných údajov, opakujúce sa slučky, nesprávne použitie nástrojov a frustrácia používateľa sú možné definície, nie pevná taxonómia zabudovaná do modelu. Uveďte, čo sa za dané správanie považuje a čo nie. Úzka definícia dokáže odlíšiť používateľa, ktorý žiada o odovzdanie človeku, od používateľa, ktorý iba vyjadruje sklamanie. Iná dokáže odlíšiť asistenta, ktorý uznáva problém, od asistenta, ktorý sľubuje akciu, ktorú nedokáže vykonať.

K definíciám používajte stabilné identifikátory, aby výsledky zostali priradené k hodnotenému správaniu. Kritérium zamerajte na niečo, čo záznam dokáže ukázať. Ak si správanie vyžaduje zdrojový dokument, výsledok nástroja alebo neskoršiu odpoveď zákazníka, zahrňte tieto podklady do textovej interakcie na miesto, kam patria. Samotná definícia nedokáže preukázať skutočnosť, ktorá v zázname chýba.

Pripravte predchádzajúci kontext a cieľovú repliku

Zdokumentovaný vstup oddeľuje predchádzajúce správy v span.input od cieľovej repliky v span.output. Obsah každej správy je reťazec. Dodajte skutočný kontext konverzácie a repliku, ktorú chcete ohodnotiť, so zachovaním rolí hovoriacich a poradia potrebného na jej interpretáciu. Ide o profil na hodnotenie textu; podkladom môže byť pripravený text dokumentu alebo prepis, zatiaľ čo médiá, z ktorých bol tento text získaný, samy osebe zdokumentovaným vstupom nie sú.

Pri interakcii s podporou ponechajte požiadavku zákazníka spolu s navrhovanou odpoveďou asistenta. Pri agentovi, ktorý používa nástroje, zachovajte relevantné pozorovanie z nástroja a odpoveď, ktorá sa o neho opierala. Ilustračná definícia podloženosti sa môže pýtať, či asistent tvrdí záver, ktorý dodané pozorovanie nepodporuje. Užitočný výsledok sa týka definovaného správania v danom úseku, nie úplnej diagnostiky celej aplikácie.

Čítajte tri pravdepodobnosti pre každú definíciu

Každý výsledok obsahuje identifikátor správania a p_present, p_absent a p_not_observable. Súčet týchto troch pravdepodobností je približne 1. Prítomné odhaduje, že správanie nastalo; neprítomné odhaduje, že nenastalo; nepozorovateľné odhaduje, že dodanému úseku chýbajú podklady potrebné na rozhodnutie. Ide o samostatné významy, ktoré by mali zostať oddelené aj pri interpretácii výsledkov.

Napríklad úsek, ktorý končí tým, že asistent povie, že problém vyrieši, môže ukazovať sľub. Ak však chýba odpoveď zákazníka, ešte nemôže ukázať, že zákazník konečné riešenie prijal. Takýto výsledok s chýbajúcim dôkazom považujte za neznámy, namiesto toho, aby ste ho prevádzali na neprítomný. Nízka pravdepodobnosť prítomnosti nie je automaticky silným dôkazom neprítomnosti, ak významný podiel rozdelenia pripadá na nepozorovateľné.

Hodnotenie všetkých definícií správania v jednom prechode

Respan opisuje Span-01 ako klasifikátor s uvažovaním, ktorý bol najprv natrénovaný na všeobecnú klasifikáciu pomocou RLAIF a potom špecializovaný na detekciu správania. Každá definícia beží ako paralelná vetva nad tým istým záznamom a model vracia pravdepodobnosti správania v jednom doprednom prechode. Hybridný mechanizmus pozornosti podporuje jeho spracovanie dlhých a zložitých záznamov. Negeneruje tokeny, nepíše naratívny posudok ani nevytvára voľné vysvetlenie svojej klasifikácie.

Koncepčná príručka ani referencia k hodnoteniu neuvádzajú limit počtu správaní na požiadavku. Každá definícia je napriek tomu súčasťou dodaného hodnotenia, preto ju udržujte jasnú a relevantnú a absenciu limitu počtu nepovažujte za dôkaz neobmedzenej kapacity vstupu. Výsledok obsahuje jednu položku pre každé správanie v poradí požiadavky, identifikovanú jeho id. Viacero definícií opisuje viacero nezávislých pozorovaní; nie sú to vzájomne sa vylučujúce kategórie, ktorých súčet naprieč správaniami musí byť jedna.

Príprava užitočného hodnotiaceho artefaktu

Vrátené pravdepodobnosti kombinujte mimo modelu s prahmi a pravidlami kontroly pre konkrétnu úlohu. Výrobca odporúča zvoliť tieto prahy na základe označených konverzácií a preskúmať hraničné hodnoty prítomnosti alebo vysoké hodnoty nepozorovateľnosti. Pracovný postup podpory môže samostatne zaznamenávať frustráciu, navrhnutú eskaláciu a nepodložený sľub. Postup na hodnotenie kvality agenta môže sledovať opakované akcie alebo to, či odpoveď využila podklady, ktoré mal k dispozícii.

Textový úsek, definíciu správania, identifikátor výsledku a úplné trojcestné rozdelenie uchovávajte spolu. Pri zmene definície majte na pamäti, že sa tým mení aj to, čo pravdepodobnosť meria. Zdanlivé chyby preverujte voči skutočnej konverzácii, namiesto toho, aby ste číselný výsledok považovali za dôkaz nepozorovanej udalosti. Užitočným artefaktom je záznam o správaní naviazaný na záznam priebehu a kritérium, so zachovanou neistotou na neskoršiu kontrolu alebo pre ďalšie rozhodnutie aplikácie.