Respan: Span-01

Span-01 je model Respan pro hodnocení chování v konverzacích a stopách agentů. Čte textovou interakci spolu s definicemi chování napsanými běžným jazykem a pro každou definici vrací pravděpodobnosti. Výstup rozlišuje chování, které je v dodané stopě přítomné, nepřítomné nebo nepozorovatelné. Hodnoticímu postupu tak dává číselný signál s výslovným způsobem vyjádření chybějících podkladů namísto generovaného vysvětlení, které by bylo nutné parsovat.

Definujte chování, které chcete pozorovat

Chování zadává volající. Vkládání škodlivých instrukcí do promptu, nepodložená tvrzení, odhalení tajných údajů, opakující se smyčky, nesprávné použití nástrojů a frustrace uživatele jsou možné definice, nikoli pevná taxonomie zabudovaná do modelu. Uveďte, co se za chování počítá a co ne. Úzká definice může odlišit žádost uživatele o předání člověku od pouhého vyjádření zklamání. Jiná může rozlišit přiznání problému asistentem od slibu akce, kterou nemůže provést.

Používejte stabilní identifikátory s definicemi, aby výsledky zůstaly spojené s hodnoceným chováním. Zaměřte kritérium na něco, co stopa může ukázat. Pokud chování vyžaduje zdrojový dokument, výsledek nástroje nebo pozdější reakci zákazníka, zahrňte tento podklad na příslušné místo textové interakce. Samotná definice nemůže doložit fakt, který ve stopě chybí.

Připravte předchozí kontext a cílovou repliku

Zdokumentovaný vstup odděluje předchozí zprávy v span.input od cílové repliky v span.output. Obsah každé zprávy je řetězec. Zadejte skutečný kontext konverzace a repliku, kterou chcete hodnotit, se zachováním rolí mluvčích a pořadí potřebného k interpretaci. Jde o profil hodnocení textu; připravený text dokumentu nebo přepis mohou být podkladem, zatímco média, z nichž byl text získán, nejsou sama zdokumentovaným vstupem.

U interakce s podporou uchovejte požadavek zákazníka s navrhovanou odpovědí asistenta. U agenta používajícího nástroje zachovejte relevantní pozorování nástroje a odpověď, která z něj vycházela. Ilustrační definice podloženosti se může ptát, zda asistent tvrdí závěr, který dodané pozorování nepodporuje. Užitečný výsledek se týká definovaného chování v tomto úseku, nikoli úplné diagnózy celé aplikace.

Čtěte tři pravděpodobnosti pro každou definici

Každý výsledek zahrnuje identifikátor chování a p_present, p_absent a p_not_observable. Součet tří pravděpodobností je přibližně 1. Přítomné odhaduje, že chování nastalo; nepřítomné odhaduje, že nenastalo; nepozorovatelné odhaduje, že dodaný úsek postrádá podklady potřebné k rozhodnutí. Jde o odlišné významy, které mají při interpretaci výsledků zůstat oddělené.

Úsek končící vyjádřením asistenta, že vyřeší problém, může například ukazovat slib. Nemůže zatím ukázat, že zákazník přijal pozdější řešení, pokud chybí jeho reakce. S výsledkem vycházejícím z chybějících podkladů zacházejte jako s neznámým, místo abyste jej převáděli na nepřítomné. Nízká pravděpodobnost přítomnosti není automaticky silným dokladem nepřítomnosti, pokud významná část rozdělení představuje nepozorovatelnost.

Hodnocení definic chování v jednom průchodu

Respan popisuje Span-01 jako uvažující klasifikátor trénovaný nejprve pro obecnou klasifikaci pomocí RLAIF a poté specializovaný na detekci chování. Každá definice běží jako paralelní větev nad stejnou stopou a model vrací pravděpodobnosti chování v jediném dopředném průchodu. Hybridní mechanismus pozornosti podporuje zpracování dlouhých a složitých stop. Model negeneruje tokeny, nepíše slovní posudek ani nevytváří volné vysvětlení své klasifikace.

Koncepční průvodce ani referenční dokumentace hodnocení neuvádějí limit počtu chování v jednom požadavku. Každá definice je přesto součástí dodaného hodnocení, proto ji udržujte jasnou a relevantní a nepovažujte absenci početního limitu za doklad neomezené vstupní kapacity. Výsledek obsahuje jeden záznam pro každé chování v pořadí požadavku, identifikovaný jeho id. Více definic popisuje více nezávislých pozorování; nejde o vzájemně se vylučující volby kategorií, které se musí napříč chováními sečíst na jednu.

Příprava užitečného hodnoticího artefaktu

Kombinujte vrácené pravděpodobnosti s prahy pro konkrétní úlohu a pravidly kontroly mimo model. Výrobce doporučuje používat označené konverzace k volbě těchto prahů a zkoumat hraniční výsledky přítomnosti nebo výsledky s vysokou nepozorovatelností. Postup podpory může odděleně zaznamenávat frustraci, navrhovanou eskalaci a nepodložený slib. Postup hodnocení kvality agenta může sledovat opakované akce nebo to, zda odpověď využila podklady, které měla k dispozici.

Uchovávejte textový úsek, definici chování, identifikátor výsledku a úplné trojcestné rozdělení společně. Při změně definice počítejte s tím, že se mění to, co pravděpodobnost měří. Zdánlivé chyby posuzujte podle skutečné konverzace, místo abyste číselný výsledek pokládali za důkaz nepozorované události. Užitečným artefaktem je záznam chování spojený se stopou a kritériem, s nejistotou zachovanou pro pozdější zkoumání nebo další rozhodnutí aplikace.