Respan: Span-01

A Span-01 a Respan viselkedéspontozási modellje beszélgetésekhez és ügynöknyomokhoz. Szöveges interakciót olvas köznyelven megírt viselkedésdefiníciókkal együtt, és minden definícióhoz valószínűségeket ad vissza. A kimenet megkülönbözteti a megadott nyomban jelen lévő, hiányzó vagy nem megfigyelhető viselkedést. Ez számszerű jelzést ad az értékelési munkafolyamatnak, a hiányzó bizonyíték kifejezett ábrázolásával, nem pedig egy feldolgozandó generált magyarázattal.

Határozza meg a megfigyelni kívánt viselkedést

A viselkedéseket a hívó adja meg. A promptinjekció, a megalapozatlan állítások, a titkok felfedése, az ismétlődő ciklusok, az eszközök helytelen használata és a felhasználói frusztráció lehetséges definíciók, nem a modellbe épített rögzített taxonómia. Mondja meg, mi számít az adott viselkedésnek, és mi nem. Egy szűk definíció megkülönböztetheti az embernek történő átadást kérő felhasználót attól, aki csupán csalódottságot fejez ki. Egy másik különbséget tehet aközött, hogy az asszisztens elismer egy problémát, vagy olyan műveletet ígér, amelyet nem tud végrehajtani.

A definíciókhoz használjon stabil azonosítókat, hogy az eredmények az értékelt viselkedéshez kapcsolódjanak. A kritérium arra összpontosítson, amit a nyom meg tud mutatni. Ha a viselkedéshez forrásdokumentum, eszközeredmény vagy későbbi ügyfélválasz szükséges, ezt a bizonyítékot a megfelelő helyen szerepeltesse a szöveges interakcióban. A definíció önmagában nem igazolhat olyan tényt, amely hiányzik a nyomból.

Készítse elő az előzménykontextust és a célfordulót

A dokumentált bemenet elkülöníti a span.input mezőben az előző üzeneteket a span.output célfordulójától. Minden üzenet tartalma karakterlánc. Adja meg a tényleges beszélgetéskontextust és a pontozni kívánt fordulót, megőrizve a beszélői szerepeket és az értelmezéshez szükséges sorrendet. Ez szövegpontozási profil; az előkészített dokumentumszöveg vagy átirat lehet bizonyíték, de a média, amelyből a szöveg származik, önmagában nem a dokumentált bemenet.

Ügyfélszolgálati interakciónál az ügyfél kérését az asszisztens javasolt válaszával együtt őrizze meg. Eszközt használó ügynöknél tartsa meg a releváns eszközmegfigyelést és az arra támaszkodó választ. Egy megalapozottsági példadefiníció rákérdezhet arra, állít-e az asszisztens olyan következtetést, amelyet a megadott megfigyelés nem támaszt alá. A hasznos eredmény az adott szakaszban meghatározott viselkedésre vonatkozik, nem a teljes alkalmazás átfogó diagnózisa.

Minden definícióhoz három valószínűséget olvasson

Minden eredmény tartalmazza a viselkedés azonosítóját, valamint a p_present, p_absent és p_not_observable értékeket. A három valószínűség összege körülbelül 1. A jelen van azt becsüli, hogy a viselkedés előfordult; a nincs jelen azt, hogy nem; a nem megfigyelhető pedig azt, hogy a megadott szakaszból hiányzik a döntéshez szükséges bizonyíték. Ezek eltérő jelentések, amelyeket az eredmények értelmezésekor is külön kell tartani.

Például egy szakasz, amely az asszisztens azon kijelentésével zárul, hogy meg fog oldani egy problémát, megmutathat egy ígéretet. Azt még nem mutathatja meg, hogy az ügyfél elfogadta a későbbi megoldást, ha nincs jelen ügyfélválasz. A hiányzó bizonyítékot jelző eredményt ismeretlenként kezelje, ne alakítsa nincs jelen értékké. Az előfordulás alacsony valószínűsége nem automatikusan erős bizonyíték a hiányra, ha az eloszlás jelentős része a nem megfigyelhető állapothoz tartozik.

A viselkedésdefiníciók pontozása egy menetben

A Respan a Span-01-et olyan következtető osztályozóként írja le, amelyet először RLAIF-fel általános osztályozásra tanítottak, majd viselkedésfelismerésre specializáltak. Minden definíció ugyanazon nyom fölött párhuzamos ágként fut, és a modell egyetlen előrecsatolási menetben adja vissza a viselkedési valószínűségeket. A hibrid figyelmi mechanizmus támogatja a hosszú, összetett nyomok kezelését. Nem generál tokeneket, nem ír elbeszélő értékelést, és nem ad szabad szöveges magyarázatot a besorolásáról.

A fogalmi útmutató és a pontozási referencia nem dokumentál kérésenkénti viselkedésszám-korlátot. Minden definíció továbbra is a megadott értékelés része, ezért mindegyik legyen világos és releváns, ne tekintse a darabszámkorlát hiányát korlátlan bemeneti kapacitás bizonyítékának. Az eredmény viselkedésenként egy bejegyzést tartalmaz a kérés sorrendjében, az id alapján azonosítva. A több definíció több független megfigyelést ír le; nem egymást kizáró kategóriaválasztások, amelyek értékeinek a viselkedések között egyre kell összeadódniuk.

Hasznos értékelési eredmény előkészítése

A visszaadott valószínűségeket a modellen kívül kombinálja feladatspecifikus küszöbökkel és ellenőrzési szabályokkal. A gyártó címkézett beszélgetések használatát ajánlja e küszöbök kiválasztásához, valamint a határesetnek számító jelenléti és a magas nem megfigyelhető eredmények vizsgálatát. Egy ügyfélszolgálati munkafolyamat külön rögzítheti a frusztrációt, a javasolt eszkalációt és a megalapozatlan ígéretet. Egy ügynökminőségi munkafolyamat követheti az ismétlődő műveleteket, vagy azt, hogy egy válasz használta-e a számára elérhetővé tett bizonyítékot.

A szövegszakaszt, a viselkedésdefiníciót, az eredményazonosítót és a teljes háromágú eloszlást együtt őrizze meg. Ha a definíció megváltozik, vegye figyelembe, hogy ezzel az is megváltozik, mit mér a valószínűség. A látszólagos hibákat a tényleges beszélgetés alapján ellenőrizze, ne tekintse a számszerű eredményt nem megfigyelt esemény bizonyítékának. A hasznos eredmény a nyomhoz és a kritériumhoz kötött viselkedésrekord, amely megőrzi a bizonytalanságot későbbi vizsgálatra vagy az alkalmazás következő döntéséhez.