Respan: Span-01

Span-01 is het gedragsscoringsmodel van Respan voor gesprekken en agent-traces. Het leest een tekstinteractie samen met gedragsdefinities in gewone taal en geeft voor elke definitie kansen terug. De uitvoer maakt onderscheid tussen gedrag dat aanwezig, afwezig of niet waarneembaar is in de aangeleverde trace. Zo krijgt een evaluatieworkflow een numeriek signaal met een expliciete manier om ontbrekend bewijs weer te geven, in plaats van een gegenereerde uitleg die nog geparseerd moet worden.

Definieer het gedrag dat je wilt observeren

Gedragingen worden door de aanroeper aangeleverd. Prompt-injectie, ononderbouwde beweringen, blootstelling van geheimen, repetitieve lussen, verkeerd gebruik van tools en frustratie van de gebruiker zijn mogelijke definities, geen vaste taxonomie die in het model is ingebouwd. Geef aan wat wel en wat niet als het gedrag telt. Een smalle definitie kan onderscheid maken tussen een gebruiker die om overdracht naar een mens vraagt en een gebruiker die alleen teleurstelling uit. Een andere definitie kan onderscheid maken tussen een assistent die een probleem erkent en een assistent die een actie belooft die hij niet kan uitvoeren.

Gebruik stabiele identifiers bij de definities, zodat resultaten gekoppeld blijven aan het gedrag dat wordt geëvalueerd. Richt het criterium op iets wat de trace kan laten zien. Als het gedrag een brondocument, een toolresultaat of een latere reactie van de klant vereist, neem dat bewijs dan op in de tekstinteractie, op de plek waar het hoort. Een definitie alleen kan geen feit vaststellen dat in de trace ontbreekt.

Bereid de voorafgaande context en de doelbeurt voor

De gedocumenteerde invoer scheidt voorafgaande berichten in span.input van de doelbeurt in span.output. De inhoud van elk bericht is een string. Lever de werkelijke gesprekscontext en de beurt die je wilt laten scoren aan, met behoud van de rollen van de sprekers en de volgorde die nodig is om de beurt te interpreteren. Dit is een profiel voor tekstscoring; voorbereide documenttekst of een transcript kan als bewijs dienen, terwijl de media waaruit die tekst is verkregen zelf niet de gedocumenteerde invoer vormen.

Houd bij een supportinteractie het verzoek van de klant bij het voorgestelde antwoord van de assistent. Bewaar bij een agent die tools gebruikt de relevante toolobservatie en het antwoord dat daarop steunde. Een illustratieve definitie voor onderbouwing kan vragen of de assistent een conclusie trekt die niet door de aangeleverde observatie wordt ondersteund. Het bruikbare resultaat betreft het gedefinieerde gedrag in die span, geen volledige diagnose van de hele applicatie.

Lees drie kansen voor elke definitie

Elk resultaat bevat de identifier van het gedrag en p_present, p_absent en p_not_observable. De drie kansen zijn samen ongeveer 1. Aanwezig schat in dat het gedrag heeft plaatsgevonden; afwezig schat in dat dit niet zo is; niet waarneembaar schat in dat de aangeleverde span het bewijs mist dat nodig is om te beslissen. Dit zijn afzonderlijke betekenissen, die bij het interpreteren van resultaten gescheiden moeten blijven.

Een span die eindigt met een assistent die zegt een probleem op te lossen, kan bijvoorbeeld een belofte laten zien. Zonder reactie van de klant kan die span nog niet laten zien dat de klant de uiteindelijke oplossing heeft geaccepteerd. Behandel zo'n resultaat met ontbrekend bewijs als onbekend in plaats van het om te zetten naar afwezig. Een lage kans op aanwezigheid is niet automatisch sterk bewijs van afwezigheid wanneer een aanzienlijk deel van de verdeling niet waarneembaar is.

Scoring in één doorgang over alle gedragsdefinities

Respan beschrijft Span-01 als een redenerende classifier die eerst met RLAIF is getraind voor algemene classificatie en daarna is gespecialiseerd in gedragsdetectie. Elke definitie draait als een parallelle tak over dezelfde trace, en het model geeft de gedragskansen terug in één forward pass. Hybride attention ondersteunt de verwerking van lange, complexe traces. Het model genereert geen tokens, schrijft geen verhalend oordeel en produceert geen vrije uitleg van de classificatie.

De conceptgids en de scoringsreferentie noemen geen maximum aantal gedragingen per verzoek. Elke definitie maakt nog steeds deel uit van de aangeleverde evaluatie, dus houd elke definitie helder en relevant, in plaats van het ontbreken van een maximum op te vatten als bewijs van onbeperkte invoercapaciteit. Het resultaat bevat één item per gedrag in de volgorde van het verzoek, aangeduid met de id. Meerdere definities beschrijven meerdere onafhankelijke observaties; het zijn geen elkaar uitsluitende categoriekeuzes die over alle gedragingen samen op één moeten uitkomen.

Een bruikbaar evaluatieartefact voorbereiden

Combineer de teruggegeven kansen buiten het model met taakspecifieke drempels en reviewregels. De producent raadt aan gelabelde gesprekken te gebruiken om die drempels te kiezen en grensgevallen van aanwezigheid of hoge waarden voor niet waarneembaar te inspecteren. Een supportworkflow kan frustratie, een voorgestelde escalatie en een ononderbouwde belofte afzonderlijk vastleggen. Een workflow voor agentkwaliteit kan herhaalde acties bijhouden of nagaan of een antwoord het beschikbaar gestelde bewijs heeft gebruikt.

Houd de tekstspan, de gedragsdefinitie, de identifier van het resultaat en de volledige driedelige verdeling bij elkaar. Wanneer de definitie verandert, verandert ook wat de kans meet. Beoordeel schijnbare fouten aan de hand van het werkelijke gesprek, in plaats van een numeriek resultaat te behandelen als bewijs van een niet-waargenomen gebeurtenis. Een bruikbaar artefact is een gedragsrecord dat gekoppeld is aan de trace en het criterium, waarbij de onzekerheid bewaard blijft voor latere inspectie of voor de volgende beslissing van een applicatie.