Respan: Span-01 Lite

Span-01 Lite is een afzonderlijk benoemd modelprofiel binnen de Span-01-familie voor gedragsscoring van Respan. De quickstart en de modeltabel van de producent noemen Lite als een van de twee profielen die dezelfde scoringsworkflow gebruiken. Het ontvangt een tekstinteractie en gedragsdefinities in gewone taal, en geeft vervolgens voor elke definitie drie kansen terug: aanwezig, afwezig en niet waarneembaar. De bruikbare uitvoer van het profiel is een gedragsrecord met expliciete onzekerheid, geen geschreven antwoord op het gesprek.

Kies de observatie en de afbakening ervan

Definieer het gedrag in de woorden die bij je taak passen. Geef bij een controle op overdracht aan of dit betekent dat de gebruiker uitdrukkelijk om een persoon vraagt, dat de assistent zegt dat een overdracht nodig is, of dat een van beide voorwaarden geldt. Als louter teleurstelling niet moet meetellen, vermeld dat dan. Definieer bij een controle op excuses welke formulering als excuus geldt, in plaats van te vertrouwen op een onduidelijk label. Elke definitie heeft een identifier die de scorer samen met de kansen teruggeeft.

De set gedragingen is van de aanroeper. Voorbeelden zoals frustratie, ononderbouwde beloften, verkeerd gebruik van tools of repetitieve agentacties zijn definities die je zelf aanlevert, geen vaste lijst met native categorieën. Houd elke definitie waarneembaar binnen de aangeleverde interactie. Een korte span kan uitsluitsel geven over de vraag of de assistent zich verontschuldigde, terwijl bewijs ontbreekt dat een extern probleem daadwerkelijk is opgelost.

Bereid de gespreksspan voor

In de gedocumenteerde invoer van Respan staan voorafgaande berichten in span.input en de te beoordelen beurt in span.output. De berichtinhoud is een string. Behoud de context die nodig is om de beurt te begrijpen, inclusief de rollen van de sprekers, het relevante verzoek van de gebruiker en eventueel tekstueel bewijsmateriaal dat de assistent heeft gebruikt. Lever voor een kwaliteitscontrole de werkelijke beurt aan, niet een parafrase waaruit het te beoordelen gedrag is verdwenen.

Een illustratieve review kan uitgaan van een gebruikersbericht dat herhaalde problemen beschrijft en een antwoord van de assistent dat aanbiedt het uit te zoeken. Definieer frustratie van de gebruiker en een belofte van de assistent als afzonderlijke observaties. Als een toolresultaat ertoe doet om te beoordelen of een bewering onderbouwd was, behoud dan de relevante tekst van dat resultaat in de context. De uitvoer is een evaluatie van die definities binnen de aangeleverde span; het model voert het beloofde onderzoek niet uit en past het gesprek zelf niet aan.

Aanwezig, afwezig en niet waarneembaar

De scoringsrespons bevat de id van het gedrag met p_present, p_absent en p_not_observable, die samen ongeveer 1 zijn. Niet waarneembaar betekent dat de trace de vraag niet kan beantwoorden. Dat is iets anders dan afwezig. Bij een definitie zoals acceptatie van een oplossing door de klant is een span die eindigt voordat de klant reageert onvolledig bewijs, ook als het antwoord van de assistent zelfverzekerd klinkt.

Bewaar alle drie de waarden wanneer je een resultaat voorbereidt voor review. Een categorie die op basis van de hoogste waarde wordt gekozen, kan nuttig zijn voor weergave, maar de verdeling laat zien hoe onzeker de observatie was. Gebruik een lage aanwezigheidswaarde niet als enige grond om te concluderen dat het gedrag zeker niet heeft plaatsgevonden. Wanneer ontbrekend bewijs de overhand heeft, kan de nuttige actie zijn om de relevante context te verkrijgen of het resultaat als onbekend te bewaren, in plaats van een verklaring te verzinnen.

Meerdere definities over hetzelfde bewijsmateriaal

De scoringsworkflow van de producent evalueert meerdere gedragsdefinities samen over één trace en geeft voor elke identifier een resultaat terug in de volgorde van het verzoek. De documentatie noemt geen maximum aantal gedragingen per verzoek. Dat betekent niet dat er een universeel tokenvenster of een onbeperkte tracegrootte is. Houd definities doelgericht en het bewijsmateriaal relevant, en bewaar de koppeling tussen elk teruggegeven resultaat en de definitie die het heeft opgeleverd.

De gedragsresultaten zijn onafhankelijke observaties en geen antwoord met één exclusieve keuze. Frustratie, een excuus en een voorgestelde overdracht kunnen allemaal in dezelfde uitwisseling aanwezig zijn. Hun afzonderlijke driedelige verdelingen hebben betekenis binnen elke definitie; het optellen van aanwezigheidswaarden over verschillende gedragingen levert geen genormaliseerde categorieverdeling en geen geordende rubricscore op.

Bewaar het gekozen profiel bij de resultaten

De maker documenteert de namen van Lite en de standaardeditie met een gedeelde vorm voor verzoek en resultaat. Dat contract ondersteunt het voorbereiden van traces en het interpreteren van gedragskansen voor beide benoemde profielen. Het toont niet aan dat Lite dezelfde gewichten, hetzelfde aantal parameters of dezelfde kwaliteit heeft als de andere editie. Houd het gekozen profiel herkenbaar bij het beoordelen van de resultaten, in plaats van stilzwijgend resultaten van verschillende edities uit te wisselen.

Gebruik gelabelde gesprekken uit de beoogde taak om drempels te kiezen voor logging, routering of review. Bewaar resultaten met een hoge waarde voor niet waarneembaar en grensgevallen voor inspectie, en vergelijk elke schijnbare fout met de oorspronkelijke beurt en de gedragsdefinitie. Het bruikbare eindartefact bevat de identifier van de tekstspan, de definitie, het gekozen profiel en het volledige driedelige kansresultaat. Een latere stap in de applicatie beslist wat er met die observatie gebeurt; de scoringsuitvoer van Lite voert zelf geen overdracht uit, blokkeert geen antwoord en genereert geen herstel.