Respan: Span-01

Span-01 är Respans modell för beteendepoängsättning av konversationer och agentspår. Den läser en textinteraktion tillsammans med beteendedefinitioner skrivna på vanligt språk och returnerar sannolikheter för varje definition. Utdatan skiljer mellan ett beteende som är närvarande, frånvarande eller ej observerbart i det angivna spåret. Det ger ett utvärderingsflöde en numerisk signal med ett uttryckligt sätt att representera saknat underlag, i stället för en genererad förklaring som måste tolkas.

Definiera beteendet du vill observera

Beteenden anges av anroparen. Promptinjektion, ogrundade påståenden, exponering av hemligheter, repetitiva loopar, felaktig verktygsanvändning och användarfrustration är möjliga definitioner, inte en fast taxonomi inbyggd i modellen. Ange vad som räknas som beteendet och vad som inte gör det. En snäv definition kan skilja en användare som ber om överlämning till en människa från en som bara uttrycker besvikelse. En annan kan skilja en assistent som bekräftar ett problem från en som lovar en åtgärd den inte kan utföra.

Använd stabila identifierare tillsammans med definitionerna, så att resultaten förblir kopplade till det beteende som utvärderas. Håll kriteriet fokuserat på något som spåret kan visa. Om beteendet kräver ett källdokument, ett verktygsresultat eller ett senare kundsvar, ta med det underlaget i textinteraktionen där det hör hemma. En definition ensam kan inte fastställa ett faktum som saknas i spåret.

Förbered föregående kontext och målturen

Den dokumenterade indatan skiljer föregående meddelanden i span.input från målturen i span.output. Varje meddelandes innehåll är en sträng. Ange den faktiska konversationskontexten och den tur du vill poängsätta, och bevara talarrollerna och den ordning som behövs för att tolka den. Detta är en profil för textpoängsättning; förberedd dokumenttext eller en transkription kan utgöra underlag, medan de media som texten hämtats från inte i sig är den dokumenterade indatan.

För en supportinteraktion behåller du kundens begäran tillsammans med assistentens föreslagna svar. För en agent som använder verktyg behåller du den relevanta verktygsobservationen och svaret som byggde på den. En illustrativ definition för förankring kan fråga om assistenten hävdar en slutsats som den angivna observationen inte stöder. Det användbara resultatet gäller det definierade beteendet i det avsnittet, inte en fullständig diagnos av hela applikationen.

Läs tre sannolikheter för varje definition

Varje resultat innehåller beteendets identifierare samt p_present, p_absent och p_not_observable. De tre sannolikheterna summerar till ungefär 1. Närvarande uppskattar att beteendet inträffade; frånvarande uppskattar att det inte gjorde det; ej observerbart uppskattar att det angivna avsnittet saknar det underlag som krävs för att avgöra frågan. Det är separata betydelser som ska hållas isär när resultaten tolkas.

Ett avsnitt som slutar med att en assistent säger att den ska lösa ett problem kan till exempel visa ett löfte. Det kan ännu inte visa att kunden accepterade den slutliga lösningen om inget kundsvar finns med. Behandla ett sådant resultat med saknat underlag som okänt i stället för att omvandla det till frånvarande. En låg sannolikhet för närvarande är inte automatiskt starkt belägg för frånvaro när en betydande del av fördelningen är ej observerbar.

Poängsättning i ett pass över alla beteendedefinitioner

Respan beskriver Span-01 som en resonerande klassificerare som först tränats för allmän klassificering med RLAIF och sedan specialiserats för beteendedetektering. Varje definition körs som en parallell gren över samma spår, och modellen returnerar beteendesannolikheterna i ett enda framåtpass. En hybrid attention-mekanism stöder hanteringen av långa, komplexa spår. Modellen genererar inga token, skriver ingen berättande bedömning och producerar ingen fritt formulerad förklaring av sin klassificering.

Konceptguiden och poängsättningsreferensen dokumenterar inget tak för antalet beteenden per begäran. Varje definition är ändå en del av den angivna utvärderingen, så håll var och en tydlig och relevant i stället för att tolka avsaknaden av ett tak som belägg för obegränsad indatakapacitet. Resultatet innehåller en post per beteende i samma ordning som i begäran, identifierad med sitt id. Flera definitioner beskriver flera oberoende observationer; de är inte ömsesidigt uteslutande kategorival som måste summera till ett över alla beteenden.

Förbered en användbar utvärderingsartefakt

Kombinera de returnerade sannolikheterna med uppgiftsspecifika tröskelvärden och granskningsregler utanför modellen. Producenten rekommenderar att man använder märkta konversationer för att välja tröskelvärdena och granskar gränsfall för närvaro eller resultat med högt värde för ej observerbart. Ett supportflöde kan registrera frustration, en föreslagen eskalering och ett ogrundat löfte var för sig. Ett flöde för agentkvalitet kan följa upprepade åtgärder eller om ett svar använde det underlag som gjordes tillgängligt för det.

Håll ihop textavsnittet, beteendedefinitionen, resultatets identifierare och hela trevägsfördelningen. När definitionen ändras, tänk på att det ändrar vad sannolikheten mäter. Granska skenbara fel mot den faktiska konversationen i stället för att behandla ett numeriskt resultat som bevis för en händelse som inte observerats. En användbar artefakt är en beteendepost kopplad till spåret och kriteriet, där osäkerheten bevaras för senare inspektion eller för applikationens nästa beslut.