Respan: Span-01

Span-01 è il modello di Respan per l'assegnazione di punteggi ai comportamenti in conversazioni e tracce di agenti. Legge un'interazione testuale insieme a definizioni di comportamento scritte in linguaggio semplice e restituisce probabilità per ciascuna definizione. L'output distingue se un comportamento è presente, assente o non osservabile nella traccia fornita. Questo offre a un flusso di valutazione un segnale numerico con un modo esplicito di rappresentare la mancanza di prove, invece di una spiegazione generata da analizzare.

Definisci il comportamento che vuoi osservare

I comportamenti sono forniti dal chiamante. Iniezione di prompt, affermazioni non supportate, esposizione di segreti, cicli ripetitivi, uso improprio degli strumenti e frustrazione dell'utente sono possibili definizioni, non una tassonomia fissa integrata nel modello. Specifica che cosa rientra nel comportamento e che cosa no. Una definizione ristretta può distinguere un utente che chiede di parlare con un operatore umano da uno che esprime semplicemente delusione. Un'altra può distinguere un assistente che riconosce un problema da uno che promette un'azione che non può compiere.

Usa identificatori stabili con le definizioni, così i risultati restano associati al comportamento valutato. Mantieni il criterio focalizzato su qualcosa che la traccia può mostrare. Se il comportamento richiede un documento di origine, il risultato di uno strumento o una successiva risposta del cliente, includi quella prova nell'interazione testuale, nella posizione appropriata. Una definizione da sola non può stabilire un fatto assente dalla traccia.

Prepara il contesto precedente e il turno da valutare

L'input documentato separa i messaggi precedenti in span.input dal turno da valutare in span.output. Il contenuto di ogni messaggio è una stringa. Fornisci il contesto effettivo della conversazione e il turno che vuoi valutare, mantenendo i ruoli dei partecipanti e l'ordine necessari per interpretarlo. Si tratta di un profilo di valutazione del testo: il testo preparato di un documento o una trascrizione possono costituire prove, mentre i contenuti multimediali da cui quel testo è stato ricavato non sono di per sé l'input documentato.

Per un'interazione di assistenza, mantieni la richiesta del cliente insieme alla risposta proposta dall'assistente. Per un agente che usa strumenti, conserva l'osservazione pertinente dello strumento e la risposta che si è basata su di essa. Una definizione illustrativa di aderenza alle prove potrebbe chiedere se l'assistente afferma una conclusione non supportata dall'osservazione fornita. Il risultato utile riguarda il comportamento definito in quel segmento, non una diagnosi completa dell'intera applicazione.

Leggi tre probabilità per ogni definizione

Ogni risultato include l'identificatore del comportamento e p_present, p_absent e p_not_observable. Le tre probabilità sommano a circa 1. Presente stima che il comportamento si sia verificato; assente stima che non si sia verificato; non osservabile stima che il segmento fornito non contenga le prove necessarie per decidere. Sono significati distinti e devono restare separati quando si interpretano i risultati.

Ad esempio, un segmento che termina con l'assistente che dice che risolverà un problema può mostrare una promessa. Non può ancora mostrare che il cliente abbia accettato la soluzione finale se non è presente alcuna risposta del cliente. Tratta quel risultato privo di prove come sconosciuto invece di convertirlo in assente. Una bassa probabilità di presenza non costituisce automaticamente una prova forte di assenza quando una quota significativa della distribuzione è non osservabile.

Valutazione in un solo passaggio su tutte le definizioni di comportamento

Respan descrive Span-01 come un classificatore con ragionamento addestrato prima per la classificazione generale con RLAIF e poi specializzato nel rilevamento dei comportamenti. Ogni definizione viene eseguita come ramo parallelo sulla stessa traccia, e il modello restituisce le probabilità dei comportamenti in un unico passaggio in avanti. L'attenzione ibrida supporta la gestione di tracce lunghe e complesse. Non genera token, non scrive un giudizio narrativo né produce una spiegazione in forma libera della propria classificazione.

La guida concettuale e il riferimento di valutazione non documentano alcun limite al numero di comportamenti per richiesta. Ogni definizione resta comunque parte della valutazione fornita, quindi mantienile chiare e pertinenti invece di considerare l'assenza di un limite numerico come prova di una capacità di input illimitata. Il risultato contiene una voce per comportamento nell'ordine della richiesta, identificata dal suo id. Più definizioni descrivono più osservazioni indipendenti; non sono scelte di categoria mutuamente esclusive la cui somma tra i comportamenti debba essere uno.

Preparare un artefatto di valutazione utile

Combina le probabilità restituite con soglie e regole di revisione specifiche dell'attività, al di fuori del modello. Il produttore consiglia di usare conversazioni etichettate per scegliere queste soglie e di esaminare i casi di presenza al limite o con valori elevati di non osservabile. Un flusso di assistenza può registrare separatamente frustrazione, una proposta di inoltro a un livello superiore e una promessa non supportata. Un flusso di controllo della qualità degli agenti può monitorare azioni ripetute o verificare se una risposta ha usato le prove messe a sua disposizione.

Conserva insieme il segmento di testo, la definizione del comportamento, l'identificatore del risultato e l'intera distribuzione a tre vie. Quando la definizione cambia, tieni presente che cambia anche ciò che la probabilità misura. Esamina gli errori apparenti rispetto alla conversazione effettiva invece di trattare un risultato numerico come prova di un evento non osservato. Un artefatto utile è un record del comportamento legato alla traccia e al criterio, con l'incertezza conservata per un'ispezione successiva o per la decisione successiva di un'applicazione.