Respan: Span-01

Span-01 es el modelo de puntuación de comportamientos de Respan para conversaciones y trazas de agentes. Lee una interacción de texto junto con definiciones de comportamientos escritas en lenguaje natural y devuelve probabilidades para cada definición. La salida distingue si un comportamiento está presente, ausente o no es observable en la traza proporcionada. Esto aporta al flujo de evaluación una señal numérica con una forma explícita de representar la falta de evidencia, en lugar de una explicación generada que se deba analizar.

Define el comportamiento que quieres observar

Quien realiza la llamada proporciona los comportamientos. La inyección de prompts, las afirmaciones sin respaldo, la exposición de secretos, los bucles repetitivos, el uso indebido de herramientas y la frustración del usuario son posibles definiciones, no una taxonomía fija incorporada al modelo. Indica qué cuenta como comportamiento y qué no. Una definición precisa puede distinguir entre que un usuario pida una transferencia a una persona y que simplemente exprese decepción. Otra puede distinguir entre que un asistente reconozca un problema y que prometa una acción que no puede realizar.

Utiliza identificadores estables con las definiciones para que los resultados sigan asociados al comportamiento evaluado. Mantén el criterio centrado en algo que la traza pueda mostrar. Si el comportamiento requiere un documento de origen, el resultado de una herramienta o una respuesta posterior del cliente, incluye esa evidencia en la interacción de texto donde corresponda. Una definición por sí sola no puede establecer un hecho ausente de la traza.

Prepara el contexto previo y el turno objetivo

La entrada documentada separa los mensajes anteriores, en span.input, del turno objetivo, en span.output. El contenido de cada mensaje es una cadena de texto. Proporciona el contexto real de la conversación y el turno que quieres puntuar, conservando los roles de los interlocutores y el orden necesario para interpretarlo. Este es un perfil de puntuación de texto; el texto de un documento preparado o una transcripción pueden ser evidencia, mientras que los medios de los que se obtuvo ese texto no son en sí mismos la entrada documentada.

Para una interacción de soporte, conserva la solicitud del cliente junto con la respuesta propuesta por el asistente. Para un agente que utiliza herramientas, conserva la observación pertinente de la herramienta y la respuesta que se basó en ella. Una definición ilustrativa de respaldo en evidencia podría preguntar si el asistente afirma una conclusión que la observación proporcionada no sustenta. El resultado útil se refiere al comportamiento definido en ese tramo, no a un diagnóstico completo de toda la aplicación.

Lee tres probabilidades para cada definición

Cada resultado incluye el identificador del comportamiento y p_present, p_absent y p_not_observable. Las tres probabilidades suman aproximadamente 1. Presente estima que el comportamiento ocurrió; ausente estima que no ocurrió; no observable estima que el tramo proporcionado carece de la evidencia necesaria para decidir. Son significados distintos y deben mantenerse separados al interpretar los resultados.

Por ejemplo, un tramo que termina con el asistente diciendo que resolverá un problema puede mostrar una promesa. Todavía no puede mostrar que el cliente haya aceptado la solución posterior si no hay una respuesta del cliente. Trata ese resultado de falta de evidencia como desconocido, en lugar de convertirlo en ausente. Una probabilidad baja de presencia no es automáticamente evidencia sólida de ausencia cuando una parte significativa de la distribución corresponde a no observable.

Puntuación en una pasada de varias definiciones de comportamientos

Respan describe Span-01 como un clasificador con razonamiento entrenado primero para clasificación general con RLAIF y después especializado en detección de comportamientos. Cada definición se ejecuta como una rama paralela sobre la misma traza, y el modelo devuelve las probabilidades de los comportamientos en una sola pasada de inferencia. La atención híbrida permite tratar trazas largas y complejas. No genera tokens, no redacta un juicio narrativo ni produce una explicación libre de su clasificación.

La guía conceptual y la referencia de puntuación no documentan un límite de cantidad de comportamientos por solicitud. Cada definición sigue formando parte de la evaluación proporcionada, por lo que conviene mantenerla clara y pertinente, en lugar de tratar la ausencia de un límite de cantidad como evidencia de capacidad ilimitada de entrada. El resultado contiene una entrada por comportamiento en el orden de la solicitud, identificada por su id. Varias definiciones describen varias observaciones independientes; no son elecciones de categorías mutuamente excluyentes que deban sumar uno entre todos los comportamientos.

Preparación de un artefacto de evaluación útil

Combina las probabilidades devueltas con umbrales específicos de la tarea y reglas de revisión fuera del modelo. El productor recomienda utilizar conversaciones etiquetadas para elegir esos umbrales y examinar los resultados de presencia limítrofes o con valores altos de no observable. Un flujo de soporte puede registrar por separado la frustración, un escalamiento propuesto y una promesa sin respaldo. Un flujo de calidad de agentes puede seguir acciones repetidas o si una respuesta utilizó la evidencia puesta a su disposición.

Conserva juntos el tramo de texto, la definición del comportamiento, el identificador del resultado y la distribución completa de las tres posibilidades. Cuando cambie la definición, reconoce que también cambia lo que mide la probabilidad. Revisa los errores aparentes frente a la conversación real, en lugar de tratar un resultado numérico como prueba de un evento no observado. Un artefacto útil es un registro de comportamientos vinculado a la traza y al criterio, con la incertidumbre conservada para una inspección posterior o para la siguiente decisión de una aplicación.