Respan: Span-01

Span-01 est le modèle de notation des comportements de Respan pour les conversations et les traces d’agents. Il lit une interaction textuelle accompagnée de définitions de comportements rédigées en langage courant et renvoie des probabilités pour chaque définition. La sortie distingue un comportement présent, absent ou non observable dans la trace fournie. Un processus d’évaluation dispose ainsi d’un signal numérique doté d’un moyen explicite de représenter l’absence d’éléments probants, plutôt que d’une explication générée à analyser.

Définir le comportement à observer

Les comportements sont fournis par l’appelant. L’injection de prompt, les affirmations non fondées, l’exposition de secrets, les boucles répétitives, le mauvais usage d’outils et la frustration de l’utilisateur sont des définitions possibles, et non une taxonomie fixe intégrée au modèle. Précisez ce qui relève du comportement et ce qui n’en relève pas. Une définition étroite peut distinguer un utilisateur qui demande un transfert vers un humain d’un utilisateur qui exprime simplement sa déception. Une autre peut distinguer un assistant qui reconnaît un problème d’un assistant qui promet une action qu’il ne peut pas accomplir.

Associez des identifiants stables aux définitions, afin que les résultats restent rattachés au comportement évalué. Maintenez le critère centré sur un élément que la trace peut montrer. Si le comportement exige un document source, le résultat d’un outil ou une réponse ultérieure du client, incluez ces éléments à leur place dans l’interaction textuelle. Une définition seule ne peut pas établir un fait absent de la trace.

Préparer le contexte précédent et le tour cible

L’entrée documentée sépare les messages précédents, placés dans span.input, du tour cible, placé dans span.output. Le contenu de chaque message est une chaîne de caractères. Fournissez le contexte réel de la conversation et le tour que vous souhaitez noter, en préservant les rôles des interlocuteurs et l’ordre nécessaires à son interprétation. Il s’agit d’un profil de notation de texte ; le texte d’un document préparé ou une transcription peuvent servir d’éléments probants, tandis que le média dont ce texte a été extrait ne constitue pas en lui-même l’entrée documentée.

Pour une interaction d’assistance, conservez la demande du client avec la réponse proposée par l’assistant. Pour un agent utilisant des outils, conservez l’observation d’outil pertinente et la réponse qui s’appuie sur elle. Une définition d’ancrage illustrative peut demander si l’assistant affirme une conclusion que l’observation fournie n’étaye pas. Le résultat utile porte sur le comportement défini dans ce segment, et non sur un diagnostic complet de l’application entière.

Lire trois probabilités pour chaque définition

Chaque résultat comprend l’identifiant du comportement ainsi que p_present, p_absent et p_not_observable. La somme des trois probabilités est d’environ 1. Présent estime que le comportement s’est produit ; absent estime qu’il ne s’est pas produit ; non observable estime que le segment fourni ne contient pas les éléments nécessaires pour trancher. Ces significations sont distinctes et doivent le rester lors de l’interprétation des résultats.

Par exemple, un segment qui se termine par un assistant annonçant qu’il va résoudre un problème peut montrer une promesse. Il ne peut pas encore montrer que le client a accepté la solution finale si aucune réponse du client n’est présente. Traitez ce résultat lié à l’absence d’éléments comme inconnu plutôt que de le convertir en absent. Une faible probabilité de présence ne constitue pas automatiquement une preuve solide d’absence lorsqu’une part importante de la distribution relève du non observable.

Notation en une seule passe sur l’ensemble des définitions

Respan décrit Span-01 comme un classifieur à raisonnement entraîné d’abord à la classification générale avec RLAIF, puis spécialisé dans la détection de comportements. Chaque définition s’exécute comme une branche parallèle sur la même trace, et le modèle renvoie les probabilités de comportement en une seule passe avant (forward pass). L’attention hybride soutient son traitement de traces longues et complexes. Il ne génère pas de tokens, ne rédige pas de jugement narratif et ne produit pas d’explication libre de sa classification.

Le guide conceptuel et la référence de notation ne documentent aucun plafond du nombre de comportements par requête. Chaque définition fait néanmoins partie de l’évaluation fournie : gardez-les claires et pertinentes plutôt que de considérer l’absence de plafond comme la preuve d’une capacité d’entrée illimitée. Le résultat contient une entrée par comportement, dans l’ordre de la requête, identifiée par son id. Plusieurs définitions décrivent plusieurs observations indépendantes ; ce ne sont pas des choix de catégories mutuellement exclusifs dont la somme devrait être égale à un sur l’ensemble des comportements.

Préparer un artefact d’évaluation utile

Combinez les probabilités renvoyées avec des seuils propres à la tâche et des règles de revue définies en dehors du modèle. L’éditeur recommande d’utiliser des conversations étiquetées pour choisir ces seuils et d’inspecter les présences limites ou les résultats à forte probabilité non observable. Un processus d’assistance peut enregistrer séparément la frustration, une proposition d’escalade et une promesse non fondée. Un processus de contrôle qualité d’agent peut suivre les actions répétées ou vérifier si une réponse a utilisé les éléments mis à sa disposition.

Conservez ensemble le segment de texte, la définition du comportement, l’identifiant du résultat et la distribution complète à trois issues. Lorsque la définition change, gardez à l’esprit que ce que mesure la probabilité change aussi. Examinez les erreurs apparentes au regard de la conversation réelle au lieu de traiter un résultat numérique comme la preuve d’un événement non observé. Un artefact utile est un relevé de comportement rattaché à la trace et au critère, avec une incertitude conservée pour une inspection ultérieure ou la décision suivante d’une application.