Respan: Span-01

Span-01 est le modèle d’évaluation des comportements de Respan pour les conversations et les traces d’agents. Il lit une interaction textuelle accompagnée de définitions de comportements rédigées en langage courant et renvoie des probabilités pour chaque définition. La sortie distingue un comportement présent, absent ou non observable dans la trace fournie. Un processus d’évaluation dispose ainsi d’un signal numérique et d’un moyen explicite de représenter les éléments manquants, plutôt que d’une explication générée à analyser.

Définir le comportement à observer

Les comportements sont fournis par l’appelant. L’injection de prompt, les affirmations non étayées, l’exposition de secrets, les boucles répétitives, le mauvais usage d’outils et la frustration de l’utilisateur sont des définitions possibles, plutôt qu’une taxonomie fixe intégrée au modèle. Indiquez ce qui constitue le comportement et ce qui ne le constitue pas. Une définition précise peut distinguer une demande de transfert à une personne d’une simple expression de déception. Une autre peut distinguer la reconnaissance d’un problème par l’assistant d’une promesse d’action qu’il ne peut pas effectuer.

Utilisez des identifiants stables avec les définitions afin que les résultats restent associés au comportement évalué. Gardez le critère centré sur quelque chose que la trace peut montrer. Si le comportement nécessite un document source, un résultat d’outil ou une réponse ultérieure du client, incluez ces éléments dans l’interaction textuelle à l’endroit approprié. Une définition seule ne peut pas établir un fait absent de la trace.

Préparer le contexte précédent et le tour ciblé

L’entrée documentée sépare les messages précédents dans span.input du tour ciblé dans span.output. Le contenu de chaque message est une chaîne de caractères. Fournissez le contexte réel de la conversation et le tour à évaluer, en préservant les rôles des interlocuteurs et l’ordre nécessaire à son interprétation. Il s’agit d’un profil d’évaluation textuelle ; du texte documentaire préparé ou une transcription peuvent constituer des éléments à examiner, tandis que les médias dont ce texte provient ne sont pas eux-mêmes l’entrée documentée.

Pour une interaction d’assistance, gardez la demande du client avec la réponse proposée par l’assistant. Pour un agent utilisant des outils, conservez l’observation pertinente de l’outil et la réponse qui s’y appuie. Une définition illustrative de l’ancrage dans les sources pourrait demander si l’assistant affirme une conclusion que l’observation fournie ne justifie pas. Le résultat utile concerne le comportement défini dans cet extrait, plutôt qu’un diagnostic complet de l’application entière.

Lire trois probabilités pour chaque définition

Chaque résultat comprend l’identifiant du comportement et p_present, p_absent et p_not_observable. La somme des trois probabilités vaut approximativement 1. Présent estime que le comportement a eu lieu ; absent estime qu’il n’a pas eu lieu ; non observable estime que l’extrait fourni ne contient pas les éléments nécessaires pour décider. Ces sens sont distincts et doivent le rester lors de l’interprétation des résultats.

Par exemple, un extrait se terminant par l’affirmation de l’assistant qu’il résoudra un problème peut montrer une promesse. Il ne peut pas encore montrer que le client a accepté la solution ultérieure si aucune réponse du client n’est présente. Traitez ce résultat lié à des éléments manquants comme inconnu, plutôt que de le convertir en absent. Une faible probabilité de présence ne constitue pas automatiquement un indice fort d’absence lorsqu’une part importante de la distribution correspond à non observable.

Évaluation des définitions de comportements en une seule passe

Respan décrit Span-01 comme un classificateur de raisonnement entraîné d’abord à la classification générale avec RLAIF, puis spécialisé dans la détection de comportements. Chaque définition s’exécute comme une branche parallèle sur la même trace, et le modèle renvoie les probabilités de comportements en une seule passe avant. L’attention hybride facilite le traitement de traces longues et complexes. Il ne génère pas de tokens, ne rédige pas de jugement narratif et ne produit pas d’explication libre de sa classification.

Le guide conceptuel et la référence d’évaluation ne documentent aucun plafond de nombre de comportements par requête. Chaque définition fait néanmoins partie de l’évaluation fournie ; gardez chacune claire et pertinente, plutôt que de traiter l’absence de plafond de nombre comme une preuve de capacité d’entrée illimitée. Le résultat contient une entrée par comportement dans l’ordre de la requête, identifiée par son id. Plusieurs définitions décrivent plusieurs observations indépendantes ; elles ne constituent pas des choix de catégories mutuellement exclusifs dont la somme devrait valoir un entre les comportements.

Préparer un artefact d’évaluation utile

Combinez les probabilités renvoyées avec des seuils propres à la tâche et des règles de vérification extérieures au modèle. Le producteur recommande d’utiliser des conversations annotées pour choisir ces seuils et d’examiner les résultats de présence limites ou à forte non-observabilité. Un processus d’assistance peut consigner séparément la frustration, une escalade proposée et une promesse non étayée. Un processus de qualité des agents peut suivre les actions répétées ou vérifier si une réponse utilisait les éléments mis à sa disposition.

Gardez ensemble l’extrait textuel, la définition du comportement, l’identifiant du résultat et la distribution complète à trois issues. Lorsqu’une définition change, reconnaissez que cela modifie ce que mesure la probabilité. Examinez les erreurs apparentes au regard de la conversation réelle, plutôt que de traiter un résultat numérique comme une preuve d’un événement non observé. Un artefact utile est un enregistrement de comportement lié à la trace et au critère, avec l’incertitude conservée pour une inspection ultérieure ou la décision suivante d’une application.