Respan: Span-01 Lite

Span-01 Lite est un profil de modèle nommé séparément dans la famille Span-01 d’évaluation des comportements de Respan. Le guide de démarrage et le tableau des modèles du producteur identifient Lite comme l’un des deux profils utilisant le même processus d’évaluation. Il reçoit une interaction textuelle et des définitions de comportements en langage courant, puis renvoie trois probabilités pour chaque définition : présent, absent et non observable. La sortie utile du profil est un enregistrement de comportement avec une incertitude explicite, plutôt qu’une réponse écrite à la conversation.

Choisir l’observation et sa délimitation

Définissez le comportement avec des mots correspondant à votre tâche. Pour vérifier un transfert à une personne, précisez si cela signifie que l’utilisateur demande explicitement une personne, que l’assistant affirme qu’un transfert est nécessaire ou que l’une de ces deux conditions est satisfaite. Si une simple déception ne doit pas compter, indiquez-le. Pour vérifier des excuses, définissez les formulations qui constituent des excuses, plutôt que de vous appuyer sur un libellé flou. Chaque définition possède un identifiant que l’évaluateur renvoie avec ses probabilités.

L’ensemble des comportements appartient à l’appelant. Des exemples tels que la frustration, les promesses non étayées, le mauvais usage d’outils ou les actions répétitives d’un agent sont des définitions à fournir, et non une liste fixe de catégories natives. Gardez chaque définition observable dans l’interaction fournie. Un court extrait peut permettre de déterminer si l’assistant s’est excusé tout en ne contenant pas d’éléments établissant qu’un problème externe a réellement été résolu.

Préparer l’extrait de conversation

L’entrée documentée de Respan place les messages précédents dans span.input et le tour évalué dans span.output. Le contenu des messages est une chaîne de caractères. Préservez le contexte nécessaire à la compréhension du tour, notamment les rôles des interlocuteurs, la demande pertinente de l’utilisateur et les éléments textuels utilisés par l’assistant. Pour un contrôle qualité, fournissez le tour réel, plutôt qu’une paraphrase qui supprimerait le comportement évalué.

Une vérification illustrative peut prendre un message utilisateur décrivant des difficultés répétées et une réponse de l’assistant proposant d’enquêter. Définissez la frustration de l’utilisateur et une promesse de l’assistant comme des observations distinctes. Si un résultat d’outil importe pour déterminer si une affirmation était étayée, conservez le texte pertinent de ce résultat dans le contexte. La sortie est une évaluation de ces définitions dans l’extrait fourni ; le modèle n’effectue pas l’enquête promise et ne modifie pas la conversation elle-même.

Présent, absent et non observable

La réponse d’évaluation contient l’id du comportement avec p_present, p_absent et p_not_observable, dont la somme vaut approximativement 1. Non observable signifie que la trace ne permet pas de répondre à la question. Cela se distingue d’absent. Pour une définition telle que l’acceptation d’une solution par le client, un extrait s’arrêtant avant sa réaction constitue des éléments incomplets, même si la réponse de l’assistant semble assurée.

Gardez les trois valeurs lorsque vous préparez un résultat pour vérification. Une catégorie choisie selon la valeur la plus élevée peut être utile pour l’affichage, mais la distribution conserve l’incertitude de l’observation. N’utilisez pas une faible valeur de présence seule pour conclure que le comportement n’a certainement pas eu lieu. Lorsque les éléments manquants dominent, l’action utile peut consister à obtenir le contexte pertinent ou à conserver le résultat comme inconnu, plutôt qu’à inventer une explication.

Plusieurs définitions sur les mêmes éléments

Le processus d’évaluation du producteur évalue plusieurs définitions de comportements ensemble sur une même trace et renvoie un résultat pour chaque identifiant dans l’ordre de la requête. Sa documentation ne spécifie aucun plafond de nombre de comportements par requête. Cela n’établit pas une fenêtre universelle de tokens ou une taille de trace illimitée. Gardez des définitions utiles et des éléments pertinents, et préservez l’association entre chaque résultat renvoyé et la définition qui l’a produit.

Les résultats de comportements sont des observations indépendantes, plutôt qu’une seule réponse à choix exclusif. La frustration, des excuses et un transfert proposé peuvent tous être présents dans un même échange. Leurs distributions individuelles à trois issues ont un sens au sein de chaque définition ; additionner les valeurs de présence de comportements différents ne crée ni une distribution normalisée de catégories ni un score ordonné sur une grille.

Conserver le profil sélectionné avec ses résultats

Le fabricant documente les noms Lite et standard avec une structure commune de requête et de résultat. Ce contrat permet de préparer des traces et d’interpréter les probabilités de comportements pour chacun des profils nommés. Il n’établit pas que Lite possède les mêmes poids, le même nombre de paramètres ou la même qualité que l’autre édition. Gardez le profil sélectionné identifiable lorsque vous examinez ses résultats, plutôt que d’échanger silencieusement des résultats d’éditions différentes.

Utilisez des conversations annotées issues de la tâche visée pour choisir les seuils de journalisation, d’orientation ou de vérification. Conservez les résultats à forte non-observabilité et les observations limites pour examen, et comparez toute erreur apparente au tour d’origine et à la définition du comportement. L’artefact final utile contient l’identifiant de l’extrait textuel, la définition, le profil sélectionné et le résultat probabiliste complet à trois issues. Une étape ultérieure de l’application décide de l’usage de cette observation ; la sortie d’évaluation de Lite n’effectue pas elle-même un transfert, ne bloque pas une réponse et ne génère pas de correction.