Respan: Span-01

Span-01 ist das Verhaltensbewertungsmodell von Respan für Gespräche und Agenten-Traces. Es liest eine Textinteraktion zusammen mit in natürlicher Sprache formulierten Verhaltensdefinitionen und gibt für jede Definition Wahrscheinlichkeiten zurück. Die Ausgabe unterscheidet, ob ein Verhalten im bereitgestellten Trace vorhanden, nicht vorhanden oder nicht beobachtbar ist. Damit erhält ein Evaluierungs-Workflow ein numerisches Signal mit einer expliziten Darstellung fehlender Belege statt einer generierten Erklärung, die erst geparst werden muss.

Das zu beobachtende Verhalten definieren

Verhaltensweisen werden vom Aufrufer bereitgestellt. Prompt Injection, nicht belegte Behauptungen, Offenlegung von Geheimnissen, sich wiederholende Schleifen, Fehlgebrauch von Tools und Nutzerfrustration sind mögliche Definitionen, keine im Modell fest eingebaute Taxonomie. Legen Sie fest, was als das Verhalten gilt und was nicht. Eine enge Definition kann unterscheiden, ob ein Nutzer um Übergabe an einen Menschen bittet oder lediglich Enttäuschung äußert. Eine andere kann unterscheiden, ob ein Assistent ein Problem anerkennt oder eine Aktion verspricht, die er nicht ausführen kann.

Verwenden Sie stabile Bezeichner für die Definitionen, damit die Ergebnisse dem bewerteten Verhalten zugeordnet bleiben. Richten Sie das Kriterium auf etwas aus, das der Trace zeigen kann. Wenn das Verhalten ein Quelldokument, ein Tool-Ergebnis oder eine spätere Kundenantwort erfordert, nehmen Sie diesen Beleg an der passenden Stelle in die Textinteraktion auf. Eine Definition allein kann keine Tatsache belegen, die im Trace fehlt.

Vorangehenden Kontext und Ziel-Gesprächszug vorbereiten

Die dokumentierte Eingabe trennt vorangehende Nachrichten in span.input vom Ziel-Gesprächszug in span.output. Der Inhalt jeder Nachricht ist ein String. Stellen Sie den tatsächlichen Gesprächskontext und den zu bewertenden Gesprächszug bereit und bewahren Sie dabei die Sprecherrollen und die zum Verständnis nötige Reihenfolge. Dies ist ein Textbewertungsprofil; aufbereiteter Dokumenttext oder ein Transkript können Belege sein, während die Medien, aus denen dieser Text gewonnen wurde, selbst nicht die dokumentierte Eingabe sind.

Behalten Sie bei einer Support-Interaktion die Anfrage des Kunden zusammen mit der vorgeschlagenen Antwort des Assistenten. Behalten Sie bei einem Agenten, der Tools nutzt, die relevante Tool-Beobachtung und die Antwort, die sich darauf stützte. Eine beispielhafte Definition zur Fundierung könnte fragen, ob der Assistent eine Schlussfolgerung behauptet, die die bereitgestellte Beobachtung nicht stützt. Das nützliche Ergebnis betrifft das definierte Verhalten in diesem Abschnitt, nicht eine vollständige Diagnose der gesamten Anwendung.

Drei Wahrscheinlichkeiten für jede Definition lesen

Jedes Ergebnis enthält den Verhaltensbezeichner sowie p_present, p_absent und p_not_observable. Die drei Wahrscheinlichkeiten summieren sich zu ungefähr 1. Vorhanden schätzt, dass das Verhalten aufgetreten ist; nicht vorhanden schätzt, dass es nicht aufgetreten ist; nicht beobachtbar schätzt, dass dem bereitgestellten Abschnitt die für eine Entscheidung nötigen Belege fehlen. Das sind getrennte Bedeutungen, die bei der Interpretation der Ergebnisse getrennt bleiben sollten.

Ein Abschnitt, der beispielsweise damit endet, dass ein Assistent sagt, er werde ein Problem lösen, kann ein Versprechen zeigen. Er kann jedoch noch nicht zeigen, dass der Kunde die spätere Lösung angenommen hat, wenn keine Kundenantwort vorliegt. Behandeln Sie dieses Ergebnis mit fehlenden Belegen als unbekannt, statt es in nicht vorhanden umzuwandeln. Eine niedrige Wahrscheinlichkeit für Vorhandensein ist nicht automatisch ein starker Beleg für Nichtvorhandensein, wenn ein erheblicher Teil der Verteilung auf nicht beobachtbar entfällt.

Bewertung über alle Verhaltensdefinitionen in einem Durchlauf

Respan beschreibt Span-01 als Reasoning-Klassifikator, der zunächst mit RLAIF für allgemeine Klassifikation trainiert und dann auf Verhaltenserkennung spezialisiert wurde. Jede Definition läuft als paralleler Zweig über denselben Trace, und das Modell gibt die Verhaltenswahrscheinlichkeiten in einem einzigen Forward Pass zurück. Hybride Attention unterstützt seine Verarbeitung langer, komplexer Traces. Es generiert keine Tokens, schreibt kein erzählendes Urteil und erzeugt keine frei formulierte Erklärung seiner Klassifikation.

Der Konzeptleitfaden und die Bewertungsreferenz dokumentieren keine Obergrenze für die Anzahl der Verhaltensweisen pro Anfrage. Jede Definition ist dennoch Teil der bereitgestellten Auswertung; halten Sie daher jede klar und relevant, statt das Fehlen einer Obergrenze als Beleg für unbegrenzte Eingabekapazität zu werten. Das Ergebnis enthält pro Verhalten einen Eintrag in der Reihenfolge der Anfrage, gekennzeichnet durch seine id. Mehrere Definitionen beschreiben mehrere unabhängige Beobachtungen; sie sind keine sich gegenseitig ausschließenden Kategorieentscheidungen, die sich über alle Verhaltensweisen zu eins summieren müssen.

Ein nützliches Evaluierungsartefakt erstellen

Kombinieren Sie die zurückgegebenen Wahrscheinlichkeiten außerhalb des Modells mit aufgabenspezifischen Schwellenwerten und Prüfregeln. Der Hersteller empfiehlt, diese Schwellenwerte anhand gelabelter Gespräche festzulegen und Grenzfälle beim Vorhandensein oder Ergebnisse mit hohem Nicht-beobachtbar-Wert zu inspizieren. Ein Support-Workflow kann Frustration, eine vorgeschlagene Eskalation und ein nicht belegtes Versprechen getrennt erfassen. Ein Workflow zur Agentenqualität kann wiederholte Aktionen verfolgen oder prüfen, ob eine Antwort die ihr zur Verfügung gestellten Belege genutzt hat.

Bewahren Sie Textabschnitt, Verhaltensdefinition, Ergebnisbezeichner und die vollständige dreiteilige Verteilung gemeinsam auf. Wenn sich die Definition ändert, berücksichtigen Sie, dass sich damit auch ändert, was die Wahrscheinlichkeit misst. Prüfen Sie scheinbare Fehler anhand des tatsächlichen Gesprächs, statt ein numerisches Ergebnis als Beweis für ein nicht beobachtetes Ereignis zu behandeln. Ein nützliches Artefakt ist ein Verhaltensdatensatz, der an Trace und Kriterium gebunden ist und die Unsicherheit für eine spätere Inspektion oder die nächste Entscheidung einer Anwendung bewahrt.