Respan: Span-01

Span-01 ist Respans Modell zur Verhaltensbewertung für Gespräche und Agenten-Traces. Es liest eine Textinteraktion zusammen mit natürlichsprachlichen Verhaltensdefinitionen und gibt für jede Definition Wahrscheinlichkeiten zurück. Die Ausgabe unterscheidet, ob ein Verhalten im bereitgestellten Trace vorhanden, nicht vorhanden oder nicht beobachtbar ist. Dadurch erhält ein Bewertungsworkflow ein numerisches Signal mit einer ausdrücklichen Darstellung fehlender Belege statt einer generierten Erklärung, die erst geparst werden muss.

Das zu beobachtende Verhalten definieren

Verhaltensweisen werden vom Aufrufer bereitgestellt. Prompt Injection, unbelegte Behauptungen, die Offenlegung von Geheimnissen, Wiederholungsschleifen, Werkzeugmissbrauch und Nutzerfrustration sind mögliche Definitionen und keine feste, im Modell eingebaute Taxonomie. Geben Sie an, was als Verhalten zählt und was nicht. Eine eng gefasste Definition kann einen Nutzer, der eine Übergabe an einen Menschen verlangt, von blosser Enttäuschung unterscheiden. Eine andere kann unterscheiden, ob ein Assistent ein Problem anerkennt oder eine Aktion verspricht, die er nicht ausführen kann.

Verwenden Sie stabile Kennungen bei den Definitionen, damit Ergebnisse mit dem bewerteten Verhalten verknüpft bleiben. Fokussieren Sie das Kriterium auf etwas, das der Trace zeigen kann. Erfordert das Verhalten ein Quelldokument, ein Werkzeugergebnis oder eine spätere Kundenantwort, fügen Sie diesen Beleg an der passenden Stelle in die Textinteraktion ein. Eine Definition allein kann keinen Fakt belegen, der im Trace fehlt.

Vorangehenden Kontext und Zielbeitrag vorbereiten

Die dokumentierte Eingabe trennt vorangehende Nachrichten in span.input vom Zielbeitrag in span.output. Der Inhalt jeder Nachricht ist eine Zeichenfolge. Stellen Sie den tatsächlichen Gesprächskontext und den zu bewertenden Beitrag bereit und bewahren Sie Sprecherrollen sowie die zum Verständnis nötige Reihenfolge. Dies ist ein Textbewertungsprofil; vorbereiteter Dokumenttext oder ein Transkript können als Belege dienen, während die Medien, aus denen der Text gewonnen wurde, selbst nicht die dokumentierte Eingabe sind.

Bewahren Sie bei einer Support-Interaktion die Kundenanfrage zusammen mit der vorgeschlagenen Antwort des Assistenten. Halten Sie bei einem werkzeugnutzenden Agenten die relevante Werkzeugbeobachtung und die darauf gestützte Antwort fest. Eine beispielhafte Definition zur Beleggrundlage könnte fragen, ob der Assistent eine Schlussfolgerung behauptet, die die bereitgestellte Beobachtung nicht unterstützt. Das nützliche Ergebnis betrifft das definierte Verhalten in diesem Ausschnitt und keine vollständige Diagnose der gesamten Anwendung.

Drei Wahrscheinlichkeiten für jede Definition lesen

Jedes Ergebnis enthält die Verhaltenskennung und p_present, p_absent sowie p_not_observable. Die drei Wahrscheinlichkeiten summieren sich ungefähr zu 1. Vorhanden schätzt ein, dass das Verhalten auftrat; nicht vorhanden schätzt ein, dass es nicht auftrat; nicht beobachtbar schätzt ein, dass dem bereitgestellten Ausschnitt die nötigen Belege zur Entscheidung fehlen. Dies sind getrennte Bedeutungen, die bei der Ergebnisinterpretation getrennt bleiben sollten.

Ein Ausschnitt, der beispielsweise damit endet, dass ein Assistent die Lösung eines Problems zusagt, kann ein Versprechen zeigen. Er kann noch nicht zeigen, dass der Kunde die spätere Lösung akzeptiert hat, wenn keine Kundenantwort vorhanden ist. Behandeln Sie dieses Ergebnis mit fehlenden Belegen als unbekannt, statt es in nicht vorhanden umzudeuten. Eine niedrige Vorhandenseinswahrscheinlichkeit ist nicht automatisch ein starker Beleg für Nichtvorhandensein, wenn ein erheblicher Anteil der Verteilung auf nicht beobachtbar entfällt.

Bewertung mehrerer Verhaltensdefinitionen in einem Durchlauf

Respan beschreibt Span-01 als Reasoning-Klassifikator, der zunächst mit RLAIF für allgemeine Klassifikation trainiert und dann auf Verhaltenserkennung spezialisiert wurde. Jede Definition läuft als paralleler Zweig über denselben Trace, und das Modell gibt die Verhaltenswahrscheinlichkeiten in einem Vorwärtsdurchlauf zurück. Hybride Attention unterstützt die Verarbeitung langer, komplexer Traces. Das Modell generiert keine Tokens, verfasst kein erzählendes Urteil und erzeugt keine freie Erklärung seiner Klassifikation.

Der Konzeptleitfaden und die Bewertungsreferenz dokumentieren keine Grenze für die Anzahl der Verhaltensdefinitionen pro Anfrage. Jede Definition bleibt Teil der bereitgestellten Bewertung; halten Sie daher jede klar und relevant, statt aus dem Fehlen einer Anzahlgrenze eine unbegrenzte Eingabekapazität abzuleiten. Das Ergebnis enthält einen Eintrag pro Verhalten in Anfragereihenfolge, identifiziert durch seine id. Mehrere Definitionen beschreiben mehrere unabhängige Beobachtungen; sie sind keine sich gegenseitig ausschliessenden Kategorieentscheidungen, deren Werte sich über Verhaltensweisen hinweg zu eins summieren müssen.

Ein nützliches Bewertungsartefakt vorbereiten

Kombinieren Sie die zurückgegebenen Wahrscheinlichkeiten ausserhalb des Modells mit aufgabenspezifischen Schwellenwerten und Prüfregeln. Der Anbieter empfiehlt, gekennzeichnete Gespräche zur Wahl dieser Schwellenwerte zu verwenden und grenzwertige Vorhandenseins- oder hohe Nicht-beobachtbar-Ergebnisse zu prüfen. Ein Support-Workflow kann Frustration, eine vorgeschlagene Eskalation und ein unbelegtes Versprechen getrennt protokollieren. Ein Workflow zur Agentenqualität kann wiederholte Aktionen verfolgen oder prüfen, ob eine Antwort die bereitgestellten Belege verwendet hat.

Bewahren Sie Textausschnitt, Verhaltensdefinition, Ergebniskennung und die vollständige dreiteilige Verteilung zusammen auf. Erkennen Sie bei einer Änderung der Definition an, dass sich dadurch ändert, was die Wahrscheinlichkeit misst. Prüfen Sie scheinbare Fehler anhand des tatsächlichen Gesprächs, statt ein numerisches Ergebnis als Beweis für ein unbeobachtetes Ereignis zu behandeln. Ein nützliches Artefakt ist ein mit Trace und Kriterium verknüpfter Verhaltensdatensatz, dessen Unsicherheit für spätere Prüfung oder die nächste Entscheidung einer Anwendung erhalten bleibt.