Respan: Span-01 Lite

Span-01 Lite ist ein separat benanntes Modellprofil innerhalb der Span-01-Familie zur Verhaltensbewertung von Respan. Quickstart und Modelltabelle des Herstellers weisen Lite als eines der beiden Profile aus, die denselben Bewertungsablauf verwenden. Es erhält eine Textinteraktion und Verhaltensdefinitionen in natürlicher Sprache und liefert dann für jede Definition drei Wahrscheinlichkeiten: vorhanden, nicht vorhanden und nicht beobachtbar. Die nützliche Ausgabe des Profils ist ein Verhaltensdatensatz mit expliziter Unsicherheit, keine schriftliche Antwort auf das Gespräch.

Die Beobachtung und ihre Abgrenzung wählen

Definieren Sie das Verhalten in Worten, die zu Ihrer Aufgabe passen. Legen Sie bei einer Übergabeprüfung fest, ob gemeint ist, dass der Nutzer ausdrücklich nach einem Menschen fragt, dass der Assistent eine Übergabe für nötig erklärt, oder eine der beiden Bedingungen. Wenn bloße Enttäuschung nicht zählen soll, sagen Sie das. Definieren Sie bei einer Entschuldigungsprüfung, welche Formulierung als Entschuldigung gilt, statt sich auf eine unklare Bezeichnung zu verlassen. Jede Definition hat einen Bezeichner, den der Bewerter zusammen mit ihren Wahrscheinlichkeiten zurückgibt.

Die Menge der Verhaltensweisen gehört dem Aufrufer. Beispiele wie Frustration, nicht belegte Versprechen, Fehlgebrauch von Tools oder sich wiederholende Agentenaktionen sind Definitionen, die Sie bereitstellen, keine feste Liste nativer Kategorien. Halten Sie jede Definition in der bereitgestellten Interaktion beobachtbar. Ein kurzer Abschnitt kann klären, ob sich der Assistent entschuldigt hat, und dennoch keine Belege dafür enthalten, dass ein externes Problem tatsächlich gelöst wurde.

Den Gesprächsabschnitt vorbereiten

In der dokumentierten Eingabe von Respan stehen vorangehende Nachrichten in span.input und der zu bewertende Gesprächszug in span.output. Der Nachrichteninhalt ist ein String. Bewahren Sie den Kontext, der zum Verständnis des Gesprächszugs nötig ist, einschließlich der Sprecherrollen, der relevanten Nutzeranfrage und aller textlichen Belege, die der Assistent verwendet hat. Stellen Sie bei einer Qualitätsprüfung den tatsächlichen Gesprächszug bereit, nicht eine Paraphrase, die das zu bewertende Verhalten entfernt.

Eine beispielhafte Prüfung kann eine Nutzernachricht über wiederholte Probleme und eine Antwort des Assistenten mit dem Angebot, der Sache nachzugehen, umfassen. Definieren Sie Nutzerfrustration und ein Versprechen des Assistenten als getrennte Beobachtungen. Wenn ein Tool-Ergebnis für die Beurteilung zählt, ob eine Aussage belegt war, behalten Sie den relevanten Text dieses Ergebnisses im Kontext. Die Ausgabe ist eine Bewertung dieser Definitionen im bereitgestellten Abschnitt; das Modell führt weder die versprochene Untersuchung durch noch verändert es das Gespräch selbst.

Vorhanden, nicht vorhanden und nicht beobachtbar

Die Bewertungsantwort enthält die Verhaltens-id mit p_present, p_absent und p_not_observable, die sich zu ungefähr 1 summieren. Nicht beobachtbar bedeutet, dass der Trace die Frage nicht beantworten kann. Das ist etwas anderes als nicht vorhanden. Bei einer Definition wie der Annahme einer Lösung durch den Kunden ist ein Abschnitt, der endet, bevor der Kunde reagiert, ein unvollständiger Beleg, selbst wenn die Antwort des Assistenten überzeugt klingt.

Behalten Sie alle drei Werte, wenn Sie ein Ergebnis für die Prüfung aufbereiten. Eine nach dem höchsten Wert gewählte Kategorie kann für eine Anzeige nützlich sein, doch die Verteilung bewahrt, wie unsicher die Beobachtung war. Schließen Sie nicht allein aus einem niedrigen Vorhandensein-Wert, dass das Verhalten definitiv nicht aufgetreten ist. Wenn fehlende Belege überwiegen, kann die sinnvolle Maßnahme darin bestehen, den relevanten Kontext zu beschaffen oder das Ergebnis als unbekannt festzuhalten, statt eine Erklärung zu erfinden.

Mehrere Definitionen über dieselben Belege

Der Bewertungsablauf des Herstellers wertet mehrere Verhaltensdefinitionen gemeinsam über einen Trace aus und gibt für jeden Bezeichner ein Ergebnis in der Reihenfolge der Anfrage zurück. Die Dokumentation nennt keine Obergrenze für die Anzahl der Verhaltensweisen pro Anfrage. Daraus folgt weder ein allgemeingültiges Token-Fenster noch eine unbegrenzte Trace-Größe. Halten Sie die Definitionen zielgerichtet und die Belege relevant, und bewahren Sie die Zuordnung zwischen jedem zurückgegebenen Ergebnis und der Definition, die es erzeugt hat.

Die Verhaltensergebnisse sind unabhängige Beobachtungen und keine einzelne Antwort mit exklusiver Auswahl. Frustration, eine Entschuldigung und eine vorgeschlagene Übergabe können alle im selben Austausch vorkommen. Ihre jeweiligen dreiteiligen Verteilungen haben innerhalb jeder Definition Bedeutung; das Addieren von Vorhandensein-Werten über verschiedene Verhaltensweisen ergibt weder eine normalisierte Kategorienverteilung noch einen geordneten Bewertungsraster-Score.

Das gewählte Profil mit seinen Ergebnissen aufbewahren

Der Hersteller dokumentiert die Lite- und die Standardbezeichnung mit gemeinsamer Anfrage- und Ergebnisform. Dieser Vertrag unterstützt die Aufbereitung von Traces und die Interpretation von Verhaltenswahrscheinlichkeiten für beide benannten Profile. Er belegt nicht, dass Lite dieselben Gewichte, dieselbe Parameterzahl oder dieselbe Qualität wie die andere Edition hat. Halten Sie das gewählte Profil bei der Prüfung seiner Ergebnisse identifizierbar, statt Ergebnisse verschiedener Editionen stillschweigend auszutauschen.

Verwenden Sie gelabelte Gespräche aus der vorgesehenen Aufgabe, um Schwellenwerte für Protokollierung, Routing oder Prüfung festzulegen. Bewahren Sie Ergebnisse mit hohem Nicht-beobachtbar-Wert und Grenzfälle zur Inspektion auf, und vergleichen Sie jeden scheinbaren Fehler mit dem ursprünglichen Gesprächszug und der Verhaltensdefinition. Das nützliche Endartefakt enthält den Bezeichner des Textabschnitts, die Definition, das gewählte Profil und das vollständige dreiteilige Wahrscheinlichkeitsergebnis. Ein späterer Anwendungsschritt entscheidet, was mit dieser Beobachtung geschieht; die Bewertungsausgabe von Lite führt selbst keine Übergabe aus, blockiert keine Antwort und erzeugt keine Korrektur.