Respan: Span-01

Span-01 to model Respan do oceniania zachowań w rozmowach i śladach działania agentów. Odczytuje interakcję tekstową wraz z definicjami zachowań zapisanymi zwykłym językiem i zwraca prawdopodobieństwa dla każdej definicji. Wyjście rozróżnia zachowanie obecne, nieobecne lub niemożliwe do zaobserwowania w dostarczonym śladzie. Daje to procesowi ewaluacji sygnał liczbowy z jawnym sposobem przedstawiania brakujących dowodów, zamiast wygenerowanego wyjaśnienia wymagającego parsowania.

Zdefiniuj zachowanie, które chcesz obserwować

Zachowania dostarcza wywołujący. Wstrzyknięcie promptu, nieuzasadnione twierdzenia, ujawnienie sekretów, powtarzające się pętle, niewłaściwe użycie narzędzi i frustracja użytkownika to możliwe definicje, a nie stała taksonomia wbudowana w model. Określ, co liczy się jako dane zachowanie, a co nie. Wąska definicja może odróżnić prośbę użytkownika o przekazanie do człowieka od samego wyrażenia rozczarowania. Inna może rozróżnić przyznanie przez asystenta, że istnieje problem, od obietnicy działania, którego nie potrafi wykonać.

Używaj stałych identyfikatorów z definicjami, aby wyniki pozostały związane z ocenianym zachowaniem. Skup kryterium na czymś, co ślad może pokazać. Jeśli zachowanie wymaga dokumentu źródłowego, wyniku narzędzia lub późniejszej odpowiedzi klienta, dołącz ten materiał we właściwym miejscu interakcji tekstowej. Sama definicja nie może potwierdzić faktu nieobecnego w śladzie.

Przygotuj wcześniejszy kontekst i docelową turę

Udokumentowane wejście oddziela wcześniejsze wiadomości w span.input od docelowej tury w span.output. Treść każdej wiadomości jest ciągiem znaków. Podaj rzeczywisty kontekst rozmowy i turę, którą chcesz ocenić, zachowując role rozmówców oraz kolejność potrzebną do jej interpretacji. To profil oceniania tekstu; przygotowany tekst dokumentu lub transkrypcja mogą być materiałem dowodowym, natomiast media, z których uzyskano tekst, same nie są udokumentowanym wejściem.

W interakcji ze wsparciem zachowaj prośbę klienta z proponowaną odpowiedzią asystenta. W przypadku agenta korzystającego z narzędzi zachowaj istotną obserwację narzędzia i odpowiedź, która się na niej opierała. Przykładowa definicja sprawdzająca oparcie w materiale może pytać, czy asystent stwierdza wniosek, którego dostarczona obserwacja nie uzasadnia. Użyteczny wynik dotyczy zdefiniowanego zachowania w danym fragmencie, a nie pełnej diagnozy całej aplikacji.

Odczytaj trzy prawdopodobieństwa dla każdej definicji

Każdy wynik zawiera identyfikator zachowania oraz p_present, p_absent i p_not_observable. Suma trzech prawdopodobieństw wynosi w przybliżeniu 1. Obecność szacuje, że zachowanie wystąpiło; nieobecność — że nie wystąpiło; brak możliwości obserwacji — że dostarczony fragment nie zawiera dowodów niezbędnych do rozstrzygnięcia. Są to odrębne znaczenia i powinny pozostać odrębne podczas interpretacji wyników.

Na przykład fragment kończący się stwierdzeniem asystenta, że rozwiąże problem, może pokazywać obietnicę. Nie może jeszcze pokazywać, że klient zaakceptował późniejsze rozwiązanie, jeśli nie ma odpowiedzi klienta. Traktuj taki wynik wynikający z braku dowodów jako nieznany, zamiast zamieniać go na nieobecność. Niskie prawdopodobieństwo obecności nie jest automatycznie silnym dowodem nieobecności, gdy znaczna część rozkładu oznacza brak możliwości obserwacji.

Ocenianie definicji zachowań w jednym przebiegu

Respan opisuje Span-01 jako klasyfikator rozumujący, trenowany najpierw do ogólnej klasyfikacji z użyciem RLAIF, a następnie wyspecjalizowany w wykrywaniu zachowań. Każda definicja działa jako równoległa gałąź na tym samym śladzie, a model zwraca prawdopodobieństwa zachowań w jednym przebiegu w przód. Hybrydowy mechanizm uwagi wspiera obsługę długich, złożonych śladów. Model nie generuje tokenów, nie pisze narracyjnego osądu ani nie tworzy swobodnego wyjaśnienia klasyfikacji.

Przewodnik po pojęciach i dokumentacja oceniania nie podają limitu liczby zachowań w jednym żądaniu. Każda definicja nadal stanowi część dostarczonej ewaluacji, dlatego powinna być jasna i istotna; brak limitu liczby nie dowodzi nieograniczonej pojemności wejścia. Wynik zawiera jeden wpis na zachowanie w kolejności żądania, identyfikowany przez jego id. Wiele definicji opisuje wiele niezależnych obserwacji; nie są to wzajemnie wykluczające się wybory kategorii, których wartości muszą sumować się do jedności między zachowaniami.

Przygotowanie użytecznego artefaktu ewaluacyjnego

Łącz zwrócone prawdopodobieństwa z progami właściwymi dla zadania i regułami przeglądu poza modelem. Producent zaleca używanie oznaczonych rozmów do wyboru tych progów i analizowanie granicznych wyników obecności lub wysokich wyników braku możliwości obserwacji. Proces wsparcia może osobno rejestrować frustrację, proponowaną eskalację i nieuzasadnioną obietnicę. Proces kontroli jakości agenta może śledzić powtarzające się działania lub to, czy odpowiedź wykorzystała udostępniony jej materiał.

Zachowaj razem fragment tekstu, definicję zachowania, identyfikator wyniku i pełny rozkład trójdzielny. Gdy definicja się zmienia, uwzględnij, że zmienia się to, co mierzy prawdopodobieństwo. Weryfikuj pozorne błędy w odniesieniu do rzeczywistej rozmowy, zamiast traktować wynik liczbowy jako dowód niezaobserwowanego zdarzenia. Użyteczny artefakt to rekord zachowania powiązany ze śladem i kryterium, z niepewnością zachowaną do późniejszej analizy lub następnej decyzji aplikacji.