Respan: Span-01 Lite

Span-01 Lite to osobno nazwany profil modelu z rodziny Respan Span-01 do oceniania zachowań. Przewodnik szybkiego startu i tabela modeli producenta wskazują Lite jako jeden z dwóch profili korzystających z tego samego procesu oceniania. Otrzymuje interakcję tekstową i definicje zachowań zapisane zwykłym językiem, po czym zwraca trzy prawdopodobieństwa dla każdej definicji: obecne, nieobecne i niemożliwe do zaobserwowania. Użytecznym wynikiem profilu jest rekord zachowania z jawną niepewnością, a nie pisemna odpowiedź na rozmowę.

Wybierz obserwację i jej granice

Zdefiniuj zachowanie słowami pasującymi do zadania. Przy sprawdzaniu przekazania do człowieka określ, czy chodzi o wyraźną prośbę użytkownika o osobę, stwierdzenie asystenta, że przekazanie jest potrzebne, czy dowolny z tych warunków. Jeśli samo rozczarowanie nie powinno się liczyć, powiedz to. Przy sprawdzaniu przeprosin określ, jakie sformułowanie stanowi przeprosiny, zamiast polegać na niejasnej etykiecie. Każda definicja ma identyfikator, który moduł oceniający zwraca wraz z jej prawdopodobieństwami.

Zestaw zachowań należy do wywołującego. Przykłady takie jak frustracja, nieuzasadnione obietnice, niewłaściwe użycie narzędzi lub powtarzające się działania agenta są definicjami do podania, a nie stałą listą natywnych kategorii. Każda definicja powinna być obserwowalna w dostarczonej interakcji. Krótki fragment może rozstrzygnąć, czy asystent przeprosił, jednocześnie nie zawierając dowodu, że zewnętrzny problem został rzeczywiście rozwiązany.

Przygotuj fragment rozmowy

Udokumentowane wejście Respan umieszcza wcześniejsze wiadomości w span.input, a ocenianą turę w span.output. Treść wiadomości jest ciągiem znaków. Zachowaj kontekst potrzebny do zrozumienia tury, w tym role rozmówców, istotną prośbę użytkownika i wszelki materiał tekstowy wykorzystany przez asystenta. Przy kontroli jakości podaj rzeczywistą turę, a nie parafrazę usuwającą oceniane zachowanie.

Przykładowy przegląd może obejmować wiadomość użytkownika opisującą powtarzające się trudności i odpowiedź asystenta oferującego zbadanie sprawy. Zdefiniuj frustrację użytkownika i obietnicę asystenta jako osobne obserwacje. Jeśli wynik narzędzia ma znaczenie dla oceny, czy twierdzenie było oparte na materiale, zachowaj w kontekście istotny tekst tego wyniku. Wyjście ocenia te definicje w dostarczonym fragmencie; model nie przeprowadza obiecanego badania ani nie zmienia samej rozmowy.

Obecne, nieobecne i niemożliwe do zaobserwowania

Odpowiedź oceniająca zawiera id zachowania oraz p_present, p_absent i p_not_observable, których suma wynosi w przybliżeniu 1. Brak możliwości obserwacji oznacza, że ślad nie pozwala odpowiedzieć na pytanie. Jest to coś innego niż nieobecność. Dla definicji takiej jak akceptacja rozwiązania przez klienta fragment kończący się przed reakcją klienta stanowi niepełny materiał, nawet jeśli odpowiedź asystenta brzmi pewnie.

Zachowaj wszystkie trzy wartości podczas przygotowywania wyniku do przeglądu. Kategoria wybrana na podstawie najwyższej wartości może przydać się do wyświetlania, ale rozkład zachowuje informację o niepewności obserwacji. Nie używaj samej niskiej wartości obecności, by wnioskować, że zachowanie na pewno nie wystąpiło. Gdy dominuje brak materiału, użytecznym działaniem może być uzyskanie odpowiedniego kontekstu lub zachowanie wyniku jako nieznanego zamiast wymyślania wyjaśnienia.

Kilka definicji na tym samym materiale

Proces oceniania producenta wspólnie ocenia wiele definicji zachowań na jednym śladzie i zwraca wynik dla każdego identyfikatora w kolejności żądania. Dokumentacja nie określa limitu liczby zachowań w pojedynczym żądaniu. Nie ustanawia to uniwersalnego okna tokenów ani nieograniczonego rozmiaru śladu. Dbaj o celowość definicji i istotność materiału oraz zachowuj powiązanie każdego zwróconego wyniku z definicją, która go wytworzyła.

Wyniki zachowań są niezależnymi obserwacjami, a nie jedną odpowiedzią z wyborem wykluczającym inne. Frustracja, przeprosiny i proponowane przekazanie mogą być obecne w tej samej wymianie. Indywidualny rozkład trójdzielny każdego z nich ma znaczenie w ramach danej definicji; dodawanie wartości obecności różnych zachowań nie tworzy znormalizowanego rozkładu kategorii ani oceny według uporządkowanej rubryki.

Zachowaj wybrany profil z jego wynikami

Producent dokumentuje nazwy Lite i standardową ze wspólną postacią żądania i wyniku. Ten kontrakt pozwala przygotowywać ślady i interpretować prawdopodobieństwa zachowań dla każdego z nazwanych profili. Nie dowodzi, że Lite ma te same wagi, liczbę parametrów lub jakość co inne wydanie. Zachowaj możliwość identyfikacji wybranego profilu podczas przeglądania jego wyników, zamiast po cichu wymieniać wyniki z różnych wydań.

Używaj oznaczonych rozmów z docelowego zadania, by wybierać progi rejestrowania, kierowania lub przeglądu. Zachowuj do analizy wyniki z wysokim prawdopodobieństwem braku możliwości obserwacji i obserwacje graniczne oraz porównuj każdy pozorny błąd z pierwotną turą i definicją zachowania. Użyteczny artefakt końcowy zawiera identyfikator fragmentu tekstu, definicję, wybrany profil i pełny trójdzielny wynik prawdopodobieństw. Późniejszy krok aplikacji decyduje, co zrobić z tą obserwacją; wyjście oceniające Lite samo nie wykonuje przekazania, nie blokuje odpowiedzi ani nie generuje naprawy.