Respan: Span-01 Lite (free)

Span-01 Lite is een afzonderlijk benoemd modelprofiel in de Span-01-familie van Respan voor gedragsbeoordeling. De quickstart en modeltabel van de producent noemen Lite als een van de twee profielen die dezelfde beoordelingsworkflow gebruiken. Het ontvangt een tekstinteractie en gedragsdefinities in gewone taal en retourneert vervolgens drie waarschijnlijkheden voor elke definitie: aanwezig, afwezig en niet waarneembaar. De bruikbare uitvoer van het profiel is een gedragsrecord met expliciete onzekerheid, geen geschreven antwoord op het gesprek.

Kies de waarneming en de afbakening ervan

Definieer het gedrag in woorden die bij uw taak passen. Specificeer bij een overdrachtscontrole of dit betekent dat de gebruiker expliciet om een persoon vraagt, de assistent zegt dat een overdracht nodig is of een van beide voorwaarden geldt. Als louter teleurstelling niet mag meetellen, vermeld dat dan. Definieer bij een controle op excuses welke bewoordingen als verontschuldiging gelden in plaats van op een onduidelijk label te vertrouwen. Elke definitie heeft een identifier die de scorer met de bijbehorende waarschijnlijkheden teruggeeft.

De gedragsverzameling wordt door de aanroeper bepaald. Voorbeelden zoals frustratie, niet-onderbouwde beloften, toolmisbruik of herhaalde agentacties zijn aan te leveren definities, geen vaste lijst native categorieën. Houd elke definitie waarneembaar in de aangeleverde interactie. Een kort fragment kan vaststellen of de assistent zich heeft verontschuldigd, terwijl het geen bewijs bevat dat een extern probleem daadwerkelijk is opgelost.

Bereid het gespreksfragment voor

De gedocumenteerde invoer van Respan plaatst voorafgaande berichten in span.input en de te beoordelen beurt in span.output. De berichtinhoud is een tekenreeks. Behoud de context die nodig is om de beurt te begrijpen, waaronder sprekerrollen, het relevante gebruikersverzoek en eventuele tekstuele onderbouwing die de assistent heeft gebruikt. Lever voor een kwaliteitscontrole de daadwerkelijke beurt aan in plaats van een parafrase die het te beoordelen gedrag verwijdert.

Een illustratieve beoordeling kan een gebruikersbericht over herhaalde problemen en een assistentantwoord met een aanbod tot onderzoek nemen. Definieer gebruikersfrustratie en een belofte van de assistent als afzonderlijke waarnemingen. Als een toolresultaat belangrijk is om te beoordelen of een bewering onderbouwd was, behoud dan de relevante tekst van dat resultaat in de context. De uitvoer is een beoordeling van die definities in het aangeleverde fragment; het model voert het beloofde onderzoek niet uit en verandert het gesprek zelf niet.

Aanwezig, afwezig en niet waarneembaar

De beoordelingsrespons bevat de gedrags-id met p_present, p_absent en p_not_observable, die samen ongeveer 1 vormen. Niet waarneembaar betekent dat de trace de vraag niet kan beantwoorden. Het is onderscheiden van afwezig. Voor een definitie zoals klantacceptatie van een oplossing is een fragment dat vóór de klantreactie eindigt onvolledig bewijsmateriaal, ook als het antwoord van de assistent zelfverzekerd klinkt.

Bewaar alle drie de waarden wanneer u een resultaat voor beoordeling voorbereidt. Een categorie die op basis van de hoogste waarde wordt gekozen kan nuttig zijn voor een weergave, maar de verdeling bewaart hoe onzeker de waarneming was. Gebruik een lage aanwezigheidswaarde op zichzelf niet om te concluderen dat het gedrag beslist niet heeft plaatsgevonden. Wanneer ontbrekende onderbouwing overheerst, kan de bruikbare actie zijn de relevante context te verkrijgen of het resultaat als onbekend te behouden in plaats van een uitleg te verzinnen.

Meerdere definities over hetzelfde bewijsmateriaal

De beoordelingsworkflow van de producent evalueert meerdere gedragsdefinities samen over één trace en retourneert voor elke identifier een resultaat in de volgorde van de aanvraag. De documentatie specificeert geen limiet voor het aantal gedragingen per aanvraag. Dat stelt geen universeel tokenvenster of onbeperkte tracegrootte vast. Houd definities doelgericht en bewijsmateriaal relevant en behoud de koppeling tussen elk geretourneerd resultaat en de definitie die het heeft voortgebracht.

De gedragsresultaten zijn onafhankelijke waarnemingen in plaats van één antwoord met een exclusieve keuze. Frustratie, een verontschuldiging en een voorgestelde overdracht kunnen allemaal in dezelfde uitwisseling aanwezig zijn. Hun individuele drievoudige verdelingen hebben betekenis binnen elke definitie; aanwezigheidswaarden optellen over verschillende gedragingen levert geen genormaliseerde categorieverdeling of geordende rubriekscore op.

Bewaar het gekozen profiel bij de resultaten

De maker documenteert de namen Lite en standaard met een gedeelde aanvraag- en resultaatvorm. Dat contract ondersteunt het voorbereiden van traces en het interpreteren van gedragswaarschijnlijkheden voor beide benoemde profielen. Het stelt niet vast dat Lite dezelfde gewichten, hetzelfde aantal parameters of dezelfde kwaliteit als de andere editie heeft. Houd het gekozen profiel identificeerbaar wanneer u de resultaten beoordeelt in plaats van ongemerkt resultaten uit verschillende edities uit te wisselen.

Gebruik gelabelde gesprekken uit de beoogde taak om drempels voor logging, routering of beoordeling te kiezen. Bewaar hoge niet-waarneembaarresultaten en grensgevallen voor onderzoek en vergelijk elke schijnbare fout met de oorspronkelijke beurt en gedragsdefinitie. Het bruikbare uiteindelijke artefact bevat de identifier van het tekstfragment, de definitie, het gekozen profiel en het volledige drievoudige waarschijnlijkheidsresultaat. Een latere toepassingsstap beslist wat met die waarneming gebeurt; de scoringsuitvoer van Lite voert zelf geen overdracht uit, blokkeert geen antwoord en genereert geen herstel.