Respan: Span-01 Lite (free)

Span-01 Lite är en separat namngiven modellprofil i Respans familj Span-01 för beteendepoängsättning. Producentens snabbstartsguide och modelltabell anger Lite som en av de två profiler som använder samma poängsättningsflöde. Den tar emot en textinteraktion och beteendedefinitioner på vanligt språk och returnerar sedan tre sannolikheter för varje definition: närvarande, frånvarande och ej observerbart. Profilens användbara utdata är en beteendepost med uttrycklig osäkerhet, inte ett skrivet svar i konversationen.

Välj observationen och dess gräns

Definiera beteendet med ord som passar din uppgift. För en kontroll av överlämning anger du om det betyder att användaren uttryckligen ber om en människa, att assistenten säger att en överlämning behövs eller att något av villkoren gäller. Om ren besvikelse inte ska räknas, säg det. För en kontroll av ursäkter definierar du vilka formuleringar som utgör en ursäkt i stället för att förlita dig på en oklar etikett. Varje definition har en identifierare som poängsättaren returnerar tillsammans med sannolikheterna.

Beteendeuppsättningen tillhör anroparen. Exempel som frustration, ogrundade löften, felaktig verktygsanvändning eller repetitiva agentåtgärder är definitioner som du själv anger, inte en fast lista med inbyggda kategorier. Håll varje definition observerbar i den angivna interaktionen. Ett kort avsnitt kan avgöra om assistenten bad om ursäkt men samtidigt sakna belägg för att ett externt problem faktiskt löstes.

Förbered konversationsavsnittet

Respans dokumenterade indata placerar föregående meddelanden i span.input och den tur som utvärderas i span.output. Meddelandeinnehållet är en sträng. Behåll den kontext som behövs för att förstå turen, inklusive talarroller, den relevanta användarbegäran och eventuella textbelägg som assistenten använde. För en kvalitetskontroll anger du den faktiska turen i stället för en omskrivning som tar bort det beteende som bedöms.

En illustrativ granskning kan utgå från ett användarmeddelande som beskriver återkommande problem och ett assistentsvar som erbjuder sig att undersöka saken. Definiera användarens frustration och assistentens löfte som separata observationer. Om ett verktygsresultat är viktigt för att bedöma om ett påstående var grundat, behåll den relevanta texten från resultatet i kontexten. Utdatan är en utvärdering av dessa definitioner i det angivna avsnittet; modellen utför inte den utlovade undersökningen och ändrar inte själva konversationen.

Närvarande, frånvarande och ej observerbart

Poängsättningssvaret innehåller beteendets id med p_present, p_absent och p_not_observable, som tillsammans summerar till ungefär 1. Ej observerbart betyder att spåret inte kan besvara frågan. Det skiljer sig från frånvarande. För en definition som kundens godkännande av en lösning är ett avsnitt som slutar innan kunden reagerar ofullständigt underlag, även om assistentens svar låter säkert.

Behåll alla tre värdena när du förbereder ett resultat för granskning. En kategori som väljs utifrån det högsta värdet kan vara användbar för visning, men fördelningen bevarar hur osäker observationen var. Använd inte enbart ett lågt närvarovärde för att dra slutsatsen att beteendet definitivt inte inträffade. När saknat underlag dominerar kan den användbara åtgärden vara att hämta den relevanta kontexten eller att behålla resultatet som okänt i stället för att hitta på en förklaring.

Flera definitioner över samma underlag

Producentens poängsättningsflöde utvärderar flera beteendedefinitioner tillsammans över ett spår och returnerar ett resultat för varje identifierare i samma ordning som i begäran. Dokumentationen anger inget tak för antalet beteenden per begäran. Det innebär inte ett universellt tokenfönster eller obegränsad spårstorlek. Håll definitionerna ändamålsenliga och underlaget relevant, och bevara kopplingen mellan varje returnerat resultat och den definition som gav upphov till det.

Beteenderesultaten är oberoende observationer snarare än ett enda svar med ömsesidigt uteslutande val. Frustration, en ursäkt och en föreslagen överlämning kan alla förekomma i samma utbyte. Deras enskilda trevägsfördelningar har betydelse inom respektive definition; att addera närvarovärden över olika beteenden ger varken en normaliserad kategorifördelning eller en ordnad poäng enligt en bedömningsmatris.

Behåll den valda profilen tillsammans med resultaten

Tillverkaren dokumenterar Lite-namnet och standardnamnet med en gemensam form för begäran och resultat. Det kontraktet stöder förberedelse av spår och tolkning av beteendesannolikheter för båda de namngivna profilerna. Det visar inte att Lite har samma vikter, antal parametrar eller kvalitet som den andra utgåvan. Håll den valda profilen identifierbar när du granskar dess resultat i stället för att i det tysta byta ut resultat från olika utgåvor.

Använd märkta konversationer från den avsedda uppgiften för att välja tröskelvärden för loggning, routning eller granskning. Behåll resultat med högt värde för ej observerbart och gränsfallsobservationer för inspektion, och jämför varje skenbart fel med den ursprungliga turen och beteendedefinitionen. Den användbara slutliga artefakten innehåller textavsnittets identifierare, definitionen, den valda profilen och det fullständiga trevägsresultatet med sannolikheter. Ett senare steg i applikationen avgör vad som ska göras med observationen; Lites poängutdata utför inte i sig en överlämning, blockerar inte ett svar och genererar ingen rättelse.