Respan: Span-01

Span-01 er Respans model til adfærdsscoring af samtaler og agentspor. Den læser en tekstinteraktion sammen med adfærdsdefinitioner skrevet i almindeligt sprog og returnerer sandsynligheder for hver definition. Outputtet skelner mellem adfærd, der er til stede, fraværende eller ikke observerbar i det indsendte spor. Det giver en evalueringsarbejdsgang et numerisk signal med en eksplicit måde at repræsentere manglende evidens på frem for en genereret forklaring, der skal fortolkes.

Definér den adfærd, du vil observere

Adfærdstyperne indsendes af kalderen. Prompt injection, påstande uden belæg, eksponering af hemmeligheder, gentagne løkker, misbrug af værktøjer og brugerfrustration er mulige definitioner, ikke en fast taksonomi indbygget i modellen. Angiv, hvad der tæller som adfærden, og hvad der ikke gør. En snæver definition kan skelne mellem en bruger, der beder om overdragelse til et menneske, og en bruger, der blot udtrykker skuffelse. En anden kan skelne mellem en assistent, der anerkender et problem, og en assistent, der lover en handling, den ikke kan udføre.

Brug stabile identifikatorer sammen med definitionerne, så resultaterne forbliver knyttet til den adfærd, der vurderes. Hold kriteriet fokuseret på noget, sporet kan vise. Hvis adfærden kræver et kildedokument, et værktøjsresultat eller et senere kundesvar, skal denne evidens medtages i tekstinteraktionen, hvor den hører til. En definition alene kan ikke fastslå et forhold, der mangler i sporet.

Forbered den forudgående kontekst og den ønskede samtaletur

Det dokumenterede input adskiller forudgående beskeder i span.input fra den ønskede samtaletur i span.output. Hver beskeds indhold er en streng. Indsend den faktiske samtalekontekst og den samtaletur, du vil have scoret, og bevar talerrollerne og den rækkefølge, der kræves for at fortolke den. Dette er en profil til tekstscoring; forberedt dokumenttekst eller en transskription kan være evidens, mens medierne, som teksten stammer fra, ikke i sig selv er det dokumenterede input.

Ved en supportinteraktion skal kundens anmodning bevares sammen med assistentens foreslåede svar. For en agent, der bruger værktøjer, skal den relevante værktøjsobservation og det svar, der byggede på den, bevares. En eksempeldefinition af evidensforankring kan spørge, om assistenten fremsætter en konklusion, som den indsendte observation ikke understøtter. Det nyttige resultat vedrører den definerede adfærd i dette uddrag og er ikke en fuldstændig diagnose af hele applikationen.

Læs tre sandsynligheder for hver definition

Hvert resultat indeholder adfærdens identifikator samt p_present, p_absent og p_not_observable. De tre sandsynligheder summerer til cirka 1. Til stede estimerer, at adfærden forekom; fraværende estimerer, at den ikke gjorde; ikke observerbar estimerer, at det indsendte uddrag mangler den evidens, der kræves for at afgøre det. Det er separate betydninger, som bør holdes adskilt ved fortolkning af resultater.

Et uddrag, der slutter med, at en assistent siger, den vil løse et problem, kan eksempelvis vise et løfte. Det kan endnu ikke vise, at kunden accepterede den senere løsning, hvis der ikke er noget kundesvar. Behandl dette resultat med manglende evidens som ukendt frem for at omdanne det til fraværende. En lav sandsynlighed for tilstedeværelse er ikke automatisk stærk evidens for fravær, når en væsentlig del af fordelingen er ikke observerbar.

Scoring af adfærdsdefinitioner i én gennemløbning

Respan beskriver Span-01 som en ræsonnerende klassifikator, der først er trænet til generel klassifikation med RLAIF og derefter specialiseret til adfærdsgenkendelse. Hver definition kører som en parallel gren over samme spor, og modellen returnerer adfærdssandsynlighederne i én fremadrettet beregning. Hybrid attention understøtter dens behandling af lange, komplekse spor. Den genererer ikke tokens, skriver ikke en fortællende vurdering og producerer ikke en fri forklaring af klassifikationen.

Begrebsvejledningen og scoringsreferencen dokumenterer ingen grænse for antallet af adfærdstyper pr. anmodning. Hver definition er stadig en del af den indsendte evaluering, så hold dem tydelige og relevante frem for at behandle fraværet af en antalsgrænse som evidens for ubegrænset inputkapacitet. Resultatet indeholder én post pr. adfærdstype i anmodningens rækkefølge, identificeret med dens id. Flere definitioner beskriver flere uafhængige observationer; de er ikke gensidigt udelukkende kategorivalg, der skal summere til én på tværs af adfærdstyperne.

Forbered et nyttigt evalueringsresultat

Kombinér de returnerede sandsynligheder med opgavespecifikke tærskler og gennemgangsregler uden for modellen. Producenten anbefaler at bruge mærkede samtaler til at vælge disse tærskler og undersøge grænsetilfælde for tilstedeværelse eller resultater med høj sandsynlighed for ikke observerbar. En supportarbejdsgang kan registrere frustration, en foreslået eskalering og et løfte uden belæg separat. En arbejdsgang for agentkvalitet kan spore gentagne handlinger eller vurdere, om et svar brugte den evidens, der var stillet til rådighed.

Gem tekstuddraget, adfærdsdefinitionen, resultatidentifikatoren og hele den tredelte fordeling sammen. Når definitionen ændres, skal du anerkende, at det ændrer, hvad sandsynligheden måler. Gennemgå tilsyneladende fejl ud fra den faktiske samtale frem for at behandle et numerisk resultat som bevis for en uobserveret hændelse. Et nyttigt resultat er en adfærdsregistrering knyttet til sporet og kriteriet, hvor usikkerhed bevares til senere undersøgelse eller en applikations næste beslutning.