Slik bruker du LLM-as-a-Judge
MarkdownBruk én modell til å vurdere en annen opp mot en vurderingsrubrikk. Lær om punktvis vurdering kontra parvis vurdering, vanlige skjevheter og hvordan du kan kontrollere dem.
Bruk én modell til å vurdere en annen opp mot en vurderingsrubrikk. Lær om punktvis vurdering kontra parvis vurdering, vanlige skjevheter og hvordan du kan kontrollere dem.
Hva er LLM-as-a-judge?
LLM-as-a-judge betyr å bruke en språkmodell til å evaluere utdataene fra en annen modell opp mot kriterier du definerer. I stedet for å sammenligne strenger leser dommeren utdataene og returnerer en poengsum eller en vurdering.
Paradigmet ble formalisert av Zheng et al. i 2023. De fant at en sterk modell var enig med menneskelige preferanser over 80 % av tiden, omtrent like ofte som to mennesker er enige med hverandre. Det er løftet: menneskelignende vurderinger i maskinskala og til maskinkostnad.
Ulempen er at en dommer er en modell og derfor arver modellens særegenheter. Brukt uforsiktig gir den selvsikre poengsummer som måler feil ting.
Når bør du bruke det, og når bør du la være?
En dommer er riktig verktøy for kvalitet med åpne svar, som er vanskelig å vurdere nøyaktig. Det er feil verktøy når en billigere, deterministisk kontroll er tilstrekkelig.
Bruk en dommer til å vurdere hjelpsomhet, tone, sammenheng, trofasthet mot en kilde eller «hvilket av disse to svarene er best». Dropp den for alt som allerede kan dekkes av et programmatisk mål: etiketter, nøyaktige verdier, gyldig skjema eller om et påkrevd faktum er med.
Tommelfingerregelen er å prøve å gjøre kontrollen deterministisk først. Bare når du virkelig ikke kan det, bør du overlate avgjørelsen til en dommer.
Punktvis vurdering kontra parvis vurdering
Det finnes to måter å be en dommer om å vurdere på, og de passer til ulike oppgaver.
| Modus | Spørsmålet | Best egnet til | Svakhet |
|---|---|---|---|
| Punktvis | «Vurder disse utdataene fra 1 til 5 opp mot vurderingsrubrikken.» | Absolutte poengsummer til et dashbord eller en CI-port | Kalibreringen driver; poengsummene er vanskelige å sammenligne mellom kjøringer |
| Parvis | «Hvilken er best, A eller B?» | Sammenligning av to prompter eller to modeller | Gir en vinner, ikke en absolutt poengsum; følsom for rekkefølgen |
Parvis vurdering stemmer vanligvis bedre overens med menneskelige vurderinger, fordi relativ sammenligning er enklere enn absolutt kalibrering. Velg den når du A/B-tester en endring, og bruk punktvis vurdering når du trenger et frittstående tall.
Skriv dommerprompten
En dommer er bare så god som vurderingsrubrikken sin. En vag prompt viderefører modellens løse antakelser, så gjør kriteriene tydelige og be dommeren resonnere før den setter poeng.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
To detaljer er viktige. Å be om trinnvis resonnement før vurderingen (en chain-of-thought-prompt) forbedrer samsvaret med mennesker. Den eksplisitte linjen «ikke belønn lengde eller stil» motvirker dessuten direkte en skjevhet som omtales nedenfor.
De fire skjevhetene du må håndtere
En dommer er ingen nøytral fasit. Forskning har dokumentert systematiske skjevheter, og dette er egenskaper ved metoden, ikke feil du kan fjerne helt med en prompt.
| Skjevhet | Hva skjer | Tiltak |
|---|---|---|
| Posisjonsskjevhet | Ved parvis vurdering vinner svaret i plass A oftere enn det som kan tilskrives tilfeldigheter | Kjør begge rekkefølgene (A/B og B/A), og stol bare på en vurdering hvis begge er enige |
| Ordrikhetsskjevhet | Lengre svar får høyere poengsum selv når kvaliteten er den samme | Trekk for lengde i vurderingsrubrikken, eller bruk seiersrater kontrollert for lengde |
| Egenpreferanse | En dommer favoriserer utdata fra sin egen modellfamilie | Bruk en dommer fra en annen familie enn modellen som testes |
| Formatskjevhet | Dommeren foretrekker formatet den selv liker best (prosa fremfor JSON osv.) | Oppgi påkrevd format i vurderingsrubrikken, og vurder innholdet, ikke formen |
Den viktigste av disse er posisjonsskjevhet, fordi den er lett å fange opp i kode, og fordi den i det stille forvrenger hver parvise sammenligning du gjør.
Kontroller posisjonsskjevhet i kode
Løsningen på posisjonsskjevhet er enkel: vurder hvert par to ganger, og bytt om på rekkefølgen til utdataene. Kår bare en vinner hvis vurderingen er den samme begge ganger. Hvis den endres bare på grunn av rekkefølgen, gjetter dommeren.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Lim dette inn i debias.py og kjør python debias.py. Resultatet blir nøyaktig:
biased: tie/uncertain (verdict flipped on order)
fair: x
Avskjevingen gjorde jobben sin. Den fanget opp den skjeve dommeren og nektet å kåre en vinner, samtidig som den lot den rettferdige dommerens stabile vurdering stå. Hvis du vil bruke en ekte dommer, erstatter du judge med en funksjon som kaller en LLM med vurderingsprompten ovenfor og returnerer «A» eller «B».
Revider dommeren din
Før du stoler på en dommer i produksjon, måler du den. En dommer du ikke har revidert, er et måltall du ikke kan forsvare.
Lag et lite kalibreringssett med kjente, gode vurderinger, helst merket av mennesker. Kjør dommeren og kontroller to ting: hvor ofte den er enig med de menneskelige etikettene, og hvor ofte en parvis vurdering endres når du bytter rekkefølge. En endringsrate over omtrent 5 % betyr at posisjonsskjevhet fortsatt slipper gjennom.
Kjør denne revisjonen på nytt hver gang du endrer dommermodellen. En mindre versjonsoppgradering kan forskyve poengfordelingen, så kalibrering er ikke en engangsoppgave.
Den hybride tilnærmingen
Et pålitelig oppsett baserer seg ikke bare på en dommer. Det legger tre typer kontroller oppå hverandre, fra billigst til dyrest.
- Deterministiske måltall håndterer alt de kan (etiketter, skjema, påkrevde fakta).
- LLM-dommeren vurderer bare de åpne kvalitetsaspektene som gjenstår.
- Et menneske kontrollerer et utvalg av dommerens vurderinger for å holde den ærlig.
Hvert lag dekker blindsonen til laget før. Dommeren er et kraftig mellomledd, ikke hele stakken.
Vanlige feil
De fleste upålitelige dommere har noen få fellestrekk.
De vanligste er:
- Å bruke samme modell som generator og dommer, noe som bygger inn egenpreferanse.
- Å skrive en vag vurderingsrubrikk, slik at dommeren vurderer etter skjulte antakelser.
- Å kjøre parvis vurdering bare i én rekkefølge, slik at posisjonsskjevhet ikke blir oppdaget.
- Aldri å kalibrere mot mennesker, slik at du ikke kan si om dommeren har rett.
Løs dette ved å skille dommeren fra modellen som testes, skrive en tydelig vurderingsrubrikk, alltid bytte rekkefølge og revidere mot menneskelige etiketter.
Kilder
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Paradigmet LLM-as-a-judge, over 80 % samsvar med menneskelige preferanser og skjevhetene knyttet til posisjon, ordrikhet og selvforsterkning.
Ofte stilte spørsmål
Hva er LLM-as-a-judge?
Å bruke én språkmodell til å vurdere utdataene fra en annen opp mot en vurderingsrubrikk, for kvaliteter som ikke kan fanges opp med eksakt samsvar, for eksempel hjelpsomhet, tone eller trofasthet.
Kan jeg bruke samme modell til å generere og vurdere?
Nei. En dommer favoriserer utdata fra sin egen modellfamilie (egenpreferanseskjevhet), så det å la din egen modell være dommer blåser opp poengsummen. Bruk en dommer fra en annen familie.
Hvordan stanser jeg posisjonsskjevhet?
Kjør hver parvise sammenligning i begge rekkefølger, og godta bare en vurdering som holder begge veier. Hvis den endres bare på grunn av rekkefølgen, behandler du den som uavgjort.
Bruk denne veiledningen med Ailoot
Koble AI-modeller til appene, agentene og automatiseringene dine gjennom ett Ailoot-API. Velg modellen som passer til oppgaven din, og følg Ailoot-dokumentasjonen for å komme i gang.