Sådan bruger du LLM-as-a-Judge
MarkdownBrug én model til at bedømme en anden ud fra en vurderingsrubrik. Lær om bedømmelse af enkeltstående svar og parvis bedømmelse, almindelige bias og måder at håndtere dem på.
Brug én model til at bedømme en anden ud fra en vurderingsrubrik. Lær om bedømmelse af enkeltstående svar og parvis bedømmelse, almindelige bias og måder at håndtere dem på.
Hvad er LLM-as-a-Judge?
LLM-as-a-Judge betyder, at man bruger en sprogmodel til at evaluere en anden models output ud fra kriterier, man selv definerer. I stedet for at sammenligne strenge læser bedømmeren outputtet og returnerer en score eller en afgørelse.
Zheng et al. formaliserede paradigmet i 2023 og fandt, at en stærk model var enig med menneskelige præferencer i over 80 % af tilfældene, omtrent samme hyppighed som når to mennesker er enige med hinanden. Det er løftet: menneskelignende vurderinger i maskinskala og til maskinpris.
Ulempen er, at en bedømmer er en model og derfor arver modellens særheder. Hvis den bruges skødesløst, giver den selvsikre scorer, der måler det forkerte.
Hvornår du skal bruge det – og hvornår ikke
En bedømmer er det rette værktøj til åbne kvalitetsvurderinger, der er svære at score præcist. Det er det forkerte værktøj, når en billigere, deterministisk kontrol kan klare opgaven.
Brug en bedømmer til hjælpsomhed, tone, sammenhæng, trofasthed over for en kilde eller spørgsmålet »hvilket af disse to svar er bedst?«. Drop den til alt, hvad en programmatisk måling allerede dækker: labels, præcise værdier, gyldigt skema eller tilstedeværelsen af en påkrævet oplysning.
Tommelfingerregel: Prøv først at gøre kontrollen deterministisk. Overlad først beslutningen til en bedømmer, når du virkelig ikke kan gøre det.
Bedømmelse af enkeltstående svar kontra parvis bedømmelse
Der er to måder at bede en bedømmer om at score på, og de passer til forskellige opgaver.
| Tilstand | Spørgsmålet | Bedst til | Svaghed |
|---|---|---|---|
| Enkeltstående svar | »Vurdér dette output fra 1 til 5 ud fra vurderingsrubrikken.« | Absolutte scorer til et dashboard eller en CI-port | Kalibreringen driver; scorer er svære at sammenligne på tværs af kørsler |
| Parvis | »Hvilket er bedst, A eller B?« | Sammenligning af to prompts eller to modeller | Giver en vinder, ikke en absolut score; følsom over for rækkefølgen |
Parvis bedømmelse stemmer som regel bedre overens med mennesker, fordi relative sammenligninger er nemmere end absolut kalibrering. Brug den, når du A/B-tester en ændring, og brug bedømmelse af enkeltstående svar, når du har brug for et selvstændigt tal.
Skriv bedømmerens prompt
En bedømmer er kun så god som sin vurderingsrubrik. En vag prompt arver modellens uforankrede antagelser, så gør kriterierne tydelige, og bed bedømmeren ræsonnere, før den scorer.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
To detaljer er vigtige. At bede om trinvis ræsonnering før afgørelsen (en chain-of-thought-prompt) forbedrer overensstemmelsen med mennesker. Og den eksplicitte linje »beløn ikke længde eller stil« modvirker direkte en bias, der gennemgås i næste afsnit.
De fire bias, du skal håndtere
En bedømmer er ikke et neutralt orakel. Forskning har dokumenteret gennemgående bias, og de er egenskaber ved metoden – ikke fejl, du helt kan prompte dig ud af.
| Bias | Hvad sker der | Afhjælpning |
|---|---|---|
| Positionsbias | Ved parvis bedømmelse vinder svaret i plads A oftere end tilfældet tilsiger | Kør begge rækkefølger (A/B og B/A), og stol kun på en afgørelse, der er den samme begge gange |
| Ordrigbedsbias | Længere svar får højere scorer, selv når kvaliteten er den samme | Straf længde i vurderingsrubrikken, eller brug sejrsrater kontrolleret for længde |
| Selvpræference | En bedømmer foretrækker output fra sin egen modelfamilie | Brug en bedømmer fra en anden familie end modellen, der testes |
| Formatbias | Bedømmeren foretrækker sit foretrukne format (prosa frem for JSON osv.) | Angiv det krævede format i vurderingsrubrikken, og bedøm indholdet, ikke formen |
Den vigtigste af disse er positionsbias, fordi den er nem at opdage i kode og lydløst forvrænger enhver parvis sammenligning, du udfører.
Håndtér positionsbias i kode
Løsningen på positionsbias er enkel: Bedøm hvert par to gange, og byt om på, hvilket output der står først. Udpeg kun en vinder, hvis afgørelsen er den samme begge gange. Hvis den ændres alene på grund af rækkefølgen, gætter bedømmeren.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Indsæt dette i debias.py, og kør python debias.py. Du får præcis:
biased: tie/uncertain (verdict flipped on order)
fair: x
Afhjælpningen virkede. Den fangede den biased bedømmer og nægtede at udpege en vinder, mens den lod den fair bedømmers stabile afgørelse gå igennem. Hvis du vil bruge en rigtig bedømmer, skal du erstatte judge med en funktion, der kalder en LLM med vurderingsrubrikkens prompt ovenfor og returnerer »A« eller »B«.
Auditér din bedømmer
Mål bedømmeren, før du stoler på den i produktion. En bedømmer, du ikke har auditeret, er et måltal, du ikke kan forsvare.
Byg et lille kalibreringssæt med eksempler, hvor de korrekte afgørelser er kendte, helst mærket af mennesker. Kør bedømmeren, og kontrollér to ting: hvor ofte den er enig med de menneskelige labels, og hvor ofte en parvis afgørelse skifter, når du bytter rækkefølgen. En skiftefrekvens på over cirka 5 % betyder, at positionsbias stadig slipper igennem.
Kør denne audit igen, hver gang du ændrer bedømmelsesmodellen. En mindre versionsopdatering kan ændre scorefordelingen, så kalibrering er ikke en engangsopgave.
Det hybride mønster
Et pålideligt setup baserer sig ikke kun på en bedømmer. Det kombinerer tre slags kontroller, fra den billigste til den dyreste.
- Deterministiske målinger håndterer alt det, de kan (labels, skema, påkrævede oplysninger).
- LLM-bedømmeren scorer kun de åbne kvaliteter, der er tilbage.
- Et menneske stikprøvekontrollerer et udvalg af bedømmerens afgørelser for at sikre, at den fortsat er troværdig.
Hvert lag dækker den foregående kontrols blinde vinkel. Bedømmeren er et stærkt mellemlag, ikke hele stakken.
Almindelige fejl
De fleste upålidelige bedømmere har nogle fælles årsager.
De hyppigste:
- At bruge den samme model som generator og bedømmer, hvilket indbygger selvpræference.
- At skrive en vag vurderingsrubrik, så bedømmeren scorer ud fra skjulte antagelser.
- Kun at køre parvis bedømmelse i én rækkefølge, så positionsbias ikke opdages.
- Aldrig at kalibrere mod mennesker, så du ikke kan sige, om bedømmeren har ret.
Ret op på dette ved at adskille bedømmeren fra modellen, der testes, skrive en tydelig vurderingsrubrik, altid bytte rækkefølgen og auditere mod menneskelige labels.
Kilder
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). LLM-as-a-Judge-paradigmet, over 80 % overensstemmelse med menneskelige præferencer samt positionsbias, ordrigbedsbias og selvforstærkningsbias.
Ofte stillede spørgsmål
Hvad er LLM-as-a-Judge?
At bruge én sprogmodel til at score en anden models output ud fra en vurderingsrubrik for kvaliteter, som eksakt matchning ikke kan indfange, f.eks. hjælpsomhed, tone eller trofasthed.
Kan jeg bruge den samme model til at generere og bedømme?
Nej. En bedømmer foretrækker output fra sin egen familie (selvpræferencebias), så bedømmelse af din egen model puster scoren op. Brug en bedømmer fra en anden familie.
Hvordan stopper jeg positionsbias?
Kør hver parvis sammenligning i begge rækkefølger, og godkend kun en afgørelse, der holder begge gange. Hvis den ændres alene på grund af rækkefølgen, skal du behandle den som uafgjort.
Brug denne guide sammen med Ailoot
Forbind AI-modeller med dine applikationer, agenter og automatiseringer via én Ailoot-API. Vælg den model, der passer til din opgave, og følg Ailoot-dokumentationen for at komme i gang.