Blog

Sådan bruger du LLM-as-a-Judge

Markdown

Brug én model til at bedømme en anden ud fra en vurderingsrubrik. Lær om bedømmelse af enkeltstående svar og parvis bedømmelse, almindelige bias og måder at håndtere dem på.

Brug én model til at bedømme en anden ud fra en vurderingsrubrik. Lær om bedømmelse af enkeltstående svar og parvis bedømmelse, almindelige bias og måder at håndtere dem på.

Hvad er LLM-as-a-Judge?

LLM-as-a-Judge betyder, at man bruger en sprogmodel til at evaluere en anden models output ud fra kriterier, man selv definerer. I stedet for at sammenligne strenge læser bedømmeren outputtet og returnerer en score eller en afgørelse.

Zheng et al. formaliserede paradigmet i 2023 og fandt, at en stærk model var enig med menneskelige præferencer i over 80 % af tilfældene, omtrent samme hyppighed som når to mennesker er enige med hinanden. Det er løftet: menneskelignende vurderinger i maskinskala og til maskinpris.

Ulempen er, at en bedømmer er en model og derfor arver modellens særheder. Hvis den bruges skødesløst, giver den selvsikre scorer, der måler det forkerte.

Hvornår du skal bruge det – og hvornår ikke

En bedømmer er det rette værktøj til åbne kvalitetsvurderinger, der er svære at score præcist. Det er det forkerte værktøj, når en billigere, deterministisk kontrol kan klare opgaven.

Brug en bedømmer til hjælpsomhed, tone, sammenhæng, trofasthed over for en kilde eller spørgsmålet »hvilket af disse to svar er bedst?«. Drop den til alt, hvad en programmatisk måling allerede dækker: labels, præcise værdier, gyldigt skema eller tilstedeværelsen af en påkrævet oplysning.

Tommelfingerregel: Prøv først at gøre kontrollen deterministisk. Overlad først beslutningen til en bedømmer, når du virkelig ikke kan gøre det.

Bedømmelse af enkeltstående svar kontra parvis bedømmelse

Der er to måder at bede en bedømmer om at score på, og de passer til forskellige opgaver.

TilstandSpørgsmåletBedst tilSvaghed
Enkeltstående svar»Vurdér dette output fra 1 til 5 ud fra vurderingsrubrikken.«Absolutte scorer til et dashboard eller en CI-portKalibreringen driver; scorer er svære at sammenligne på tværs af kørsler
Parvis»Hvilket er bedst, A eller B?«Sammenligning af to prompts eller to modellerGiver en vinder, ikke en absolut score; følsom over for rækkefølgen

Parvis bedømmelse stemmer som regel bedre overens med mennesker, fordi relative sammenligninger er nemmere end absolut kalibrering. Brug den, når du A/B-tester en ændring, og brug bedømmelse af enkeltstående svar, når du har brug for et selvstændigt tal.

Skriv bedømmerens prompt

En bedømmer er kun så god som sin vurderingsrubrik. En vag prompt arver modellens uforankrede antagelser, så gør kriterierne tydelige, og bed bedømmeren ræsonnere, før den scorer.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

To detaljer er vigtige. At bede om trinvis ræsonnering før afgørelsen (en chain-of-thought-prompt) forbedrer overensstemmelsen med mennesker. Og den eksplicitte linje »beløn ikke længde eller stil« modvirker direkte en bias, der gennemgås i næste afsnit.

De fire bias, du skal håndtere

En bedømmer er ikke et neutralt orakel. Forskning har dokumenteret gennemgående bias, og de er egenskaber ved metoden – ikke fejl, du helt kan prompte dig ud af.

BiasHvad sker derAfhjælpning
PositionsbiasVed parvis bedømmelse vinder svaret i plads A oftere end tilfældet tilsigerKør begge rækkefølger (A/B og B/A), og stol kun på en afgørelse, der er den samme begge gange
OrdrigbedsbiasLængere svar får højere scorer, selv når kvaliteten er den sammeStraf længde i vurderingsrubrikken, eller brug sejrsrater kontrolleret for længde
SelvpræferenceEn bedømmer foretrækker output fra sin egen modelfamilieBrug en bedømmer fra en anden familie end modellen, der testes
FormatbiasBedømmeren foretrækker sit foretrukne format (prosa frem for JSON osv.)Angiv det krævede format i vurderingsrubrikken, og bedøm indholdet, ikke formen

Den vigtigste af disse er positionsbias, fordi den er nem at opdage i kode og lydløst forvrænger enhver parvis sammenligning, du udfører.

Håndtér positionsbias i kode

Løsningen på positionsbias er enkel: Bedøm hvert par to gange, og byt om på, hvilket output der står først. Udpeg kun en vinder, hvis afgørelsen er den samme begge gange. Hvis den ændres alene på grund af rækkefølgen, gætter bedømmeren.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Indsæt dette i debias.py, og kør python debias.py. Du får præcis:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Afhjælpningen virkede. Den fangede den biased bedømmer og nægtede at udpege en vinder, mens den lod den fair bedømmers stabile afgørelse gå igennem. Hvis du vil bruge en rigtig bedømmer, skal du erstatte judge med en funktion, der kalder en LLM med vurderingsrubrikkens prompt ovenfor og returnerer »A« eller »B«.

Auditér din bedømmer

Mål bedømmeren, før du stoler på den i produktion. En bedømmer, du ikke har auditeret, er et måltal, du ikke kan forsvare.

Byg et lille kalibreringssæt med eksempler, hvor de korrekte afgørelser er kendte, helst mærket af mennesker. Kør bedømmeren, og kontrollér to ting: hvor ofte den er enig med de menneskelige labels, og hvor ofte en parvis afgørelse skifter, når du bytter rækkefølgen. En skiftefrekvens på over cirka 5 % betyder, at positionsbias stadig slipper igennem.

Kør denne audit igen, hver gang du ændrer bedømmelsesmodellen. En mindre versionsopdatering kan ændre scorefordelingen, så kalibrering er ikke en engangsopgave.

Det hybride mønster

Et pålideligt setup baserer sig ikke kun på en bedømmer. Det kombinerer tre slags kontroller, fra den billigste til den dyreste.

  • Deterministiske målinger håndterer alt det, de kan (labels, skema, påkrævede oplysninger).
  • LLM-bedømmeren scorer kun de åbne kvaliteter, der er tilbage.
  • Et menneske stikprøvekontrollerer et udvalg af bedømmerens afgørelser for at sikre, at den fortsat er troværdig.

Hvert lag dækker den foregående kontrols blinde vinkel. Bedømmeren er et stærkt mellemlag, ikke hele stakken.

Almindelige fejl

De fleste upålidelige bedømmere har nogle fælles årsager.

De hyppigste:

  • At bruge den samme model som generator og bedømmer, hvilket indbygger selvpræference.
  • At skrive en vag vurderingsrubrik, så bedømmeren scorer ud fra skjulte antagelser.
  • Kun at køre parvis bedømmelse i én rækkefølge, så positionsbias ikke opdages.
  • Aldrig at kalibrere mod mennesker, så du ikke kan sige, om bedømmeren har ret.

Ret op på dette ved at adskille bedømmeren fra modellen, der testes, skrive en tydelig vurderingsrubrik, altid bytte rækkefølgen og auditere mod menneskelige labels.

Kilder

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). LLM-as-a-Judge-paradigmet, over 80 % overensstemmelse med menneskelige præferencer samt positionsbias, ordrigbedsbias og selvforstærkningsbias.

Ofte stillede spørgsmål

Hvad er LLM-as-a-Judge?

At bruge én sprogmodel til at score en anden models output ud fra en vurderingsrubrik for kvaliteter, som eksakt matchning ikke kan indfange, f.eks. hjælpsomhed, tone eller trofasthed.

Kan jeg bruge den samme model til at generere og bedømme?

Nej. En bedømmer foretrækker output fra sin egen familie (selvpræferencebias), så bedømmelse af din egen model puster scoren op. Brug en bedømmer fra en anden familie.

Hvordan stopper jeg positionsbias?

Kør hver parvis sammenligning i begge rækkefølger, og godkend kun en afgørelse, der holder begge gange. Hvis den ændres alene på grund af rækkefølgen, skal du behandle den som uafgjort.

Brug denne guide sammen med Ailoot

Forbind AI-modeller med dine applikationer, agenter og automatiseringer via én Ailoot-API. Vælg den model, der passer til din opgave, og følg Ailoot-dokumentationen for at komme i gang.