LLM-as-a-Judge gebruiken
MarkdownGebruik het ene model om een ander model aan de hand van een rubric te beoordelen. Lees over puntgewijze versus paarsgewijze beoordeling, veelvoorkomende vooroordelen en manieren om die te beheersen.
Gebruik het ene model om een ander model aan de hand van een rubric te beoordelen. Lees over puntgewijze versus paarsgewijze beoordeling, veelvoorkomende vooroordelen en manieren om die te beheersen.
Wat is LLM-as-a-judge?
LLM-as-a-judge is het gebruik van een taalmodel om de uitvoer van een ander model te beoordelen aan de hand van criteria die je zelf vaststelt. In plaats van strings te vergelijken, leest de beoordelaar de uitvoer en geeft die een score of oordeel.
Zheng et al. formaliseerden dit paradigma in 2023. Ze ontdekten dat een sterk model het in meer dan 80% van de gevallen eens was met menselijke voorkeuren, ongeveer even vaak als twee mensen het met elkaar eens zijn. Dat is de belofte: menselijk oordeel op machineschaal en tegen machinekosten.
De keerzijde is dat een beoordelaar zelf een model is en dus de eigenaardigheden van een model overneemt. Bij onzorgvuldig gebruik geeft die zelfverzekerde scores die het verkeerde meten.
Wanneer wel en wanneer niet gebruiken
Een beoordelaar is geschikt voor open kwaliteitsbeoordelingen die zich niet exact laten scoren. Het is het verkeerde hulpmiddel wanneer een goedkopere, deterministische controle volstaat.
Gebruik een beoordelaar voor behulpzaamheid, toon, samenhang, trouw aan een bron of de vraag ‘welk van deze twee antwoorden is beter?’. Gebruik die niet voor zaken die al met een programmatische maatstaf kunnen worden gecontroleerd: labels, exacte waarden, geldigheid van het schema of de aanwezigheid van een vereist feit.
Vuistregel: probeer de controle eerst deterministisch te maken. Draag de beslissing alleen aan een beoordelaar over als dat echt niet lukt.
Puntgewijs versus paarsgewijs
Er zijn twee manieren om een beoordelaar om een score te vragen, en ze zijn geschikt voor verschillende taken.
| Modus | De vraag | Geschikt voor | Zwakte |
|---|---|---|---|
| Puntgewijs | ‘Beoordeel deze uitvoer op een schaal van 1 tot 5 volgens de rubric.’ | Absolute scores voor een dashboard of CI-poort | De kalibratie verschuift; scores zijn lastig tussen uitvoeringen te vergelijken |
| Paarsgewijs | ‘Welke is beter, A of B?’ | Twee prompts of twee modellen vergelijken | Geeft een winnaar, geen absolute score; gevoelig voor de volgorde |
Paarsgewijze beoordeling komt doorgaans beter overeen met menselijke oordelen, omdat relatieve vergelijking makkelijker is dan absolute kalibratie. Gebruik die bij een A/B-test van een wijziging en kies voor puntgewijze beoordeling wanneer je een zelfstandig getal nodig hebt.
Schrijf de prompt voor de beoordelaar
De kwaliteit van een beoordelaar staat of valt met de rubric. Een vage prompt laat ruimte voor ongefundeerde aannames van het model. Maak de criteria daarom expliciet en vraag de beoordelaar om eerst te redeneren en pas daarna een score te geven.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Twee details zijn van belang. Vragen om per criterium stap voor stap te redeneren voordat het oordeel wordt gegeven (een chain-of-thought-prompt) verbetert de overeenstemming met menselijke oordelen. En de expliciete regel ‘beloon lengte of stijl niet’ gaat rechtstreeks in tegen een vooroordeel dat hierna aan bod komt.
De vier vooroordelen waarmee je rekening moet houden
Een beoordelaar is geen neutraal orakel. Onderzoek heeft terugkerende vooroordelen aangetoond. Dit zijn eigenschappen van de methode, geen fouten die je met een prompt volledig kunt wegwerken.
| Vooroordeel | Wat er gebeurt | Beperking |
|---|---|---|
| Positievooroordeel | Bij paarsgewijze beoordeling wint het antwoord op positie A vaker dan op basis van toeval te verwachten is | Voer beide volgordes uit (A/B en B/A) en vertrouw alleen op een oordeel dat overeenkomt |
| Lengtevooroordeel | Langere antwoorden krijgen een hogere score, zelfs bij gelijke kwaliteit | Neem lengte mee in de rubric of gebruik winstpercentages bij gecontroleerde lengte |
| Zelfvoorkeur | Een beoordelaar geeft de voorkeur aan uitvoer van modellen uit dezelfde modelfamilie | Gebruik een beoordelaar uit een andere familie dan het model dat je test |
| Formaatvooroordeel | De beoordelaar geeft de voorkeur aan het formaat dat die zelf prefereert (bijvoorbeeld proza boven JSON) | Vermeld het vereiste formaat in de rubric en beoordeel de inhoud, niet de vorm |
Positievooroordeel is het belangrijkst: je kunt het eenvoudig in code opsporen en anders tast het ongemerkt elke paarsgewijze vergelijking aan.
Positievooroordeel in code beheersen
De oplossing voor positievooroordeel is eenvoudig: beoordeel elk paar twee keer, waarbij je de volgorde van de uitvoer omdraait. Wijs alleen een winnaar aan als het oordeel in beide gevallen gelijk blijft. Als het alleen door de volgorde verandert, gokt de beoordelaar.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Plak dit in debias.py en voer python debias.py uit. Je krijgt precies:
biased: tie/uncertain (verdict flipped on order)
fair: x
De correctie werkte. Ze ontdekte de bevooroordeelde beoordelaar en weigerde een winnaar aan te wijzen, terwijl het stabiele oordeel van de eerlijke beoordelaar wel werd geaccepteerd. Wil je een echte beoordelaar gebruiken, vervang judge dan door een functie die met de rubricprompt hierboven een LLM aanroept en ‘A’ of ‘B’ teruggeeft.
Audit je beoordelaar
Meet de kwaliteit voordat je een beoordelaar in productie vertrouwt. Een beoordelaar die je niet hebt geaudit, kun je niet als maatstaf verdedigen.
Stel een kleine kalibratieset samen met gevallen waarvan het juiste oordeel bekend is, bij voorkeur gelabeld door mensen. Voer de beoordelaar uit en controleer twee zaken: hoe vaak die overeenkomt met de menselijke labels en hoe vaak een paarsgewijs oordeel verandert wanneer je de volgorde omdraait. Een veranderingspercentage van meer dan ongeveer 5% betekent dat er nog steeds positievooroordeel doorsijpelt.
Herhaal deze audit telkens wanneer je het model van de beoordelaar wijzigt. Zelfs een kleine versiewijziging kan de scoreverdeling verschuiven, dus kalibreren is geen eenmalige taak.
De hybride aanpak
Een betrouwbare opstelling leunt niet alleen op een beoordelaar. Ze combineert drie soorten controles, van goedkoop naar duur.
- Deterministische maatstaven controleren alles wat ze kunnen: labels, schema en vereiste feiten.
- De LLM-beoordelaar scoort alleen de open kwaliteitsaspecten die overblijven.
- Een mens controleert steekproefsgewijs een deel van de oordelen om de beoordelaar scherp te houden.
Elke laag dekt een blinde vlek van de vorige af. De beoordelaar is een krachtige tussenlaag, niet de hele stapel.
Veelgemaakte fouten
Aan de meeste onbetrouwbare beoordelingen liggen enkele terugkerende oorzaken ten grondslag.
De meest voorkomende:
- Hetzelfde model gebruiken voor generatie en beoordeling, waardoor zelfvoorkeur wordt ingebakken.
- Een vage rubric schrijven, waardoor de beoordelaar op verborgen aannames scoort.
- Paarsgewijs slechts in één volgorde beoordelen, zodat positievooroordeel onopgemerkt blijft.
- Nooit kalibreren aan de hand van menselijke beoordelingen, waardoor je niet kunt zeggen of de beoordelaar gelijk heeft.
Los dit op door de beoordelaar te scheiden van het geteste model, een expliciete rubric te schrijven, de volgorde altijd om te draaien en de resultaten aan menselijke labels te toetsen.
Bronnen
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Het LLM-as-judge-paradigma, meer dan 80% overeenstemming met menselijke voorkeuren en de positie-, lengte- en zelfversterkingsvooroordelen.
Veelgestelde vragen
Wat is LLM-as-a-judge?
Een taalmodel gebruiken om de uitvoer van een ander model aan de hand van een rubric te beoordelen, voor eigenschappen die niet met een exacte overeenkomst te vangen zijn, zoals behulpzaamheid, toon of trouw aan de bron.
Kan ik hetzelfde model gebruiken om te genereren en te beoordelen?
Nee. Een beoordelaar geeft de voorkeur aan uitvoer van modellen uit dezelfde familie (zelfvoorkeur), waardoor de score wordt opgeblazen als je je eigen model laat beoordelen. Gebruik een beoordelaar uit een andere familie.
Hoe voorkom ik positievooroordeel?
Voer elke paarsgewijze vergelijking in beide volgordes uit en accepteer alleen een oordeel dat in beide gevallen overeind blijft. Verandert het oordeel alleen door de volgorde, behandel het dan als gelijkspel.
Pas deze gids toe met Ailoot
Verbind AI-modellen met je applicaties, agents en automatiseringen via één Ailoot-API. Kies het model dat bij je taak past en volg de Ailoot-documentatie om aan de slag te gaan.