Hogyan használjuk az LLM-et bírálóként?
MarkdownHasználj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.
Használj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.
Mi az LLM-as-a-judge?
Az LLM-as-a-judge azt jelenti, hogy egy nyelvi modell egy másik modell kimenetét az általad meghatározott kritériumok alapján értékeli. Ahelyett, hogy karakterláncokat hasonlítana össze, a bíráló elolvassa a kimenetet, majd pontszámot vagy ítéletet ad.
A paradigmát Zheng és munkatársai formalizálták 2023-ban. Azt találták, hogy egy erős modell az esetek több mint 80%-ában egyetértett az emberi preferenciákkal, ami nagyjából megegyezik azzal az aránnyal, amellyel két ember ért egyet egymással. Ez az ígéret: emberihez hasonló ítélőképesség gépi léptékben és költségen.
A bökkenő az, hogy a bíráló is egy modell, ezért örökli a modellek sajátosságait. Ha nem körültekintően használják, magabiztos pontszámokat ad, amelyek rossz dolgot mérnek.
Mikor használd, és mikor ne?
A bíráló a megfelelő eszköz a nyílt végű minőség értékelésére, amely ellenáll a pontos pontozásnak. Rossz választás, ha egy olcsóbb, determinisztikus ellenőrzés is megteszi.
Használj bírálót a segítőkészség, a hangnem, a koherencia, a forráshoz való hűség vagy annak értékelésére, hogy „a két válasz közül melyik a jobb”. Hagyd ki minden olyan esetben, amelyet már lefed egy programozott metrika: címkék, pontos értékek, séma érvényessége vagy egy kötelező tény megléte.
Ökölszabály: először próbáld determinisztikussá tenni az ellenőrzést. Csak akkor bízd a döntést egy bírálóra, ha ez valóban nem lehetséges.
Pontonkénti vagy páronkénti értékelés
Kétféleképpen kérheted a bírálótól a pontozást, és más-más feladatokra alkalmasak.
| Mód | Kérdés | Leginkább erre alkalmas | Gyengeség |
|---|---|---|---|
| Pontonkénti | „Értékeld ezt a kimenetet 1-től 5-ig a szempontrendszer alapján.” | Abszolút pontszámok irányítópulthoz vagy CI-kapuhoz | Elcsúszik a kalibráció; a pontszámok nehezen hasonlíthatók össze a futtatások között |
| Páronkénti | „Melyik a jobb, A vagy B?” | Két prompt vagy két modell összehasonlítása | Győztest ad, nem abszolút pontszámot; érzékeny a sorrendre |
A páronkénti értékelés általában jobban egyezik az emberi ítéletekkel, mert a relatív összehasonlítás könnyebb, mint az abszolút kalibráció. Akkor válaszd, amikor egy változtatást A/B tesztelsz; ha önálló számra van szükséged, használj pontonkénti értékelést.
Írd meg a bíráló promptját
A bíráló csak annyira jó, amennyire a szempontrendszere. A homályos prompt a modell megalapozatlan feltételezéseire bízza a döntést, ezért fogalmazd meg egyértelműen a kritériumokat, és kérd meg a bírálót, hogy pontozás előtt indokoljon.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Két részlet számít. Ha azt kéred, hogy az ítélet előtt lépésről lépésre gondolja végig (chain-of-thought prompt), az javítja az emberi ítéletekkel való egyezést. A kifejezett „ne jutalmazd a terjedelmet vagy a stílust” sor pedig közvetlenül ellensúlyoz egy, a következő részben tárgyalt torzítást.
A négy torzítás, amelyet kezelned kell
A bíráló nem semleges orákulum. A kutatások következetes torzításokat dokumentáltak, ezek a módszer sajátosságai, és nem olyan hibák, amelyeket egy prompttal teljesen ki lehet küszöbölni.
| Torzítás | Mi történik? | Enyhítés |
|---|---|---|
| Pozíciós torzítás | Páronkénti értékelésnél az A helyen lévő válasz a véletlennél gyakrabban nyer | Futtasd le mindkét sorrendet (A/B és B/A), és csak akkor fogadj el ítéletet, ha mindkét futás eredménye egyezik |
| Terjengősségi torzítás | A hosszabb válaszok magasabb pontszámot kapnak, még azonos minőség esetén is | Büntesd a terjedelmet a szempontrendszerben, vagy használj hosszra kontrollált győzelmi arányokat |
| Önpreferencia | A bíráló a saját modellcsaládjából származó kimeneteket részesíti előnyben | A tesztelt modelltől eltérő családból válassz bírálót |
| Formátumtorzítás | A bíráló az általa preferált formátumot részesíti előnyben (például prózát a JSON-nal szemben) | A szempontrendszerben határozd meg az elvárt formátumot, és a tartalmat, ne a formát értékeld |
Ezek közül a legfontosabb a pozíciós torzítás, mert kóddal könnyű észrevenni, és észrevétlenül megront minden páronkénti összehasonlítást.
A pozíciós torzítás kezelése kódban
A pozíciós torzítás javítása egyszerű: bíráltasd el mindkét sorrendben ugyanazt a párt, felcserélve, melyik kimenet szerepel először, és csak akkor hirdess győztest, ha mindkét esetben ugyanaz az ítélet. Ha pusztán a sorrend miatt megfordul, a bíráló csak találgat.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Másold ezt a debias.py fájlba, majd futtasd a python debias.py parancsot. Pontosan ezt kapod:
biased: tie/uncertain (verdict flipped on order)
fair: x
A torzításcsökkentés megtette a dolgát. Észlelte a torzított bírálót, és nem hirdetett győztest, míg az elfogulatlan bíráló stabil ítéletét átengedte. Valódi bíráló használatához cseréld le a judge függvényt egy olyanra, amely a fenti szempontrendszeres prompttal meghív egy LLM-et, és „A” vagy „B” értéket ad vissza.
Ellenőrizd a bírálót
Mielőtt megbíznál egy bírálóban éles környezetben, mérd meg a teljesítményét. A még nem ellenőrzött bíráló olyan metrika, amelyet nem tudsz megvédeni.
Állíts össze egy kis kalibrációs adathalmazt ismert helyes ítéletű esetekből, ideális esetben emberi címkékkel. Futtasd le rajta a bírálót, és két dolgot ellenőrizz: milyen gyakran egyezik az emberi címkékkel, és milyen gyakran fordul meg a páronkénti ítélet a sorrend felcserélésekor. Az körülbelül 5% feletti megfordulási arány azt jelenti, hogy a pozíciós torzítás még mindig beszivárog.
Ismételd meg ezt az ellenőrzést minden alkalommal, amikor megváltoztatod a bíráló modelljét. Egy kisebb verzióváltás is eltolhatja a pontszámok eloszlását, ezért a kalibrálás nem egyszeri feladat.
A hibrid megközelítés
A megbízható összeállítás nem támaszkodik kizárólag egy bírálóra. Háromféle ellenőrzést kombinál, a legolcsóbbal kezdve.
- A determinisztikus metrikák minden olyan feladatot elvégeznek, amit tudnak (címkék, séma, kötelező tények).
- Az LLM-bíráló csak a fennmaradó, nyílt végű minőségeket értékeli.
- Egy ember szúrópróbaszerűen ellenőrzi a bíráló ítéleteinek egy mintáját, hogy megőrizze a megbízhatóságát.
Mindegyik réteg az előző vakfoltját fedi le. A bíráló erős középső réteg, nem a teljes rendszer.
Gyakori hibák
A legtöbb megbízhatatlan bírálónál néhány visszatérő okot találunk.
A leggyakoribbak:
- Ugyanazt a modellt használják generátorként és bírálóként, ami önpreferenciát eredményez.
- Homályos szempontrendszert írnak, ezért a bíráló rejtett feltételezések alapján pontoz.
- Csak egyetlen sorrendben futtatják a páronkénti értékelést, így a pozíciós torzítás észrevétlen marad.
- Soha nem kalibrálnak emberekhez, ezért nem tudják megmondani, helyes-e a bíráló ítélete.
Ezeket a hibákat úgy javíthatod ki, ha különválasztod a bírálót és a tesztelt modellt, egyértelmű szempontrendszert írsz, mindig felcseréled a sorrendet, és emberi címkékkel végzel ellenőrzést.
Források
Zheng és munkatársai, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Az LLM-as-a-judge paradigma, az emberi preferenciákkal való több mint 80%-os egyezés, valamint a pozíciós, terjengősségi és önmegerősítési torzítás.
Gyakran ismételt kérdések
Mi az LLM-as-a-judge?
Egy nyelvi modell használata arra, hogy egy másik kimenetét szempontrendszer alapján értékelje, olyan tulajdonságoknál, amelyeket a pontos egyezés nem képes megragadni, például a segítőkészség, a hangnem vagy a forráshűség esetén.
Használhatom ugyanazt a modellt generálásra és bírálatra?
Nem. A bíráló a saját modellcsaládjának kimeneteit részesíti előnyben (önpreferencia-torzítás), ezért a saját modelled bírálata felfelé torzítja a pontszámot. Használj másik családba tartozó bírálót.
Hogyan állíthatom meg a pozíciós torzítást?
Futtasd le minden páronkénti összehasonlítást mindkét sorrendben, és csak olyan ítéletet fogadj el, amely mindkét esetben megállja a helyét. Ha pusztán a sorrend miatt megfordul, kezeld döntetlenként.
Váltsd tettekre ezt az útmutatót az Ailoot segítségével
Kapcsold össze az AI-modelleket az alkalmazásaiddal, ügynökeiddel és automatizálásaiddal egyetlen Ailoot API-n keresztül. Válaszd ki a feladatodnak megfelelő modellt, és kezdd az Ailoot dokumentációjának követésével.