Blog

Hogyan használjuk az LLM-et bírálóként?

Markdown

Használj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.

Használj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.

Mi az LLM-as-a-judge?

Az LLM-as-a-judge azt jelenti, hogy egy nyelvi modell egy másik modell kimenetét az általad meghatározott kritériumok alapján értékeli. Ahelyett, hogy karakterláncokat hasonlítana össze, a bíráló elolvassa a kimenetet, majd pontszámot vagy ítéletet ad.

A paradigmát Zheng és munkatársai formalizálták 2023-ban. Azt találták, hogy egy erős modell az esetek több mint 80%-ában egyetértett az emberi preferenciákkal, ami nagyjából megegyezik azzal az aránnyal, amellyel két ember ért egyet egymással. Ez az ígéret: emberihez hasonló ítélőképesség gépi léptékben és költségen.

A bökkenő az, hogy a bíráló is egy modell, ezért örökli a modellek sajátosságait. Ha nem körültekintően használják, magabiztos pontszámokat ad, amelyek rossz dolgot mérnek.

Mikor használd, és mikor ne?

A bíráló a megfelelő eszköz a nyílt végű minőség értékelésére, amely ellenáll a pontos pontozásnak. Rossz választás, ha egy olcsóbb, determinisztikus ellenőrzés is megteszi.

Használj bírálót a segítőkészség, a hangnem, a koherencia, a forráshoz való hűség vagy annak értékelésére, hogy „a két válasz közül melyik a jobb”. Hagyd ki minden olyan esetben, amelyet már lefed egy programozott metrika: címkék, pontos értékek, séma érvényessége vagy egy kötelező tény megléte.

Ökölszabály: először próbáld determinisztikussá tenni az ellenőrzést. Csak akkor bízd a döntést egy bírálóra, ha ez valóban nem lehetséges.

Pontonkénti vagy páronkénti értékelés

Kétféleképpen kérheted a bírálótól a pontozást, és más-más feladatokra alkalmasak.

MódKérdésLeginkább erre alkalmasGyengeség
Pontonkénti„Értékeld ezt a kimenetet 1-től 5-ig a szempontrendszer alapján.”Abszolút pontszámok irányítópulthoz vagy CI-kapuhozElcsúszik a kalibráció; a pontszámok nehezen hasonlíthatók össze a futtatások között
Páronkénti„Melyik a jobb, A vagy B?”Két prompt vagy két modell összehasonlításaGyőztest ad, nem abszolút pontszámot; érzékeny a sorrendre

A páronkénti értékelés általában jobban egyezik az emberi ítéletekkel, mert a relatív összehasonlítás könnyebb, mint az abszolút kalibráció. Akkor válaszd, amikor egy változtatást A/B tesztelsz; ha önálló számra van szükséged, használj pontonkénti értékelést.

Írd meg a bíráló promptját

A bíráló csak annyira jó, amennyire a szempontrendszere. A homályos prompt a modell megalapozatlan feltételezéseire bízza a döntést, ezért fogalmazd meg egyértelműen a kritériumokat, és kérd meg a bírálót, hogy pontozás előtt indokoljon.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Két részlet számít. Ha azt kéred, hogy az ítélet előtt lépésről lépésre gondolja végig (chain-of-thought prompt), az javítja az emberi ítéletekkel való egyezést. A kifejezett „ne jutalmazd a terjedelmet vagy a stílust” sor pedig közvetlenül ellensúlyoz egy, a következő részben tárgyalt torzítást.

A négy torzítás, amelyet kezelned kell

A bíráló nem semleges orákulum. A kutatások következetes torzításokat dokumentáltak, ezek a módszer sajátosságai, és nem olyan hibák, amelyeket egy prompttal teljesen ki lehet küszöbölni.

TorzításMi történik?Enyhítés
Pozíciós torzításPáronkénti értékelésnél az A helyen lévő válasz a véletlennél gyakrabban nyerFuttasd le mindkét sorrendet (A/B és B/A), és csak akkor fogadj el ítéletet, ha mindkét futás eredménye egyezik
Terjengősségi torzításA hosszabb válaszok magasabb pontszámot kapnak, még azonos minőség esetén isBüntesd a terjedelmet a szempontrendszerben, vagy használj hosszra kontrollált győzelmi arányokat
ÖnpreferenciaA bíráló a saját modellcsaládjából származó kimeneteket részesíti előnybenA tesztelt modelltől eltérő családból válassz bírálót
FormátumtorzításA bíráló az általa preferált formátumot részesíti előnyben (például prózát a JSON-nal szemben)A szempontrendszerben határozd meg az elvárt formátumot, és a tartalmat, ne a formát értékeld

Ezek közül a legfontosabb a pozíciós torzítás, mert kóddal könnyű észrevenni, és észrevétlenül megront minden páronkénti összehasonlítást.

A pozíciós torzítás kezelése kódban

A pozíciós torzítás javítása egyszerű: bíráltasd el mindkét sorrendben ugyanazt a párt, felcserélve, melyik kimenet szerepel először, és csak akkor hirdess győztest, ha mindkét esetben ugyanaz az ítélet. Ha pusztán a sorrend miatt megfordul, a bíráló csak találgat.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Másold ezt a debias.py fájlba, majd futtasd a python debias.py parancsot. Pontosan ezt kapod:

biased: tie/uncertain (verdict flipped on order)
fair:   x

A torzításcsökkentés megtette a dolgát. Észlelte a torzított bírálót, és nem hirdetett győztest, míg az elfogulatlan bíráló stabil ítéletét átengedte. Valódi bíráló használatához cseréld le a judge függvényt egy olyanra, amely a fenti szempontrendszeres prompttal meghív egy LLM-et, és „A” vagy „B” értéket ad vissza.

Ellenőrizd a bírálót

Mielőtt megbíznál egy bírálóban éles környezetben, mérd meg a teljesítményét. A még nem ellenőrzött bíráló olyan metrika, amelyet nem tudsz megvédeni.

Állíts össze egy kis kalibrációs adathalmazt ismert helyes ítéletű esetekből, ideális esetben emberi címkékkel. Futtasd le rajta a bírálót, és két dolgot ellenőrizz: milyen gyakran egyezik az emberi címkékkel, és milyen gyakran fordul meg a páronkénti ítélet a sorrend felcserélésekor. Az körülbelül 5% feletti megfordulási arány azt jelenti, hogy a pozíciós torzítás még mindig beszivárog.

Ismételd meg ezt az ellenőrzést minden alkalommal, amikor megváltoztatod a bíráló modelljét. Egy kisebb verzióváltás is eltolhatja a pontszámok eloszlását, ezért a kalibrálás nem egyszeri feladat.

A hibrid megközelítés

A megbízható összeállítás nem támaszkodik kizárólag egy bírálóra. Háromféle ellenőrzést kombinál, a legolcsóbbal kezdve.

  • A determinisztikus metrikák minden olyan feladatot elvégeznek, amit tudnak (címkék, séma, kötelező tények).
  • Az LLM-bíráló csak a fennmaradó, nyílt végű minőségeket értékeli.
  • Egy ember szúrópróbaszerűen ellenőrzi a bíráló ítéleteinek egy mintáját, hogy megőrizze a megbízhatóságát.

Mindegyik réteg az előző vakfoltját fedi le. A bíráló erős középső réteg, nem a teljes rendszer.

Gyakori hibák

A legtöbb megbízhatatlan bírálónál néhány visszatérő okot találunk.

A leggyakoribbak:

  • Ugyanazt a modellt használják generátorként és bírálóként, ami önpreferenciát eredményez.
  • Homályos szempontrendszert írnak, ezért a bíráló rejtett feltételezések alapján pontoz.
  • Csak egyetlen sorrendben futtatják a páronkénti értékelést, így a pozíciós torzítás észrevétlen marad.
  • Soha nem kalibrálnak emberekhez, ezért nem tudják megmondani, helyes-e a bíráló ítélete.

Ezeket a hibákat úgy javíthatod ki, ha különválasztod a bírálót és a tesztelt modellt, egyértelmű szempontrendszert írsz, mindig felcseréled a sorrendet, és emberi címkékkel végzel ellenőrzést.

Források

Zheng és munkatársai, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Az LLM-as-a-judge paradigma, az emberi preferenciákkal való több mint 80%-os egyezés, valamint a pozíciós, terjengősségi és önmegerősítési torzítás.

Gyakran ismételt kérdések

Mi az LLM-as-a-judge?

Egy nyelvi modell használata arra, hogy egy másik kimenetét szempontrendszer alapján értékelje, olyan tulajdonságoknál, amelyeket a pontos egyezés nem képes megragadni, például a segítőkészség, a hangnem vagy a forráshűség esetén.

Használhatom ugyanazt a modellt generálásra és bírálatra?

Nem. A bíráló a saját modellcsaládjának kimeneteit részesíti előnyben (önpreferencia-torzítás), ezért a saját modelled bírálata felfelé torzítja a pontszámot. Használj másik családba tartozó bírálót.

Hogyan állíthatom meg a pozíciós torzítást?

Futtasd le minden páronkénti összehasonlítást mindkét sorrendben, és csak olyan ítéletet fogadj el, amely mindkét esetben megállja a helyét. Ha pusztán a sorrend miatt megfordul, kezeld döntetlenként.

Váltsd tettekre ezt az útmutatót az Ailoot segítségével

Kapcsold össze az AI-modelleket az alkalmazásaiddal, ügynökeiddel és automatizálásaiddal egyetlen Ailoot API-n keresztül. Válaszd ki a feladatodnak megfelelő modellt, és kezdd az Ailoot dokumentációjának követésével.