# Hogyan használjuk az LLM-et bírálóként?

> Használj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.

Source: https://ailoot.ai/blog/hu/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/hu/how-to-use-llm-as-a-judge/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-a5211e543e4e41b2a5740d6693adc9916ddda0135b80ae2708c922ea3e4e5815


Használj egy modellt arra, hogy egy másikat értékeljen egy szempontrendszer alapján. Ismerd meg a pontonkénti és páronkénti értékelést, a gyakori torzításokat és azok kezelésének módjait.

## Mi az LLM-as-a-judge?

Az LLM-as-a-judge azt jelenti, hogy egy nyelvi modell egy másik modell kimenetét az általad meghatározott kritériumok alapján értékeli. Ahelyett, hogy karakterláncokat hasonlítana össze, a bíráló elolvassa a kimenetet, majd pontszámot vagy ítéletet ad.

A paradigmát Zheng és munkatársai formalizálták 2023-ban. Azt találták, hogy egy erős modell az esetek több mint 80%-ában egyetértett az emberi preferenciákkal, ami nagyjából megegyezik azzal az aránnyal, amellyel két ember ért egyet egymással. Ez az ígéret: emberihez hasonló ítélőképesség gépi léptékben és költségen.

A bökkenő az, hogy a bíráló is egy modell, ezért örökli a modellek sajátosságait. Ha nem körültekintően használják, magabiztos pontszámokat ad, amelyek rossz dolgot mérnek.

## Mikor használd, és mikor ne?

A bíráló a megfelelő eszköz a nyílt végű minőség értékelésére, amely ellenáll a pontos pontozásnak. Rossz választás, ha egy olcsóbb, determinisztikus ellenőrzés is megteszi.

Használj bírálót a segítőkészség, a hangnem, a koherencia, a forráshoz való hűség vagy annak értékelésére, hogy „a két válasz közül melyik a jobb”. Hagyd ki minden olyan esetben, amelyet már lefed egy programozott metrika: címkék, pontos értékek, séma érvényessége vagy egy kötelező tény megléte.

Ökölszabály: először próbáld determinisztikussá tenni az ellenőrzést. Csak akkor bízd a döntést egy bírálóra, ha ez valóban nem lehetséges.

## Pontonkénti vagy páronkénti értékelés

Kétféleképpen kérheted a bírálótól a pontozást, és más-más feladatokra alkalmasak.

| Mód | Kérdés | Leginkább erre alkalmas | Gyengeség |
|----|----|----|----|
| **Pontonkénti** | „Értékeld ezt a kimenetet 1-től 5-ig a szempontrendszer alapján.” | Abszolút pontszámok irányítópulthoz vagy CI-kapuhoz | Elcsúszik a kalibráció; a pontszámok nehezen hasonlíthatók össze a futtatások között |
| **Páronkénti** | „Melyik a jobb, A vagy B?” | Két prompt vagy két modell összehasonlítása | Győztest ad, nem abszolút pontszámot; érzékeny a sorrendre |

A páronkénti értékelés általában jobban egyezik az emberi ítéletekkel, mert a relatív összehasonlítás könnyebb, mint az abszolút kalibráció. Akkor válaszd, amikor egy változtatást A/B tesztelsz; ha önálló számra van szükséged, használj pontonkénti értékelést.

## Írd meg a bíráló promptját

A bíráló csak annyira jó, amennyire a szempontrendszere. A homályos prompt a modell megalapozatlan feltételezéseire bízza a döntést, ezért fogalmazd meg egyértelműen a kritériumokat, és kérd meg a bírálót, hogy pontozás előtt indokoljon.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Két részlet számít. Ha azt kéred, hogy az ítélet előtt lépésről lépésre gondolja végig (chain-of-thought prompt), az javítja az emberi ítéletekkel való egyezést. A kifejezett „ne jutalmazd a terjedelmet vagy a stílust” sor pedig közvetlenül ellensúlyoz egy, a következő részben tárgyalt torzítást.

## A négy torzítás, amelyet kezelned kell

A bíráló nem semleges orákulum. A kutatások következetes torzításokat dokumentáltak, ezek a módszer sajátosságai, és nem olyan hibák, amelyeket egy prompttal teljesen ki lehet küszöbölni.

| Torzítás | Mi történik? | Enyhítés |
|----|----|----|
| **Pozíciós torzítás** | Páronkénti értékelésnél az A helyen lévő válasz a véletlennél gyakrabban nyer | Futtasd le mindkét sorrendet (A/B és B/A), és csak akkor fogadj el ítéletet, ha mindkét futás eredménye egyezik |
| **Terjengősségi torzítás** | A hosszabb válaszok magasabb pontszámot kapnak, még azonos minőség esetén is | Büntesd a terjedelmet a szempontrendszerben, vagy használj hosszra kontrollált győzelmi arányokat |
| **Önpreferencia** | A bíráló a saját modellcsaládjából származó kimeneteket részesíti előnyben | A tesztelt modelltől eltérő családból válassz bírálót |
| **Formátumtorzítás** | A bíráló az általa preferált formátumot részesíti előnyben (például prózát a JSON-nal szemben) | A szempontrendszerben határozd meg az elvárt formátumot, és a tartalmat, ne a formát értékeld |

Ezek közül a legfontosabb a pozíciós torzítás, mert kóddal könnyű észrevenni, és észrevétlenül megront minden páronkénti összehasonlítást.

## A pozíciós torzítás kezelése kódban

A pozíciós torzítás javítása egyszerű: bíráltasd el mindkét sorrendben ugyanazt a párt, felcserélve, melyik kimenet szerepel először, és csak akkor hirdess győztest, ha mindkét esetben ugyanaz az ítélet. Ha pusztán a sorrend miatt megfordul, a bíráló csak találgat.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Másold ezt a `debias.py` fájlba, majd futtasd a `python debias.py` parancsot. Pontosan ezt kapod:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

A torzításcsökkentés megtette a dolgát. Észlelte a torzított bírálót, és nem hirdetett győztest, míg az elfogulatlan bíráló stabil ítéletét átengedte. Valódi bíráló használatához cseréld le a `judge` függvényt egy olyanra, amely a fenti szempontrendszeres prompttal meghív egy LLM-et, és „A” vagy „B” értéket ad vissza.

## Ellenőrizd a bírálót

Mielőtt megbíznál egy bírálóban éles környezetben, mérd meg a teljesítményét. A még nem ellenőrzött bíráló olyan metrika, amelyet nem tudsz megvédeni.

Állíts össze egy kis kalibrációs adathalmazt ismert helyes ítéletű esetekből, ideális esetben emberi címkékkel. Futtasd le rajta a bírálót, és két dolgot ellenőrizz: milyen gyakran egyezik az emberi címkékkel, és milyen gyakran fordul meg a páronkénti ítélet a sorrend felcserélésekor. Az körülbelül 5% feletti megfordulási arány azt jelenti, hogy a pozíciós torzítás még mindig beszivárog.

Ismételd meg ezt az ellenőrzést minden alkalommal, amikor megváltoztatod a bíráló modelljét. Egy kisebb verzióváltás is eltolhatja a pontszámok eloszlását, ezért a kalibrálás nem egyszeri feladat.

## A hibrid megközelítés

A megbízható összeállítás nem támaszkodik kizárólag egy bírálóra. Háromféle ellenőrzést kombinál, a legolcsóbbal kezdve.

- A determinisztikus metrikák minden olyan feladatot elvégeznek, amit tudnak (címkék, séma, kötelező tények).
- Az LLM-bíráló csak a fennmaradó, nyílt végű minőségeket értékeli.
- Egy ember szúrópróbaszerűen ellenőrzi a bíráló ítéleteinek egy mintáját, hogy megőrizze a megbízhatóságát.

Mindegyik réteg az előző vakfoltját fedi le. A bíráló erős középső réteg, nem a teljes rendszer.

## Gyakori hibák

A legtöbb megbízhatatlan bírálónál néhány visszatérő okot találunk.

A leggyakoribbak:

- Ugyanazt a modellt használják generátorként és bírálóként, ami önpreferenciát eredményez.
- Homályos szempontrendszert írnak, ezért a bíráló rejtett feltételezések alapján pontoz.
- Csak egyetlen sorrendben futtatják a páronkénti értékelést, így a pozíciós torzítás észrevétlen marad.
- Soha nem kalibrálnak emberekhez, ezért nem tudják megmondani, helyes-e a bíráló ítélete.

Ezeket a hibákat úgy javíthatod ki, ha különválasztod a bírálót és a tesztelt modellt, egyértelmű szempontrendszert írsz, mindig felcseréled a sorrendet, és emberi címkékkel végzel ellenőrzést.

## Források

Zheng és munkatársai, *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). Az LLM-as-a-judge paradigma, az emberi preferenciákkal való több mint 80%-os egyezés, valamint a pozíciós, terjengősségi és önmegerősítési torzítás.

<div class="section">

## Gyakran ismételt kérdések

Mi az LLM-as-a-judge?

Egy nyelvi modell használata arra, hogy egy másik kimenetét szempontrendszer alapján értékelje, olyan tulajdonságoknál, amelyeket a pontos egyezés nem képes megragadni, például a segítőkészség, a hangnem vagy a forráshűség esetén.

Használhatom ugyanazt a modellt generálásra és bírálatra?

Nem. A bíráló a saját modellcsaládjának kimeneteit részesíti előnyben (önpreferencia-torzítás), ezért a saját modelled bírálata felfelé torzítja a pontszámot. Használj másik családba tartozó bírálót.

Hogyan állíthatom meg a pozíciós torzítást?

Futtasd le minden páronkénti összehasonlítást mindkét sorrendben, és csak olyan ítéletet fogadj el, amely mindkét esetben megállja a helyét. Ha pusztán a sorrend miatt megfordul, kezeld döntetlenként.

</div>

## Váltsd tettekre ezt az útmutatót az Ailoot segítségével

Kapcsold össze az AI-modelleket az alkalmazásaiddal, ügynökeiddel és automatizálásaiddal egyetlen Ailoot API-n keresztül. Válaszd ki a feladatodnak megfelelő modellt, és kezdd az [Ailoot dokumentációjának](https://ailoot.ai/docs/) követésével.


## Ailoot · A vállalat és projektportfóliója

Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.

A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.

Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.
