# Jak používat LLM jako hodnotitele

> Použijte jeden model k hodnocení jiného podle hodnoticí rubriky. Seznamte se s bodovým a párovým hodnocením, běžnými zkresleními a způsoby, jak je omezit.

Source: https://ailoot.ai/blog/cs/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/cs/how-to-use-llm-as-a-judge/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-f199915569b196a9cbabbacc306d02f12b0186ebace9e63a7a4700baa3d20a64


Použijte jeden model k hodnocení jiného podle hodnoticí rubriky. Seznamte se s bodovým a párovým hodnocením, běžnými zkresleními a způsoby, jak je omezit.

## Co je LLM jako hodnotitel?

LLM jako hodnotitel znamená použití jazykového modelu k posouzení výstupu jiného modelu podle kritérií, která určíte. Místo porovnání řetězců znaků hodnotitel přečte výstup a vrátí skóre nebo verdikt.

Toto paradigma formalizovali Zheng a kol. v roce 2023. Zjistili, že silný model souhlasil s lidskými preferencemi ve více než 80 % případů, což je přibližně stejně často, jako se shodnou dva lidé. V tom spočívá příslib: hodnocení podobné lidskému v měřítku a za cenu strojového zpracování.

Má to ale háček: hodnotitel je sám model, a přebírá tedy jeho zvláštnosti. Při neopatrném použití produkuje sebejistá skóre, která měří nesprávnou věc.

## Kdy jej použít a kdy ne

Hodnotitel je vhodným nástrojem pro otevřené hodnocení kvality, které odolává přesnému bodování. Není vhodný, pokud postačí levnější deterministická kontrola.

Hodnotitele použijte k posouzení užitečnosti, tónu, soudržnosti, věrnosti zdroji nebo k určení, „která z těchto dvou odpovědí je lepší“. Vynechte jej u všeho, co už pokrývá programová metrika: štítky, přesné hodnoty, platnost schématu nebo přítomnost požadovaného faktu.

Praktické pravidlo: nejprve se pokuste vytvořit deterministickou kontrolu. Rozhodnutí přenechte hodnotiteli, jen když to skutečně nejde.

## Bodové a párové hodnocení

Hodnotitele můžete požádat o skóre dvěma způsoby a každý se hodí pro jiné úlohy.

| Režim | Otázka | Nejlepší použití | Slabina |
|----|----|----|----|
| **Bodový** | „Ohodnoťte tento výstup podle hodnoticí rubriky na škále od 1 do 5.“ | Absolutní skóre na dashboardu nebo v CI bráně | Kalibrace se posouvá; skóre se obtížně porovnává mezi běhy |
| **Párový** | „Která odpověď je lepší, A, nebo B?“ | Porovnávání dvou promptů nebo dvou modelů | Určí vítěze, nikoli absolutní skóre; citlivý na pořadí |

Párové hodnocení se s lidským hodnocením obvykle shoduje více, protože relativní porovnávání je snazší než absolutní kalibrace. Použijte je při A/B testování změny a bodové hodnocení, když potřebujete samostatné číslo.

## Napište prompt pro hodnotitele

Kvalita hodnotitele závisí na hodnoticí rubrice. Vágní prompt vede model k neukotveným předpokladům, proto kritéria výslovně uveďte a požádejte hodnotitele, aby před udělením skóre své hodnocení zdůvodnil.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Důležité jsou dva detaily. Požadavek, aby hodnotitel před vydáním verdiktu uvažoval krok za krokem (prompt typu chain-of-thought), zvyšuje shodu s lidským hodnocením. Výslovný pokyn „do not reward length or style“ přímo omezuje zkreslení popsané dále.

## Čtyři zkreslení, která musíte řešit

Hodnotitel není neutrální věštec. Výzkum doložil opakující se zkreslení. Jde o vlastnosti této metody, které nelze úplně odstranit pouhým promptem.

| Zkreslení | Co se děje | Jak ho omezit |
|----|----|----|
| **Zkreslení pořadím** | Při párovém hodnocení častěji než náhodou vítězí odpověď na pozici A | Spusťte hodnocení v obou pořadích (A/B a B/A) a důvěřujte pouze shodnému verdiktu |
| **Zkreslení ve prospěch délky** | Delší odpovědi dostávají vyšší skóre i při stejné kvalitě | V hodnoticí rubrice zohledněte délku nebo použijte míru vítězství při kontrolované délce |
| **Upřednostňování vlastního modelu** | Hodnotitel upřednostňuje výstupy z vlastní rodiny modelů | Použijte hodnotitele z jiné rodiny, než do které patří testovaný model |
| **Zkreslení formátem** | Hodnotitel upřednostňuje formát, který sám preferuje (např. prózu před JSON) | V hodnoticí rubrice uveďte požadovaný formát a hodnoťte obsah, nikoli podobu |

Nejdůležitější je zkreslení pořadím, protože se snadno odhalí v kódu a nepozorovaně zkresluje každé párové porovnání, které provedete.

## Omezte zkreslení pořadím v kódu

Řešení zkreslení pořadím je jednoduché: každou dvojici ohodnoťte dvakrát a prohoďte pořadí výstupů. Vítěze vyhlaste jen tehdy, pokud verdikt platí v obou případech. Pokud se změní pouze kvůli pořadí, hodnotitel hádá.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Vložte tento kód do souboru `debias.py` a spusťte `python debias.py`. Výsledkem bude přesně:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

Omezení zkreslení zafungovalo. Odhalilo zaujatého hodnotitele a odmítlo určit vítěze, zatímco stabilní verdikt spravedlivého hodnotitele přijalo. Chcete-li použít skutečného hodnotitele, nahraďte `judge` funkcí, která zavolá LLM s výše uvedeným promptem s hodnoticí rubrikou a vrátí „A“ nebo „B“.

## Prověřte svého hodnotitele

Než začnete hodnotiteli důvěřovat v produkčním prostředí, změřte jeho výkon. Hodnotitel, kterého jste neprověřili, je metrika, kterou nemůžete obhájit.

Sestavte malou kalibrační sadu případů se známými správnými verdikty, ideálně označenými lidmi. Spusťte hodnotitele a ověřte dvě věci: jak často se shoduje s lidskými štítky a jak často se párový verdikt po prohození pořadí změní. Míra změn nad přibližně 5 % znamená, že zkreslení pořadím stále přetrvává.

Toto prověření opakujte pokaždé, když změníte model hodnotitele. I drobná změna verze může posunout rozložení skóre, takže kalibrace není jednorázový úkol.

## Hybridní vzorec

Spolehlivé řešení nespoléhá pouze na hodnotitele. Kombinuje tři druhy kontrol, od nejlevnější.

- Deterministické metriky pokrývají vše, co mohou (štítky, schéma, požadovaná fakta).
- Hodnotitel LLM skóruje pouze otevřené kvality, které zbývají.
- Člověk namátkově ověřuje vzorek verdiktů hodnotitele, aby zůstal spolehlivý.

Každá vrstva pokrývá slepé místo té předchozí. Hodnotitel je výkonná prostřední vrstva, nikoli celý systém.

## Časté chyby

Většina nespolehlivých hodnotitelů má několik společných příčin.

Mezi časté patří:

- Použití stejného modelu pro generování i hodnocení, čímž se zakóduje upřednostňování vlastního modelu.
- Vágní hodnoticí rubrika, kvůli které hodnotitel skóruje podle skrytých předpokladů.
- Párové hodnocení pouze v jednom pořadí, takže zkreslení pořadím zůstane neodhaleno.
- Žádná kalibrace podle lidského hodnocení, takže nelze říct, zda hodnotitel rozhoduje správně.

Napravte to tak, že oddělíte hodnotitele od testovaného modelu, napíšete výslovnou hodnoticí rubriku, vždy prohodíte pořadí a provedete audit podle lidských štítků.

## Zdroje

Zheng a kol., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). Paradigma LLM jako hodnotitele, shoda s lidskými preferencemi ve více než 80 % případů a zkreslení pořadím, délkou a sebeupřednostňováním.

<div class="section">

## Často kladené otázky

Co je LLM jako hodnotitel?

Použití jednoho jazykového modelu k hodnocení výstupu jiného podle hodnoticí rubriky v případech, kdy nelze přesnou shodou zachytit vlastnosti jako užitečnost, tón nebo věrnost zdroji.

Mohu pro generování i hodnocení použít stejný model?

Ne. Hodnotitel upřednostňuje výstupy vlastní rodiny modelů (zkreslení ve prospěch vlastního modelu), takže hodnocení vlastního modelu skóre nadhodnocuje. Použijte hodnotitele z jiné rodiny.

Jak zastavím zkreslení pořadím?

Každé párové porovnání spusťte v obou pořadích a přijměte pouze verdikt, který platí v obou případech. Pokud se změní jen kvůli pořadí, považujte výsledek za remízu.

</div>

## Využijte tohoto průvodce s Ailoot

Propojte AI modely se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného API Ailoot. Vyberte model, který vyhovuje vašemu úkolu, a začněte podle [dokumentace Ailoot](https://ailoot.ai/docs/).


## Ailoot · Společnost a její portfolio projektů

Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.

Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.

Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.
