# Ako používať LLM ako hodnotiteľa

> Použite jeden model na hodnotenie druhého podľa rubriky. Zistite, aký je rozdiel medzi hodnotením jednotlivých odpovedí a porovnávaním dvojíc, aké sú bežné skreslenia a ako ich obmedziť.

Source: https://ailoot.ai/blog/sk/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/sk/how-to-use-llm-as-a-judge/
Language: sk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-9cbe489f36e56e97c13671388c3aa96865af0f0cf504ba4165faf87f497e4de8


Použite jeden model na hodnotenie druhého podľa rubriky. Zistite, aký je rozdiel medzi hodnotením jednotlivých odpovedí a porovnávaním dvojíc, aké sú bežné skreslenia a ako ich obmedziť.

## Čo je LLM-as-a-judge?

LLM-as-a-judge je používanie jazykového modelu na hodnotenie výstupu iného modelu podľa kritérií, ktoré určíte. Namiesto porovnania reťazcov hodnotiteľ prečíta výstup a vráti skóre alebo verdikt.

Túto paradigmu formalizovali Zheng a kol. v roku 2023. Zistili, že silný model sa zhodoval s ľudskými preferenciami vo viac ako 80 % prípadov, čo je približne rovnaká miera zhody, akú dosahujú dvaja ľudia. V tom spočíva prísľub: ľudské posudzovanie v strojovom rozsahu a za strojové náklady.

Háčik je v tom, že hodnotiteľ je model, a preto preberá jeho zvláštnosti. Pri neopatrnom používaní vytvára sebavedomé skóre, ktoré meria nesprávnu vec.

## Kedy ho použiť a kedy nie

Hodnotiteľ je vhodný na otvorené hodnotenie kvality, ktoré odoláva presnému bodovaniu. Nie je vhodný vtedy, keď stačí lacnejšia deterministická kontrola.

Hodnotiteľa použite pri posudzovaní užitočnosti, tónu, súdržnosti, vernosti zdroju alebo pri otázke „ktorá z týchto dvoch odpovedí je lepšia“. Vynechajte ho pri všetkom, čo už pokrýva programová metrika: označenia, presné hodnoty, platnosť schémy alebo prítomnosť požadovaného faktu.

Pravidlo: najprv sa pokúste kontrolu urobiť deterministickou. Rozhodovanie zverte hodnotiteľovi, až keď to naozaj nejde inak.

## Hodnotenie jednotlivých odpovedí a porovnávanie dvojíc

Hodnotiteľa môžete požiadať o skóre dvoma spôsobmi, pričom každý sa hodí na iné úlohy.

| Režim | Otázka | Najvhodnejšie použitie | Slabina |
|----|----|----|----|
| **Jednotlivé odpovede** | „Ohodnoť tento výstup od 1 do 5 podľa rubriky.“ | Absolútne skóre pre informačný panel alebo kontrolnú bránu CI | Kalibrácia sa mení; skóre sa ťažko porovnáva medzi spusteniami |
| **Porovnávanie dvojíc** | „Ktorá odpoveď je lepšia, A alebo B?“ | Porovnávanie dvoch promptov alebo dvoch modelov | Určí víťaza, nie absolútne skóre; citlivo reaguje na poradie |

Porovnávanie dvojíc sa zvyčajne viac zhoduje s ľudským posudzovaním, pretože relatívne porovnávanie je jednoduchšie než absolútna kalibrácia. Použite ho pri A/B testovaní zmeny a hodnotenie jednotlivých odpovedí vtedy, keď potrebujete samostatné číslo.

## Napíšte prompt pre hodnotiteľa

Kvalita hodnotiteľa závisí od kvality rubriky. Nejasný prompt ponecháva priestor nepodloženým predpokladom modelu, preto jasne uveďte kritériá a požiadajte hodnotiteľa, aby pred udelením skóre svoju úvahu zdôvodnil.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Dôležité sú dve podrobnosti. Požiadavka, aby hodnotiteľ pred verdiktom postupne odôvodnil svoje posúdenie (prompt s reťazou uvažovania), zlepšuje zhodu s ľudským posudzovaním. A výslovná veta „neodmeňuj dĺžku ani štýl“ priamo bráni skresleniu, o ktorom bude reč ďalej.

## Štyri skreslenia, ktoré musíte zvládnuť

Hodnotiteľ nie je nestranná veštiareň. Výskum zdokumentoval opakujúce sa skreslenia, ktoré sú vlastnosťami tejto metódy a promptami sa nedajú úplne odstrániť.

| Skreslenie | Čo sa deje | Ako ho zmierniť |
|----|----|----|
| **Skreslenie pozície** | Pri porovnávaní dvojíc vyhráva odpoveď na pozícii A častejšie, než by zodpovedalo náhode | Otestujte obe poradia (A/B aj B/A) a dôverujte iba verdiktu, ktorý sa v oboch zhoduje |
| **Skreslenie v prospech obšírnosti** | Dlhšie odpovede získavajú vyššie skóre, aj keď majú rovnakú kvalitu | V rubrike penalizujte dĺžku alebo používajte mieru výhier pri kontrolovanej dĺžke |
| **Vlastná preferencia** | Hodnotiteľ uprednostňuje výstupy z vlastnej rodiny modelov | Použite hodnotiteľa z inej rodiny, než je model, ktorý testujete |
| **Skreslenie formátu** | Hodnotiteľ uprednostňuje formát, ktorý mu vyhovuje (napríklad prózu pred JSON) | V rubrike uveďte požadovaný formát a hodnotte obsah, nie jeho podobu |

Najdôležitejšie je skreslenie pozície, pretože sa dá ľahko zachytiť v kóde, no ak ostane nepovšimnuté, potichu znehodnotí každé porovnanie dvojíc.

## Odstráňte skreslenie pozície v kóde

Riešenie skreslenia pozície je jednoduché: každý pár vyhodnoťte dvakrát, pričom zmeňte poradie výstupov, a víťaza vyhláste iba vtedy, ak verdikt platí v oboch prípadoch. Ak sa zmení len v dôsledku poradia, hodnotiteľ háda.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Vložte kód do súboru `debias.py` a spustite `python debias.py`. Výsledok bude presne takýto:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

Odstránenie skreslenia zafungovalo. Zachytilo skresleného hodnotiteľa a odmietlo určiť víťaza, zatiaľ čo stabilný verdikt nestranného hodnotiteľa prijalo. Ak chcete použiť skutočného hodnotiteľa, nahraďte `judge` funkciou, ktorá zavolá LLM s vyššie uvedeným promptom pre rubriku a vráti „A“ alebo „B“.

## Auditujte svojho hodnotiteľa

Skôr než začnete hodnotiteľovi dôverovať v produkcii, zmerajte jeho výkon. Hodnotiteľ, ktorého ste neauditovali, je metrika, ktorú neviete obhájiť.

Vytvorte malú kalibračnú množinu prípadov so známymi správnymi verdiktmi, ideálne označenými ľuďmi. Spustite hodnotiteľa a skontrolujte dve veci: ako často sa zhoduje s ľudskými označeniami a ako často sa verdikt pri porovnávaní dvojice zmení po zámene poradia. Miera zmien nad približne 5 % znamená, že skreslenie pozície stále preniká do výsledkov.

Tento audit zopakujte vždy, keď zmeníte model hodnotiteľa. Aj menšie zvýšenie verzie môže posunúť rozdelenie skóre, takže kalibrácia nie je jednorazová úloha.

## Hybridný vzor

Spoľahlivé nastavenie sa nespolieha iba na hodnotiteľa. Vrství tri druhy kontrol, od najlacnejšej po najdrahšiu.

- Deterministické metriky pokrývajú všetko, čo dokážu (označenia, schému, požadované fakty).
- Hodnotiteľ LLM skóruje iba zostávajúce otvorené aspekty kvality.
- Človek namátkovo kontroluje vzorku verdiktov hodnotiteľa, aby zostal poctivý.

Každá vrstva pokrýva slepé miesto tej predchádzajúcej. Hodnotiteľ je výkonná prostredná vrstva, nie celý systém.

## Bežné chyby

Väčšina nespoľahlivých hodnotiteľov má niekoľko spoločných príčin.

Najčastejšie chyby:

- Používanie rovnakého modelu na generovanie aj hodnotenie, čím sa zakotví vlastná preferencia.
- Písanie nejasnej rubriky, takže hodnotiteľ skóruje na základe skrytých predpokladov.
- Spúšťanie porovnávania dvojíc iba v jednom poradí, takže skreslenie pozície zostane neodhalené.
- Žiadna kalibrácia voči ľudskému posudzovaniu, takže neviete povedať, či má hodnotiteľ pravdu.

Napravte to oddelením hodnotiteľa od testovaného modelu, napísaním výslovnej rubriky, dôsledným striedaním poradia a auditovaním voči ľudským označeniam.

## Zdroje

Zheng a kol., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). Paradigma LLM-as-judge, zhoda s ľudskými preferenciami vo viac ako 80 % prípadov a skreslenia pozície, obšírnosti a sebaposilňovania.

<div class="section">

## Často kladené otázky

Čo je LLM-as-a-judge?

Používanie jedného jazykového modelu na hodnotenie výstupu iného modelu podľa rubriky pri vlastnostiach, ktoré nedokáže zachytiť presná zhoda, napríklad užitočnosť, tón alebo vernosť.

Môžem na generovanie aj hodnotenie použiť rovnaký model?

Nie. Hodnotiteľ uprednostňuje výstupy z vlastnej rodiny modelov (skreslenie vlastnou preferenciou), takže hodnotenie vlastného modelu nadhodnocuje skóre. Použite hodnotiteľa z inej rodiny.

Ako zastavím skreslenie pozície?

Každé porovnanie dvojice vykonajte v oboch poradiach a prijmite iba verdikt, ktorý platí v oboch prípadoch. Ak sa zmení len v dôsledku poradia, považujte výsledok za remízu.

</div>

## Využite túto príručku s Ailoot

Pripojte modely umelej inteligencie k svojim aplikáciám, agentom a automatizáciám cez jedno API Ailoot. Vyberte model vhodný pre svoju úlohu a začnite podľa [dokumentácie Ailoot](https://ailoot.ai/docs/).


## Ailoot · Spoločnosť a jej portfólio projektov

Ailoot stavia na dlhodobých prevádzkových skúsenostiach, širokej klientskej základni, stabilných službách a priebežnom sledovaní KPI.

Spoločnosť a jej portfólio projektov: milióny zákazníkov; mesačné tržby v miliardách.

Ailoot využíva tieto prevádzkové skúsenosti na poskytovanie prístupu cez API k funkciám AI v produktoch zákazníkov, agentoch, aplikáciách a automatizáciách.
