# Kaip naudoti LLM-as-a-Judge

> Naudokite vieną modelį kitam įvertinti pagal vertinimo kriterijus. Sužinokite apie vertinimą pagal atskirus atsakymus ir poromis, dažnus šališkumus ir būdus juos kontroliuoti.

Source: https://ailoot.ai/blog/lt/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/lt/how-to-use-llm-as-a-judge/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-fdc87eb52629c34c8a563440340f86af0c1cd798ed013313f1e7e3b23c251c79


Naudokite vieną modelį kitam įvertinti pagal vertinimo kriterijus. Sužinokite apie vertinimą pagal atskirus atsakymus ir poromis, dažnus šališkumus ir būdus juos kontroliuoti.

## Kas yra LLM kaip vertintojas?

LLM kaip vertintojas – tai kalbos modelio naudojimas kito modelio išvesties vertinimui pagal jūsų apibrėžtus kriterijus. Užuot lyginęs eilutes, vertintojas perskaito išvestį ir pateikia balą arba sprendimą.

Šią paradigmą 2023 m. formalizavo Zhengas ir kt. Jie nustatė, kad stiprus modelis daugiau nei 80 % atvejų sutiko su žmonių pasirinkimais – maždaug taip dažnai, kaip tarpusavyje sutinka du žmonės. Toks pažadas: žmogiškas vertinimas mašinos mastu ir kaina.

Tačiau vertintojas yra modelis, todėl perima modeliams būdingas ypatybes. Neatsargiai naudojamas jis pateikia užtikrintus balus, kurie matuoja ne tai, ką reikia.

## Kada naudoti, o kada ne

Vertintojas tinka atviros formos kokybei vertinti, kai tikslus įvertinimas neįmanomas. Jis netinka, kai pakaktų pigesnio, deterministinio patikrinimo.

Naudokite vertintoją naudingumui, tonui, rišlumui, ištikimybei šaltiniui arba klausimui „kuris iš šių dviejų atsakymų geresnis?“ įvertinti. Nenaudokite jo tam, ką jau gali patikrinti programinė metrika: žymoms, tikslioms reikšmėms, schemos galiojimui arba privalomo fakto buvimui.

Taisyklė paprasta: pirmiausia pabandykite patikrinimą padaryti deterministinį. Tik jei to iš tiesų neįmanoma, perduokite sprendimą vertintojui.

## Vertinimas pagal atskirus atsakymus ir poromis

Vertintojui galima pateikti klausimą dviem būdais, ir kiekvienas tinka skirtingoms užduotims.

| Režimas | Klausimas | Geriausiai tinka | Silpnoji vieta |
|----|----|----|----|
| **Atskiras vertinimas** | „Įvertinkite šią išvestį nuo 1 iki 5 pagal kriterijus.“ | Absoliutūs balai skydeliui arba CI vartams | Kalibravimas kinta; balus sunku lyginti tarp paleidimų |
| **Vertinimas poromis** | „Kuris geresnis, A ar B?“ | Dviejų užklausų arba dviejų modelių palyginimui | Pateikia laimėtoją, o ne absoliutų balą; jautrus eiliškumui |

Vertinimas poromis paprastai labiau sutampa su žmonių vertinimu, nes palyginti santykinai lengviau nei kalibruoti absoliutų balą. Rinkitės jį, kai A/B testuojate pakeitimą, o atskirą vertinimą naudokite, kai reikia savarankiško skaičiaus.

## Parašykite vertintojo užklausą

Vertintojas bus tik toks geras, kokie yra jo vertinimo kriterijai. Miglota užklausa palieka modelio nepagrįstas prielaidas, todėl aiškiai apibrėžkite kriterijus ir paprašykite vertintojo samprotauti prieš skiriant balą.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Svarbios dvi detalės. Prašymas prieš pateikiant sprendimą samprotauti žingsnis po žingsnio (užklausa su samprotavimo grandine) pagerina sutapimą su žmonių vertinimu. Be to, aiški eilutė „nevertinkite pagal ilgį ar stilių“ tiesiogiai atsveria toliau aptariamą šališkumą.

## Keturi šališkumai, kuriuos būtina suvaldyti

Vertintojas nėra neutralus orakulas. Tyrimai užfiksavo nuolat pasireiškiančius šališkumus; tai yra metodo savybės, o ne klaidos, kurias galima visiškai pašalinti užklausomis.

| Šališkumas | Kas vyksta | Švelninimo priemonė |
|----|----|----|
| **Pozicijos šališkumas** | Vertinant poromis, A pozicijoje esantis atsakymas laimi dažniau nei atsitiktinai | Paleiskite abi tvarkas (A/B ir B/A) ir pasitikėkite tik sutampančiu sprendimu |
| **Žodžių gausumo šališkumas** | Ilgesni atsakymai gauna aukštesnius balus, net kai jų kokybė vienoda | Vertinimo kriterijuose bauskite už ilgį arba naudokite pagal ilgį kontroliuojamus laimėjimų rodiklius |
| **Savęs preferavimas** | Vertintojas palankiau vertina savo modelių šeimos išvestis | Naudokite vertintoją iš kitos šeimos nei tikrinamas modelis |
| **Formato šališkumas** | Vertintojas teikia pirmenybę savo mėgstamam formatui (pvz., prozai, o ne JSON) | Vertinimo kriterijuose nurodykite reikiamą formatą ir vertinkite turinį, o ne formą |

Svarbiausias iš jų yra pozicijos šališkumas, nes jį lengva aptikti kode, o nepastebėtas jis tyliai iškreipia kiekvieną jūsų atliekamą palyginimą poromis.

## Valdykite pozicijos šališkumą kode

Pozicijos šališkumą lengva pašalinti: įvertinkite kiekvieną porą du kartus, sukeisdami atsakymų eiliškumą, ir paskelbkite laimėtoją tik tada, jei sprendimas sutampa abiem atvejais. Jei jis pasikeičia vien dėl eiliškumo, vertintojas spėlioja.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Įklijuokite tai į `debias.py` ir paleiskite `python debias.py`. Gausite tiksliai:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

Šališkumo šalinimas suveikė. Jis aptiko šališką vertintoją ir atsisakė paskelbti laimėtoją, o stabilų sąžiningo vertintojo sprendimą priėmė. Norėdami naudoti tikrą vertintoją, pakeiskite `judge` funkcija, kuri pagal pirmiau pateiktą vertinimo užklausą kreipiasi į LLM ir grąžina „A“ arba „B“.

## Patikrinkite savo vertintoją

Prieš pasitikėdami vertintoju produkcinėje aplinkoje, išmatuokite jo veikimą. Vertintojas, kurio nepatikrinote, yra metrika, kurios negalite pagrįsti.

Sukurkite nedidelį kalibravimo rinkinį iš atvejų, kurių teisingi sprendimai žinomi, geriausia – žmonių pažymėtų. Paleiskite vertintoją ir patikrinkite du dalykus: kaip dažnai jo sprendimai sutampa su žmonių žymomis ir kaip dažnai sprendimas poromis pasikeičia sukeitus eiliškumą. Jei pasikeitimų dalis viršija maždaug 5 %, pozicijos šališkumas vis dar prasiskverbia.

Pakartokite šį auditą kaskart pakeitę vertintojo modelį. Net nedidelis versijos atnaujinimas gali pakeisti balų pasiskirstymą, todėl kalibravimas nėra vienkartinė užduotis.

## Hibridinis metodas

Patikima sąranka nesiremia vien vertintoju. Joje paeiliui naudojami trijų rūšių patikrinimai, pradedant nuo pigiausių.

- Deterministinės metrikos patikrina viską, ką gali (žymas, schemą, privalomus faktus).
- LLM vertintojas įvertina tik likusias atviros formos savybes.
- Žmogus atrankos būdu patikrina dalį vertintojo sprendimų, kad jie išliktų patikimi.

Kiekvienas sluoksnis padengia ankstesnio sluoksnio akląją zoną. Vertintojas yra galingas vidurinis sluoksnis, o ne visa sistema.

## Dažnos klaidos

Daugumą nepatikimų vertintojų lemia kelios priežastys.

Dažniausios:

- Naudojamas tas pats modelis kaip generatorius ir vertintojas, todėl įsitvirtina savęs preferavimas.
- Parašyti migloti kriterijai, todėl vertintojas balus skiria remdamasis paslėptomis prielaidomis.
- Vertinimas poromis atliekamas tik viena tvarka, todėl pozicijos šališkumas lieka nepastebėtas.
- Niekada nekalibruojama pagal žmones, todėl negalite pasakyti, ar vertintojas teisus.

Tai ištaisysite atskirdami vertintoją nuo tikrinamo modelio, aiškiai apibrėždami kriterijus, visada sukeisdami eiliškumą ir atlikdami auditą pagal žmonių žymas.

## Šaltiniai

Zheng ir kt., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). LLM kaip vertintojo paradigma, daugiau nei 80 % sutapimas su žmonių pasirinkimais, pozicijos, žodžių gausumo ir savęs išaukštinimo šališkumai.

<div class="section">

## Dažnai užduodami klausimai

Kas yra LLM kaip vertintojas?

Vieno kalbos modelio naudojimas kito modelio išvesčiai vertinti pagal kriterijus, kai tiksli atitiktis negali įvertinti tokių savybių kaip naudingumas, tonas ar ištikimybė.

Ar galiu naudoti tą patį modelį generavimui ir vertinimui?

Ne. Vertintojas palankiau vertina savo modelių šeimos išvestis (savęs preferavimo šališkumas), todėl vertinant savo modelį balas išpučiamas. Naudokite vertintoją iš kitos šeimos.

Kaip sustabdyti pozicijos šališkumą?

Atlikite kiekvieną palyginimą poromis abiem tvarkomis ir priimkite tik sprendimą, kuris sutampa abiem atvejais. Jei jis pasikeičia vien dėl eiliškumo, laikykite jį lygiosiomis.

</div>

## Pritaikykite šį vadovą su Ailoot

Prijunkite AI modelius prie savo programų, agentų ir automatizavimo procesų per vieną Ailoot API. Pasirinkite užduočiai tinkamą modelį ir pradėkite nuo [Ailoot dokumentacijos](https://ailoot.ai/docs/).


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.
