Blog

Ako používať LLM ako hodnotiteľa

Markdown

Použite jeden model na hodnotenie druhého podľa rubriky. Zistite, aký je rozdiel medzi hodnotením jednotlivých odpovedí a porovnávaním dvojíc, aké sú bežné skreslenia a ako ich obmedziť.

Použite jeden model na hodnotenie druhého podľa rubriky. Zistite, aký je rozdiel medzi hodnotením jednotlivých odpovedí a porovnávaním dvojíc, aké sú bežné skreslenia a ako ich obmedziť.

Čo je LLM-as-a-judge?

LLM-as-a-judge je používanie jazykového modelu na hodnotenie výstupu iného modelu podľa kritérií, ktoré určíte. Namiesto porovnania reťazcov hodnotiteľ prečíta výstup a vráti skóre alebo verdikt.

Túto paradigmu formalizovali Zheng a kol. v roku 2023. Zistili, že silný model sa zhodoval s ľudskými preferenciami vo viac ako 80 % prípadov, čo je približne rovnaká miera zhody, akú dosahujú dvaja ľudia. V tom spočíva prísľub: ľudské posudzovanie v strojovom rozsahu a za strojové náklady.

Háčik je v tom, že hodnotiteľ je model, a preto preberá jeho zvláštnosti. Pri neopatrnom používaní vytvára sebavedomé skóre, ktoré meria nesprávnu vec.

Kedy ho použiť a kedy nie

Hodnotiteľ je vhodný na otvorené hodnotenie kvality, ktoré odoláva presnému bodovaniu. Nie je vhodný vtedy, keď stačí lacnejšia deterministická kontrola.

Hodnotiteľa použite pri posudzovaní užitočnosti, tónu, súdržnosti, vernosti zdroju alebo pri otázke „ktorá z týchto dvoch odpovedí je lepšia“. Vynechajte ho pri všetkom, čo už pokrýva programová metrika: označenia, presné hodnoty, platnosť schémy alebo prítomnosť požadovaného faktu.

Pravidlo: najprv sa pokúste kontrolu urobiť deterministickou. Rozhodovanie zverte hodnotiteľovi, až keď to naozaj nejde inak.

Hodnotenie jednotlivých odpovedí a porovnávanie dvojíc

Hodnotiteľa môžete požiadať o skóre dvoma spôsobmi, pričom každý sa hodí na iné úlohy.

RežimOtázkaNajvhodnejšie použitieSlabina
Jednotlivé odpovede„Ohodnoť tento výstup od 1 do 5 podľa rubriky.“Absolútne skóre pre informačný panel alebo kontrolnú bránu CIKalibrácia sa mení; skóre sa ťažko porovnáva medzi spusteniami
Porovnávanie dvojíc„Ktorá odpoveď je lepšia, A alebo B?“Porovnávanie dvoch promptov alebo dvoch modelovUrčí víťaza, nie absolútne skóre; citlivo reaguje na poradie

Porovnávanie dvojíc sa zvyčajne viac zhoduje s ľudským posudzovaním, pretože relatívne porovnávanie je jednoduchšie než absolútna kalibrácia. Použite ho pri A/B testovaní zmeny a hodnotenie jednotlivých odpovedí vtedy, keď potrebujete samostatné číslo.

Napíšte prompt pre hodnotiteľa

Kvalita hodnotiteľa závisí od kvality rubriky. Nejasný prompt ponecháva priestor nepodloženým predpokladom modelu, preto jasne uveďte kritériá a požiadajte hodnotiteľa, aby pred udelením skóre svoju úvahu zdôvodnil.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Dôležité sú dve podrobnosti. Požiadavka, aby hodnotiteľ pred verdiktom postupne odôvodnil svoje posúdenie (prompt s reťazou uvažovania), zlepšuje zhodu s ľudským posudzovaním. A výslovná veta „neodmeňuj dĺžku ani štýl“ priamo bráni skresleniu, o ktorom bude reč ďalej.

Štyri skreslenia, ktoré musíte zvládnuť

Hodnotiteľ nie je nestranná veštiareň. Výskum zdokumentoval opakujúce sa skreslenia, ktoré sú vlastnosťami tejto metódy a promptami sa nedajú úplne odstrániť.

SkreslenieČo sa dejeAko ho zmierniť
Skreslenie pozíciePri porovnávaní dvojíc vyhráva odpoveď na pozícii A častejšie, než by zodpovedalo náhodeOtestujte obe poradia (A/B aj B/A) a dôverujte iba verdiktu, ktorý sa v oboch zhoduje
Skreslenie v prospech obšírnostiDlhšie odpovede získavajú vyššie skóre, aj keď majú rovnakú kvalituV rubrike penalizujte dĺžku alebo používajte mieru výhier pri kontrolovanej dĺžke
Vlastná preferenciaHodnotiteľ uprednostňuje výstupy z vlastnej rodiny modelovPoužite hodnotiteľa z inej rodiny, než je model, ktorý testujete
Skreslenie formátuHodnotiteľ uprednostňuje formát, ktorý mu vyhovuje (napríklad prózu pred JSON)V rubrike uveďte požadovaný formát a hodnotte obsah, nie jeho podobu

Najdôležitejšie je skreslenie pozície, pretože sa dá ľahko zachytiť v kóde, no ak ostane nepovšimnuté, potichu znehodnotí každé porovnanie dvojíc.

Odstráňte skreslenie pozície v kóde

Riešenie skreslenia pozície je jednoduché: každý pár vyhodnoťte dvakrát, pričom zmeňte poradie výstupov, a víťaza vyhláste iba vtedy, ak verdikt platí v oboch prípadoch. Ak sa zmení len v dôsledku poradia, hodnotiteľ háda.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Vložte kód do súboru debias.py a spustite python debias.py. Výsledok bude presne takýto:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Odstránenie skreslenia zafungovalo. Zachytilo skresleného hodnotiteľa a odmietlo určiť víťaza, zatiaľ čo stabilný verdikt nestranného hodnotiteľa prijalo. Ak chcete použiť skutočného hodnotiteľa, nahraďte judge funkciou, ktorá zavolá LLM s vyššie uvedeným promptom pre rubriku a vráti „A“ alebo „B“.

Auditujte svojho hodnotiteľa

Skôr než začnete hodnotiteľovi dôverovať v produkcii, zmerajte jeho výkon. Hodnotiteľ, ktorého ste neauditovali, je metrika, ktorú neviete obhájiť.

Vytvorte malú kalibračnú množinu prípadov so známymi správnymi verdiktmi, ideálne označenými ľuďmi. Spustite hodnotiteľa a skontrolujte dve veci: ako často sa zhoduje s ľudskými označeniami a ako často sa verdikt pri porovnávaní dvojice zmení po zámene poradia. Miera zmien nad približne 5 % znamená, že skreslenie pozície stále preniká do výsledkov.

Tento audit zopakujte vždy, keď zmeníte model hodnotiteľa. Aj menšie zvýšenie verzie môže posunúť rozdelenie skóre, takže kalibrácia nie je jednorazová úloha.

Hybridný vzor

Spoľahlivé nastavenie sa nespolieha iba na hodnotiteľa. Vrství tri druhy kontrol, od najlacnejšej po najdrahšiu.

  • Deterministické metriky pokrývajú všetko, čo dokážu (označenia, schému, požadované fakty).
  • Hodnotiteľ LLM skóruje iba zostávajúce otvorené aspekty kvality.
  • Človek namátkovo kontroluje vzorku verdiktov hodnotiteľa, aby zostal poctivý.

Každá vrstva pokrýva slepé miesto tej predchádzajúcej. Hodnotiteľ je výkonná prostredná vrstva, nie celý systém.

Bežné chyby

Väčšina nespoľahlivých hodnotiteľov má niekoľko spoločných príčin.

Najčastejšie chyby:

  • Používanie rovnakého modelu na generovanie aj hodnotenie, čím sa zakotví vlastná preferencia.
  • Písanie nejasnej rubriky, takže hodnotiteľ skóruje na základe skrytých predpokladov.
  • Spúšťanie porovnávania dvojíc iba v jednom poradí, takže skreslenie pozície zostane neodhalené.
  • Žiadna kalibrácia voči ľudskému posudzovaniu, takže neviete povedať, či má hodnotiteľ pravdu.

Napravte to oddelením hodnotiteľa od testovaného modelu, napísaním výslovnej rubriky, dôsledným striedaním poradia a auditovaním voči ľudským označeniam.

Zdroje

Zheng a kol., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Paradigma LLM-as-judge, zhoda s ľudskými preferenciami vo viac ako 80 % prípadov a skreslenia pozície, obšírnosti a sebaposilňovania.

Často kladené otázky

Čo je LLM-as-a-judge?

Používanie jedného jazykového modelu na hodnotenie výstupu iného modelu podľa rubriky pri vlastnostiach, ktoré nedokáže zachytiť presná zhoda, napríklad užitočnosť, tón alebo vernosť.

Môžem na generovanie aj hodnotenie použiť rovnaký model?

Nie. Hodnotiteľ uprednostňuje výstupy z vlastnej rodiny modelov (skreslenie vlastnou preferenciou), takže hodnotenie vlastného modelu nadhodnocuje skóre. Použite hodnotiteľa z inej rodiny.

Ako zastavím skreslenie pozície?

Každé porovnanie dvojice vykonajte v oboch poradiach a prijmite iba verdikt, ktorý platí v oboch prípadoch. Ak sa zmení len v dôsledku poradia, považujte výsledok za remízu.

Využite túto príručku s Ailoot

Pripojte modely umelej inteligencie k svojim aplikáciám, agentom a automatizáciám cez jedno API Ailoot. Vyberte model vhodný pre svoju úlohu a začnite podľa dokumentácie Ailoot.