Blogi

Näin käytät LLM-as-a-Judge-arviointia

Markdown

Käytä yhtä mallia toisen arviointiin arviointiperusteiden mukaan. Opi pistekohtaisten ja parittaisten arviointitapojen erot, yleiset vinoumat ja keinot niiden hallintaan.

Käytä yhtä mallia toisen arviointiin arviointiperusteiden mukaan. Opi pistekohtaisten ja parittaisten arviointitapojen erot, yleiset vinoumat ja keinot niiden hallintaan.

Mitä LLM-as-a-judge tarkoittaa?

LLM-as-a-judge tarkoittaa kielimallin käyttämistä toisen mallin tulosteen arviointiin määrittelemiesi kriteerien perusteella. Merkkijonojen vertailun sijaan arvioija lukee tulosteen ja palauttaa pisteet tai tuomion.

Zheng ym. formalisoivat paradigman vuonna 2023. He havaitsivat, että vahva malli oli samaa mieltä ihmisten mieltymysten kanssa yli 80 % ajasta, suunnilleen yhtä usein kuin kaksi ihmistä on samaa mieltä keskenään. Tämä on lupaus: ihmisen kaltainen arviointikyky koneen mittakaavassa ja hinnalla.

Ongelmana on, että arvioija on malli, joten sillä on samat mallien omituisuudet. Huolimattomasti käytettynä se tuottaa itsevarmoja pisteitä, jotka mittaavat väärää asiaa.

Milloin sitä kannattaa käyttää ja milloin ei?

Arvioija on oikea työkalu avoimeen laadun arviointiin, jota on vaikea pisteyttää täsmällisesti. Se on väärä työkalu, kun halvempi, deterministinen tarkistus riittää.

Käytä arvioijaa hyödyllisyyden, sävyn, johdonmukaisuuden, lähteelle uskollisuuden tai kysymyksen ”kumpi näistä kahdesta vastauksesta on parempi?” arviointiin. Älä käytä sitä asioihin, jotka ohjelmallinen mittari jo kattaa: tunnisteisiin, täsmällisiin arvoihin, skeeman kelpoisuuteen tai vaaditun tiedon esiintymiseen.

Nyrkkisääntö: yritä ensin tehdä tarkistuksesta deterministinen. Anna päätös arvioijan tehtäväksi vasta, kun se ei aidosti muuten onnistu.

Pistekohtainen ja parittainen arviointi

Arvioijalta voi pyytää pisteytystä kahdella tavalla, jotka sopivat eri tehtäviin.

TapaKysymysSopii parhaitenHeikkous
Pistekohtainen”Arvioi tämä tuloste asteikolla 1–5 arviointiperusteiden mukaan.”Absoluuttiset pisteet koontinäyttöön tai CI-porttiinKalibrointi ajautuu; pisteitä on vaikea verrata eri suoritusten välillä
Parittainen”Kumpi on parempi, A vai B?”Kahden kehotteen tai kahden mallin vertailuunAntaa voittajan, ei absoluuttista pistemäärää; herkkä järjestykselle

Parittainen arviointi vastaa yleensä ihmisten arvioita paremmin, koska suhteellinen vertailu on helpompaa kuin absoluuttinen kalibrointi. Käytä sitä muutoksen A/B-testaukseen ja pistekohtaista arviointia, kun tarvitset yksittäisen pisteluvun.

Kirjoita arvioijan kehote

Arvioija on vain niin hyvä kuin sen arviointiperusteet. Epämääräinen kehote jättää mallin vailla kiinnekohtia olevien oletusten varaan, joten määrittele kriteerit selvästi ja pyydä arvioijaa perustelemaan ennen pisteytystä.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Kaksi yksityiskohtaa on tärkeitä. Kun arvioijaa pyydetään pohtimaan asiaa vaihe vaiheelta ennen tuomiota (ketjuajattelukehote), se parantaa yhtäpitävyyttä ihmisten kanssa. Lisäksi nimenomainen ”älä palkitse pituutta tai tyyliä” -rivi torjuu suoraan seuraavaksi käsiteltävän vinouman.

Neljä vinoumaa, jotka on hallittava

Arvioija ei ole puolueeton oraakkeli. Tutkimuksissa on dokumentoitu toistuvia vinoumia, jotka ovat menetelmän ominaisuuksia eivätkä kokonaan kehotteilla poistettavia virheitä.

VinoumaMitä tapahtuuHallintakeino
SijaintivinoumaParittaisessa arvioinnissa A-paikassa oleva vastaus voittaa useammin kuin sattumalta odottaisiSuorita molemmat järjestykset (A/B ja B/A) ja luota vain tuomioon, joka pysyy samana
SanamäärävinoumaPidemmät vastaukset saavat paremmat pisteet, vaikka laatu olisi samaRankaise pituudesta arviointiperusteissa tai käytä pituuden mukaan vakioituja voittoprosentteja
ItsepreferenssiArvioija suosii oman malliperheensä tulosteitaKäytä testattavasta mallista eri malliperheeseen kuuluvaa arvioijaa
MuotovinoumaArvioija suosii itse pitämäänsä muotoa (esim. proosaa JSONin sijaan)Ilmoita vaadittu muoto arviointiperusteissa ja pisteytä sisältöä, älä muotoa

Näistä tärkein on sijaintivinouma, koska se on helppo havaita koodissa ja vääristää huomaamatta jokaisen parittaisen vertailun tulokset.

Hallitse sijaintivinoumaa koodissa

Sijaintivinouman korjaus on yksinkertainen: arvioi kukin pari kahdesti vaihtamalla tulosteiden järjestystä ja julista voittaja vain, jos tuomio pysyy samana molemmilla kerroilla. Jos tuomio muuttuu pelkän järjestyksen vuoksi, arvioija arvaa.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Liitä tämä tiedostoon debias.py ja suorita komento python debias.py. Saat täsmälleen seuraavan tuloksen:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Vinouman korjaus toimi. Se havaitsi vinoutuneen arvioijan ja kieltäytyi nimeämästä voittajaa, mutta päästi reilun arvioijan johdonmukaisen tuomion läpi. Jos haluat käyttää oikeaa arvioijaa, korvaa judge funktiolla, joka kutsuu LLM:ää yllä olevalla arviointiperustekehotteella ja palauttaa arvon ”A” tai ”B”.

Tarkasta arvioijasi

Mittaa arvioija ennen kuin luotat siihen tuotannossa. Arvioija, jota et ole tarkastanut, tuottaa mittarin, jota et pysty puolustamaan.

Kokoa pieni kalibrointijoukko tapauksista, joiden oikeat tuomiot tunnetaan; mieluiten ihmisten merkitsemänä. Suorita arvioija ja tarkista kaksi asiaa: kuinka usein se on samaa mieltä ihmisten merkintöjen kanssa ja kuinka usein parittainen tuomio muuttuu, kun vaihdat järjestystä. Noin 5 %:n ylittävä kääntymisprosentti tarkoittaa, että sijaintivinoumaa pääsee edelleen läpi.

Toista tarkastus aina, kun vaihdat arvioijan mallia. Pieni versionumeron muutos voi siirtää pistejakaumaa, joten kalibrointi ei ole kertaluonteinen tehtävä.

Hybridimalli

Luotettava kokonaisuus ei nojaa yksin arvioijaan. Siinä yhdistetään kolme tarkistustyyppiä halvimmasta alkaen.

  • Deterministiset mittarit hoitavat kaiken, minkä pystyvät (tunnisteet, skeema, vaaditut tiedot).
  • LLM-arvioija pisteyttää vain jäljelle jäävät avoimet laatutekijät.
  • Ihminen tarkistaa pistokokein otoksen arvioijan tuomioista ja pitää sen rehellisenä.

Kukin kerros kattaa edellisen kerroksen katvealueet. Arvioija on tehokas välikerros, ei koko järjestelmä.

Yleiset virheet

Useimpien epäluotettavien arvioijien taustalla on muutama syy.

Yleisimmät:

  • Saman mallin käyttäminen sekä tekstin tuottajana että arvioijana, mikä juurruttaa itsepreferenssin.
  • Epämääräisten arviointiperusteiden kirjoittaminen, jolloin arvioija pisteyttää piilotettujen oletusten mukaan.
  • Parittaisen arvioinnin suorittaminen vain yhdessä järjestyksessä, jolloin sijaintivinouma jää huomaamatta.
  • Ihmisten arvioihin vertaamista ei koskaan tehdä, joten et voi sanoa, onko arvioija oikeassa.

Korjaa nämä erottamalla arvioija testattavasta mallista, kirjoittamalla selkeät arviointiperusteet, vaihtamalla aina järjestystä ja tarkastamalla tuloksia ihmisten merkintöjä vasten.

Lähteet

Zheng ym., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). LLM-as-a-judge-paradigma, yli 80 %:n yhtäpitävyys ihmisten mieltymysten kanssa sekä sijainti-, sanamäärä- ja itsensä suosimisen vinoumat.

Usein kysytyt kysymykset

Mitä LLM-as-a-judge tarkoittaa?

Yhden kielimallin käyttämistä toisen mallin tulosteen pisteyttämiseen arviointiperusteiden mukaan, sellaisten ominaisuuksien arviointiin, joita täsmällinen osuma ei tavoita, kuten hyödyllisyys, sävy tai lähdeuskollisuus.

Voinko käyttää samaa mallia tekstin tuottamiseen ja arviointiin?

Et. Arvioija suosii oman malliperheensä tulosteita (itsepreferenssivinouma), joten oman mallisi arviointi kasvattaa pisteitä keinotekoisesti. Käytä eri malliperheeseen kuuluvaa arvioijaa.

Miten pysäytän sijaintivinouman?

Suorita kukin parittainen vertailu molemmissa järjestyksissä ja hyväksy vain tuomio, joka pysyy samana molemmilla kerroilla. Jos tuomio muuttuu pelkän järjestyksen vuoksi, käsittele tulosta tasapelinä.

Ota opas käyttöön Ailootin avulla

Yhdistä tekoälymalleja sovelluksiisi, agentteihisi ja automaatioihisi yhden Ailoot-rajapinnan kautta. Valitse tehtävääsi sopiva malli ja aloita Ailoot-dokumentaation avulla.