Blog

Cara Menggunakan LLM-as-a-Judge

Markdown

Gunakan satu model untuk menilai model lain berdasarkan rubrik. Ketahui penilaian pointwise berbanding pairwise, bias lazim dan cara mengawalnya.

Gunakan satu model untuk menilai model lain berdasarkan rubrik. Ketahui penilaian pointwise berbanding pairwise, bias lazim dan cara mengawalnya.

Apakah LLM-as-a-judge?

LLM-as-a-judge ialah penggunaan model bahasa untuk menilai output model lain berdasarkan kriteria yang anda tetapkan. Daripada membandingkan rentetan teks, hakim membaca output dan memberikan skor atau keputusan.

Paradigma ini diformalkan oleh Zheng et al. pada 2023, yang mendapati model yang berkeupayaan tinggi bersetuju dengan pilihan manusia lebih 80% daripada masa, kira-kira kadar yang sama seperti persetujuan antara dua orang manusia. Itulah janjinya: penilaian seperti manusia pada skala dan kos mesin.

Namun, hakim ialah sebuah model, jadi ia mewarisi keanehan model. Jika digunakan dengan cuai, ia menghasilkan skor yakin yang mengukur perkara yang salah.

Bila perlu digunakan dan bila tidak

Hakim ialah alat yang sesuai untuk kualiti terbuka yang sukar dinilai dengan tepat. Ia bukan alat yang sesuai apabila semakan deterministik yang lebih murah sudah memadai.

Gunakan hakim untuk menilai kebermanfaatan, nada, koheren, kesetiaan kepada sumber atau “yang mana antara dua jawapan ini lebih baik”. Jangan gunakan untuk perkara yang sudah diliputi metrik berasaskan program: label, nilai tepat, kesahan skema atau kewujudan fakta yang diwajibkan.

Panduan umumnya: cuba jadikan semakan itu deterministik dahulu. Serahkan keputusan kepada hakim hanya apabila anda benar-benar tidak dapat berbuat demikian.

Pointwise berbanding pairwise

Terdapat dua cara untuk meminta hakim memberikan skor, dan setiap satunya sesuai untuk tugas yang berbeza.

ModSoalanPaling sesuai untukKelemahan
Pointwise“Nilai output ini dari 1 hingga 5 berdasarkan rubrik.”Skor mutlak untuk papan pemuka atau gerbang CIKalibrasi berubah-ubah; skor sukar dibandingkan antara larian
Pairwise“Yang mana lebih baik, A atau B?”Membandingkan dua prompt atau dua modelMemberikan pemenang, bukan skor mutlak; sensitif terhadap susunan

Pairwise biasanya lebih hampir sepadan dengan penilaian manusia kerana perbandingan relatif lebih mudah daripada kalibrasi mutlak. Gunakannya apabila anda menguji perubahan secara A/B, dan gunakan pointwise apabila anda memerlukan nombor tersendiri.

Tulis prompt hakim

Kualiti hakim bergantung pada rubriknya. Prompt yang kabur membiarkan andaian model yang tidak berpaksikan apa-apa mempengaruhi penilaian, jadi nyatakan kriteria dengan jelas dan minta hakim menaakul sebelum memberikan skor.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Dua perkara penting. Meminta penaakulan langkah demi langkah sebelum keputusan (prompt rantaian pemikiran) meningkatkan persetujuan dengan manusia. Selain itu, arahan jelas “do not reward length or style” secara langsung menentang bias yang dibincangkan seterusnya.

Empat bias yang perlu anda tangani

Hakim bukan sumber kebenaran yang neutral. Penyelidikan telah mendokumentasikan bias yang konsisten, dan ini ialah ciri kaedah tersebut, bukannya pepijat yang boleh dihapuskan sepenuhnya dengan prompt.

BiasApa yang berlakuMitigasi
Bias kedudukanDalam pairwise, jawapan dalam slot A menang lebih kerap daripada peluang rawakJalankan kedua-dua susunan (A/B dan B/A) dan hanya percaya pada keputusan yang sependapat
Bias kepanjanganJawapan yang lebih panjang mendapat skor lebih tinggi walaupun kualitinya samaKenakan penalti terhadap kepanjangan dalam rubrik atau gunakan kadar kemenangan dengan panjang terkawal
Keutamaan kendiriHakim mengutamakan output daripada keluarga modelnya sendiriGunakan hakim daripada keluarga yang berbeza daripada model yang diuji
Bias formatHakim mengutamakan format yang disukainya sendiri (prosa berbanding JSON dan sebagainya)Nyatakan format yang diwajibkan dalam rubrik dan nilai kandungan, bukan bentuk

Bias kedudukan ialah yang paling penting kerana ia mudah dikesan dalam kod dan secara senyap merosakkan setiap perbandingan pairwise yang anda jalankan.

Kawal bias kedudukan dalam kod

Penyelesaian bagi bias kedudukan mudah: nilai setiap pasangan dua kali dengan menukar output yang diletakkan dahulu, dan umumkan pemenang hanya jika keputusan kekal sama dalam kedua-dua susunan. Jika keputusan berubah hanya kerana susunan, hakim sedang meneka.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Tampalkan ini ke dalam debias.py dan jalankan python debias.py. Hasilnya tepat seperti berikut:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Penyahbiasan itu berjaya. Ia mengesan hakim yang berat sebelah lalu enggan memilih pemenang, sementara keputusan stabil hakim yang adil diterima. Untuk menggunakan hakim sebenar, gantikan judge dengan fungsi yang memanggil LLM menggunakan prompt rubrik di atas dan mengembalikan “A” atau “B”.

Audit hakim anda

Sebelum mempercayai hakim dalam pengeluaran, ukur prestasinya. Hakim yang belum diaudit ialah metrik yang tidak dapat anda pertahankan.

Bina set kalibrasi kecil yang mengandungi kes dengan keputusan betul yang diketahui, sebaik-baiknya dilabel oleh manusia. Jalankan hakim dan periksa dua perkara: berapa kerap keputusannya sepadan dengan label manusia, dan berapa kerap keputusan pairwise berubah apabila susunannya ditukar. Kadar perubahan melebihi kira-kira 5% bermakna bias kedudukan masih berlaku.

Ulang audit ini setiap kali anda menukar model hakim. Perubahan versi kecil boleh mengalihkan taburan skor, jadi kalibrasi bukan tugas sekali sahaja.

Corak hibrid

Persediaan yang boleh dipercayai tidak bergantung pada hakim sahaja. Ia menggabungkan tiga jenis semakan, bermula dengan yang paling murah.

  • Metrik deterministik mengendalikan semua perkara yang mampu ditanganinya (label, skema, fakta wajib).
  • Hakim LLM menilai hanya kualiti terbuka yang masih belum diliputi.
  • Manusia menyemak sampel keputusan hakim untuk memastikan penilaiannya kekal jujur.

Setiap lapisan meliputi titik buta lapisan sebelumnya. Hakim ialah lapisan pertengahan yang berkuasa, bukannya keseluruhan sistem.

Kesilapan lazim

Kebanyakan hakim yang tidak boleh dipercayai berpunca daripada beberapa sebab.

Antara yang kerap berlaku:

  • Menggunakan model yang sama sebagai penjana dan hakim, lalu menerapkan keutamaan kendiri.
  • Menulis rubrik yang kabur, menyebabkan hakim menilai berdasarkan andaian tersembunyi.
  • Menjalankan pairwise dalam satu susunan sahaja, menyebabkan bias kedudukan tidak dikesan.
  • Tidak pernah menentukur dengan manusia, jadi anda tidak dapat menyatakan sama ada hakim itu betul.

Atasinya dengan mengasingkan hakim daripada model yang diuji, menulis rubrik yang jelas, sentiasa menukar susunan dan mengaudit keputusan berdasarkan label manusia.

Sumber

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Paradigma LLM-as-judge, persetujuan lebih 80% dengan pilihan manusia, serta bias kedudukan, kepanjangan dan peningkatan kendiri.

Soalan lazim

Apakah LLM-as-a-judge?

Menggunakan satu model bahasa untuk menilai output model lain berdasarkan rubrik, bagi kualiti yang tidak dapat ditangkap melalui padanan tepat, seperti kebermanfaatan, nada atau kesetiaan.

Bolehkah saya menggunakan model yang sama untuk menjana dan menilai?

Tidak. Hakim mengutamakan output daripada keluarga modelnya sendiri (bias keutamaan kendiri), jadi menilai model anda sendiri menaikkan skor. Gunakan hakim daripada keluarga yang berbeza.

Bagaimanakah cara menghentikan bias kedudukan?

Jalankan setiap perbandingan pairwise dalam kedua-dua susunan dan terima hanya keputusan yang kekal sama dalam kedua-duanya. Jika keputusan berubah hanya kerana susunan, anggap ia seri.

Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti dokumentasi Ailoot untuk bermula.