Blog

Cara Menggunakan LLM-as-a-Judge

Markdown

Gunakan satu model untuk menilai model lain berdasarkan rubrik. Pelajari penilaian per jawaban vs. berpasangan, bias umum, dan cara mengendalikannya.

Gunakan satu model untuk menilai model lain berdasarkan rubrik. Pelajari penilaian per jawaban vs. berpasangan, bias umum, dan cara mengendalikannya.

Apa itu LLM-as-a-judge?

LLM-as-a-judge adalah penggunaan model bahasa untuk mengevaluasi keluaran model lain berdasarkan kriteria yang Anda tetapkan. Alih-alih membandingkan string, penilai membaca keluaran lalu memberikan skor atau putusan.

Paradigma ini diformalkan oleh Zheng et al. pada 2023. Mereka menemukan bahwa model yang kuat menyepakati preferensi manusia lebih dari 80% dari waktu, kira-kira setara dengan tingkat kesepakatan antara dua manusia. Itulah yang dijanjikan: penilaian menyerupai manusia dengan skala dan biaya mesin.

Namun, penilai adalah model, sehingga ia mewarisi keunikan sebuah model. Jika digunakan tanpa cermat, ia menghasilkan skor penuh keyakinan yang mengukur hal yang keliru.

Kapan digunakan dan kapan tidak

Penilai adalah alat yang tepat untuk kualitas terbuka yang sulit dinilai secara pasti. Alat ini keliru digunakan ketika pemeriksaan deterministik yang lebih murah sudah cukup.

Gunakan penilai untuk menilai kegunaan, nada, koherensi, kesetiaan pada sumber, atau “mana dari dua jawaban ini yang lebih baik”. Lewati penilai untuk hal-hal yang sudah tercakup oleh metrik terprogram: label, nilai pasti, validitas schema, atau keberadaan fakta yang diwajibkan.

Aturan praktisnya: coba buat pemeriksaan menjadi deterministik terlebih dahulu. Hanya jika benar-benar tidak bisa, serahkan keputusan kepada penilai.

Penilaian per jawaban vs. berpasangan

Ada dua cara untuk meminta penilai memberi skor, dan masing-masing cocok untuk pekerjaan yang berbeda.

ModePertanyaanPaling cocok untukKelemahan
Per jawaban“Beri nilai keluaran ini dari 1 sampai 5 berdasarkan rubrik.”Skor absolut untuk dasbor atau gerbang CIKalibrasi bergeser; skor sulit dibandingkan antarproses
Berpasangan“Mana yang lebih baik, A atau B?”Membandingkan dua prompt atau dua modelMenghasilkan pemenang, bukan skor absolut; sensitif terhadap urutan

Penilaian berpasangan biasanya lebih selaras dengan manusia, karena perbandingan relatif lebih mudah daripada kalibrasi absolut. Pilih cara ini saat Anda menguji perubahan dengan A/B, dan gunakan penilaian per jawaban saat Anda membutuhkan angka mandiri.

Kualitas penilai hanya sebaik rubriknya. Prompt yang samar membuat model mengandalkan asumsi yang tidak terikat, jadi jelaskan kriterianya dan minta penilai bernalar sebelum memberi skor.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Ada dua detail penting. Meminta penalaran langkah demi langkah sebelum putusan (prompt rantai pemikiran) meningkatkan kesepakatan dengan manusia. Dan baris eksplisit “jangan beri nilai lebih untuk panjang atau gaya” secara langsung mengatasi bias yang dibahas berikutnya.

Empat bias yang harus Anda tangani

Penilai bukanlah oracle yang netral. Penelitian telah mendokumentasikan bias yang konsisten; ini adalah sifat metodenya, bukan bug yang bisa sepenuhnya dihilangkan dengan prompt.

BiasApa yang terjadiMitigasi
Bias posisiDalam penilaian berpasangan, jawaban di slot A lebih sering menang daripada peluang acakJalankan kedua urutan (A/B dan B/A) dan percayai hanya putusan yang sama pada kedua urutan
Bias panjangJawaban yang lebih panjang mendapat skor lebih tinggi, meski kualitasnya setaraBeri penalti untuk panjang dalam rubrik, atau gunakan tingkat kemenangan yang dikontrol berdasarkan panjang
Preferensi terhadap diri sendiriPenilai mengunggulkan keluaran dari keluarga modelnya sendiriGunakan penilai dari keluarga yang berbeda dari model yang diuji
Bias formatPenilai menyukai format yang diutamakannya sendiri (prosa dibanding JSON, dll.)Nyatakan format yang diwajibkan dalam rubrik dan nilai isi, bukan bentuknya

Yang paling penting adalah bias posisi, karena mudah dideteksi dalam kode dan diam-diam merusak setiap perbandingan berpasangan yang Anda jalankan.

Mengendalikan bias posisi dalam kode

Perbaikan untuk bias posisi sederhana: nilai setiap pasangan dua kali, tukar keluaran yang ditampilkan lebih dahulu, dan nyatakan pemenang hanya jika putusannya sama pada kedua urutan. Jika hasilnya berbalik hanya karena urutan, penilai sedang menebak.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Tempelkan kode ini ke debias.py dan jalankan python debias.py. Hasilnya persis:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Debiasing telah melakukan tugasnya. Metode ini menangkap penilai yang bias dan menolak menetapkan pemenang, sementara putusan stabil dari penilai yang adil tetap diterima. Untuk menggunakan penilai sungguhan, ganti judge dengan fungsi yang memanggil LLM menggunakan prompt rubrik di atas dan mengembalikan “A” atau “B.”

Audit penilai Anda

Sebelum memercayai penilai dalam produksi, ukur kinerjanya. Penilai yang belum Anda audit adalah metrik yang tidak dapat Anda pertanggungjawabkan.

Buat set kalibrasi kecil berisi kasus-kasus dengan putusan benar yang sudah diketahui, idealnya diberi label oleh manusia. Jalankan penilai dan periksa dua hal: seberapa sering ia cocok dengan label manusia, dan seberapa sering putusan berpasangan berubah ketika urutannya ditukar. Tingkat perubahan di atas sekitar 5% berarti bias posisi masih lolos.

Jalankan ulang audit ini setiap kali Anda mengganti model penilai. Peningkatan versi kecil dapat menggeser distribusi skor, jadi kalibrasi bukan tugas sekali saja.

Pola hibrida

Penyiapan yang andal tidak hanya mengandalkan penilai. Penyiapan ini menggabungkan tiga jenis pemeriksaan, dimulai dari yang paling murah.

  • Metrik deterministik menangani semua hal yang bisa mereka tangani (label, schema, fakta yang diwajibkan).
  • Penilai LLM hanya memberi skor untuk kualitas terbuka yang tersisa.
  • Manusia memeriksa sebagian kecil putusan penilai untuk memastikan hasilnya tetap dapat dipercaya.

Setiap lapisan menutupi titik buta lapisan sebelumnya. Penilai adalah lapisan tengah yang kuat, bukan keseluruhan sistem.

Kesalahan umum

Sebagian besar penilai yang tidak andal memiliki beberapa penyebab yang sama.

Kesalahan yang sering terjadi:

  • Menggunakan model yang sama sebagai generator dan penilai, sehingga tertanam preferensi terhadap diri sendiri.
  • Menulis rubrik yang samar, sehingga penilai memberi skor berdasarkan asumsi tersembunyi.
  • Menjalankan penilaian berpasangan hanya dalam satu urutan, sehingga bias posisi tidak terdeteksi.
  • Tidak pernah mengalibrasi terhadap penilaian manusia, sehingga Anda tidak dapat mengatakan apakah penilai itu benar.

Perbaiki hal-hal ini dengan memisahkan penilai dari model yang diuji, menulis rubrik yang eksplisit, selalu menukar urutan, dan mengaudit berdasarkan label manusia.

Sumber

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Paradigma LLM-as-judge, kesepakatan lebih dari 80% dengan preferensi manusia, serta bias posisi, panjang, dan peningkatan diri.

Pertanyaan yang sering diajukan

Apa itu LLM-as-a-judge?

Menggunakan satu model bahasa untuk menilai keluaran model lain berdasarkan rubrik, untuk kualitas yang tidak dapat ditangkap oleh pencocokan persis, seperti kegunaan, nada, atau kesetiaan.

Bisakah saya menggunakan model yang sama untuk menghasilkan dan menilai?

Tidak. Penilai mengunggulkan keluaran dari keluarga modelnya sendiri (bias preferensi terhadap diri sendiri), sehingga menilai model Anda sendiri akan menaikkan skor. Gunakan penilai dari keluarga yang berbeda.

Bagaimana cara menghentikan bias posisi?

Jalankan setiap perbandingan berpasangan dalam kedua urutan dan terima hanya putusan yang sama pada kedua urutan. Jika hasilnya berbalik hanya karena urutan, anggap sebagai seri.

Gunakan panduan ini dengan Ailoot

Hubungkan model AI ke aplikasi, agen, dan otomatisasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti dokumentasi Ailoot untuk memulai.