如何使用 LLM-as-a-Judge
Markdown使用一個模型,依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤,以及控制偏誤的方法。
使用一個模型,依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤,以及控制偏誤的方法。
什麼是 LLM-as-a-Judge?
LLM-as-a-Judge 是指使用語言模型,依據你設定的標準評估另一個模型的輸出。裁判模型不會直接比較字串,而是讀取輸出並回傳分數或判定。
Zheng 等人在 2023 年正式提出這種方法。他們發現,強大的模型與人類偏好的結果有超過 80% 的一致率,大致相當於兩個人彼此達成共識的比率。這就是它的潛力:以機器的規模和成本,實現類似人類的判斷。
但問題在於,裁判本身也是模型,因此會帶有模型的種種特性。若使用不當,它會自信地給出分數,卻衡量了錯誤的項目。
何時使用、何時不使用
對於難以精確評分的開放式品質,裁判是合適的工具。如果更便宜的確定性檢查就能解決問題,那裁判便不是合適的工具。
你可以用裁判評估有用性、語氣、連貫性、是否忠於來源,或回答「這兩個答案哪個比較好」。若程式化指標已能涵蓋某項檢查,就不必使用裁判,例如標籤、精確數值、結構描述有效性,或是否包含必要事實。
簡單來說:先試著讓檢查具備確定性。只有在確實做不到時,才把判斷交給裁判。
逐項評分與成對比較
請裁判評分有兩種方式,各自適合不同用途。
| 模式 | 問題 | 最適用於 | 弱點 |
|---|---|---|---|
| 逐項評分 | 「依據評分規準,為這份輸出評 1 到 5 分。」 | 儀表板或 CI 閘門使用的絕對分數 | 校準可能逐漸偏移;不同執行結果的分數難以比較 |
| 成對比較 | 「A 和 B 哪個比較好?」 | 比較兩個提示或兩個模型 | 只能選出勝者,無法給出絕對分數;容易受順序影響 |
成對比較通常比逐項評分更接近人類判斷,因為相對比較比絕對校準容易。進行 A/B 測試以比較變更時,請使用成對比較;需要獨立數值時,則使用逐項評分。
撰寫裁判提示
裁判的表現取決於評分規準。模糊的提示會讓模型自行帶入缺乏依據的假設,因此要明確列出標準,並要求裁判先推理再評分。
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
有兩個細節很重要。要求裁判先逐步推理,再給出判定(思維鏈提示),可以提高與人類判斷的一致率。另外,明確要求「不要因長度或風格給予加分」,可直接抑制接下來會介紹的一種偏誤。
必須處理的四種偏誤
裁判不是中立的權威。研究記錄了幾種持續出現的偏誤;這些是此方法本身的特性,無法只靠提示就完全消除。
| 偏誤 | 發生情況 | 緩解方法 |
|---|---|---|
| 位置偏誤 | 在成對比較中,位於 A 欄的答案勝出頻率高於偶然機率 | 以 A/B 和 B/A 兩種順序執行,並且只採信判定一致的結果 |
| 冗長偏誤 | 即使品質相同,較長的答案仍會得到較高分數 | 在評分規準中對長度扣分,或使用控制長度後的勝率 |
| 自我偏好 | 裁判偏好來自自身模型家族的輸出 | 使用與受測模型不同家族的裁判 |
| 格式偏誤 | 裁判偏好自身偏好的格式(例如偏好散文而非 JSON) | 在評分規準中指定所需格式,並評估內容而非形式 |
位置偏誤最重要,因為它很容易透過程式碼偵測,而且會在不知不覺中影響你執行的每一次成對比較。
透過程式碼控制位置偏誤
控制位置偏誤的方法很簡單:每一組答案都判定兩次,交換輸出的先後位置;只有兩次判定一致時才宣布勝者。如果只因順序不同,判定就反轉,代表裁判是在猜。
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
將程式碼貼到 debias.py,並執行 python debias.py。你會得到以下結果:
biased: tie/uncertain (verdict flipped on order)
fair: x
去偏誤處理成功了。它偵測到有偏誤的裁判,拒絕選出勝者;同時也讓公平裁判的穩定判定通過。若要使用真正的裁判,請將 judge 替換為一個函式,讓它使用上述評分規準提示呼叫 LLM,並回傳 "A" 或 "B"。
稽核你的裁判
在正式環境中信任裁判之前,先測量它的表現。未經稽核的裁判,是你無法辯護的指標。
建立一組小型校準資料集,包含已知正確判定的案例,最好由人工標註。執行裁判後,檢查兩件事:它與人工標籤的一致率,以及交換順序後成對判定反轉的頻率。反轉率若高於約 5%,表示位置偏誤仍然存在。
每次變更裁判模型時,都要重新執行稽核。即使只是小幅更新版本,也可能改變分數分布,因此校準不是一次性的工作。
混合式模式
可靠的設定不會只依賴裁判,而是由成本最低的檢查開始,分成三層。
- 確定性指標負責處理所有可檢查的項目(標籤、結構描述、必要事實)。
- LLM 裁判只評估剩下的開放式品質。
- 人工抽查部分裁判結果,確保判斷可靠。
每一層都能補足前一層的盲點。裁判是強大的中間層,不是整個架構。
常見錯誤
多數不可靠的裁判都有幾個共同成因。
常見問題包括:
- 使用同一個模型進行生成與判定,將自我偏好帶入評分。
- 評分規準寫得含糊,讓裁判依據隱藏的假設評分。
- 只使用一種順序進行成對比較,導致位置偏誤未被發現。
- 從不與人工判斷進行校準,因此無法確認裁判是否正確。
解決方法是讓裁判與受測模型分開、撰寫明確的評分規準、每次都交換順序,並依據人工標籤進行稽核。
來源
Zheng 等人,Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(NeurIPS 2023)。本文介紹 LLM-as-a-Judge 方法、與人類偏好超過 80% 的一致率,以及位置、冗長和自我增強偏誤。
常見問題
什麼是 LLM-as-a-Judge?
使用一個語言模型,依據評分規準為另一個模型的輸出評分,用來評估無法透過完全比對捕捉的品質,例如有用性、語氣或忠實度。
可以使用同一個模型進行生成和判定嗎?
不可以。裁判會偏好來自自身模型家族的輸出(自我偏好偏誤),因此使用自己的模型進行判定會讓分數虛高。請使用不同家族的裁判。
如何消除位置偏誤?
以兩種順序執行每次成對比較,只接受在兩種順序下都成立的判定。如果只因順序不同而反轉,就視為平手。
使用 Ailoot 實踐本指南
透過單一 Ailoot API,將 AI 模型連接到你的應用程式、代理程式和自動化流程。選擇適合任務的模型,並按照 Ailoot 說明文件開始使用。