部落格

如何使用 LLM-as-a-Judge

Markdown

使用一個模型,依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤,以及控制偏誤的方法。

使用一個模型,依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤,以及控制偏誤的方法。

什麼是 LLM-as-a-Judge?

LLM-as-a-Judge 是指使用語言模型,依據你設定的標準評估另一個模型的輸出。裁判模型不會直接比較字串,而是讀取輸出並回傳分數或判定。

Zheng 等人在 2023 年正式提出這種方法。他們發現,強大的模型與人類偏好的結果有超過 80% 的一致率,大致相當於兩個人彼此達成共識的比率。這就是它的潛力:以機器的規模和成本,實現類似人類的判斷。

但問題在於,裁判本身也是模型,因此會帶有模型的種種特性。若使用不當,它會自信地給出分數,卻衡量了錯誤的項目。

何時使用、何時不使用

對於難以精確評分的開放式品質,裁判是合適的工具。如果更便宜的確定性檢查就能解決問題,那裁判便不是合適的工具。

你可以用裁判評估有用性、語氣、連貫性、是否忠於來源,或回答「這兩個答案哪個比較好」。若程式化指標已能涵蓋某項檢查,就不必使用裁判,例如標籤、精確數值、結構描述有效性,或是否包含必要事實。

簡單來說:先試著讓檢查具備確定性。只有在確實做不到時,才把判斷交給裁判。

逐項評分與成對比較

請裁判評分有兩種方式,各自適合不同用途。

模式問題最適用於弱點
逐項評分「依據評分規準,為這份輸出評 1 到 5 分。」儀表板或 CI 閘門使用的絕對分數校準可能逐漸偏移;不同執行結果的分數難以比較
成對比較「A 和 B 哪個比較好?」比較兩個提示或兩個模型只能選出勝者,無法給出絕對分數;容易受順序影響

成對比較通常比逐項評分更接近人類判斷,因為相對比較比絕對校準容易。進行 A/B 測試以比較變更時,請使用成對比較;需要獨立數值時,則使用逐項評分。

撰寫裁判提示

裁判的表現取決於評分規準。模糊的提示會讓模型自行帶入缺乏依據的假設,因此要明確列出標準,並要求裁判先推理再評分。

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

有兩個細節很重要。要求裁判先逐步推理,再給出判定(思維鏈提示),可以提高與人類判斷的一致率。另外,明確要求「不要因長度或風格給予加分」,可直接抑制接下來會介紹的一種偏誤。

必須處理的四種偏誤

裁判不是中立的權威。研究記錄了幾種持續出現的偏誤;這些是此方法本身的特性,無法只靠提示就完全消除。

偏誤發生情況緩解方法
位置偏誤在成對比較中,位於 A 欄的答案勝出頻率高於偶然機率以 A/B 和 B/A 兩種順序執行,並且只採信判定一致的結果
冗長偏誤即使品質相同,較長的答案仍會得到較高分數在評分規準中對長度扣分,或使用控制長度後的勝率
自我偏好裁判偏好來自自身模型家族的輸出使用與受測模型不同家族的裁判
格式偏誤裁判偏好自身偏好的格式(例如偏好散文而非 JSON)在評分規準中指定所需格式,並評估內容而非形式

位置偏誤最重要,因為它很容易透過程式碼偵測,而且會在不知不覺中影響你執行的每一次成對比較。

透過程式碼控制位置偏誤

控制位置偏誤的方法很簡單:每一組答案都判定兩次,交換輸出的先後位置;只有兩次判定一致時才宣布勝者。如果只因順序不同,判定就反轉,代表裁判是在猜。

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

將程式碼貼到 debias.py,並執行 python debias.py。你會得到以下結果:

biased: tie/uncertain (verdict flipped on order)
fair:   x

去偏誤處理成功了。它偵測到有偏誤的裁判,拒絕選出勝者;同時也讓公平裁判的穩定判定通過。若要使用真正的裁判,請將 judge 替換為一個函式,讓它使用上述評分規準提示呼叫 LLM,並回傳 "A" 或 "B"。

稽核你的裁判

在正式環境中信任裁判之前,先測量它的表現。未經稽核的裁判,是你無法辯護的指標。

建立一組小型校準資料集,包含已知正確判定的案例,最好由人工標註。執行裁判後,檢查兩件事:它與人工標籤的一致率,以及交換順序後成對判定反轉的頻率。反轉率若高於約 5%,表示位置偏誤仍然存在。

每次變更裁判模型時,都要重新執行稽核。即使只是小幅更新版本,也可能改變分數分布,因此校準不是一次性的工作。

混合式模式

可靠的設定不會只依賴裁判,而是由成本最低的檢查開始,分成三層。

  • 確定性指標負責處理所有可檢查的項目(標籤、結構描述、必要事實)。
  • LLM 裁判只評估剩下的開放式品質。
  • 人工抽查部分裁判結果,確保判斷可靠。

每一層都能補足前一層的盲點。裁判是強大的中間層,不是整個架構。

常見錯誤

多數不可靠的裁判都有幾個共同成因。

常見問題包括:

  • 使用同一個模型進行生成與判定,將自我偏好帶入評分。
  • 評分規準寫得含糊,讓裁判依據隱藏的假設評分。
  • 只使用一種順序進行成對比較,導致位置偏誤未被發現。
  • 從不與人工判斷進行校準,因此無法確認裁判是否正確。

解決方法是讓裁判與受測模型分開、撰寫明確的評分規準、每次都交換順序,並依據人工標籤進行稽核。

來源

Zheng 等人,Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena(NeurIPS 2023)。本文介紹 LLM-as-a-Judge 方法、與人類偏好超過 80% 的一致率,以及位置、冗長和自我增強偏誤。

常見問題

什麼是 LLM-as-a-Judge?

使用一個語言模型,依據評分規準為另一個模型的輸出評分,用來評估無法透過完全比對捕捉的品質,例如有用性、語氣或忠實度。

可以使用同一個模型進行生成和判定嗎?

不可以。裁判會偏好來自自身模型家族的輸出(自我偏好偏誤),因此使用自己的模型進行判定會讓分數虛高。請使用不同家族的裁判。

如何消除位置偏誤?

以兩種順序執行每次成對比較,只接受在兩種順序下都成立的判定。如果只因順序不同而反轉,就視為平手。

使用 Ailoot 實踐本指南

透過單一 Ailoot API,將 AI 模型連接到你的應用程式、代理程式和自動化流程。選擇適合任務的模型,並按照 Ailoot 說明文件開始使用。