# 如何使用 LLM-as-a-Judge

> 使用一個模型，依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤，以及控制偏誤的方法。

Source: https://ailoot.ai/blog/zh-hant-tw/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/zh-hant-tw/how-to-use-llm-as-a-judge/
Language: zh-Hant-TW
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-8d6e4422e0ac5d41bd4d30512714f13bf0c11a51a6a6b685b2a00db87c1b7859


使用一個模型，依據評分規準為另一個模型評分。了解逐項評分與成對比較、常見偏誤，以及控制偏誤的方法。

## 什麼是 LLM-as-a-Judge？

LLM-as-a-Judge 是指使用語言模型，依據你設定的標準評估另一個模型的輸出。裁判模型不會直接比較字串，而是讀取輸出並回傳分數或判定。

Zheng 等人在 2023 年正式提出這種方法。他們發現，強大的模型與人類偏好的結果有超過 80% 的一致率，大致相當於兩個人彼此達成共識的比率。這就是它的潛力：以機器的規模和成本，實現類似人類的判斷。

但問題在於，裁判本身也是模型，因此會帶有模型的種種特性。若使用不當，它會自信地給出分數，卻衡量了錯誤的項目。

## 何時使用、何時不使用

對於難以精確評分的開放式品質，裁判是合適的工具。如果更便宜的確定性檢查就能解決問題，那裁判便不是合適的工具。

你可以用裁判評估有用性、語氣、連貫性、是否忠於來源，或回答「這兩個答案哪個比較好」。若程式化指標已能涵蓋某項檢查，就不必使用裁判，例如標籤、精確數值、結構描述有效性，或是否包含必要事實。

簡單來說：先試著讓檢查具備確定性。只有在確實做不到時，才把判斷交給裁判。

## 逐項評分與成對比較

請裁判評分有兩種方式，各自適合不同用途。

| 模式 | 問題 | 最適用於 | 弱點 |
|----|----|----|----|
| **逐項評分** | 「依據評分規準，為這份輸出評 1 到 5 分。」 | 儀表板或 CI 閘門使用的絕對分數 | 校準可能逐漸偏移；不同執行結果的分數難以比較 |
| **成對比較** | 「A 和 B 哪個比較好？」 | 比較兩個提示或兩個模型 | 只能選出勝者，無法給出絕對分數；容易受順序影響 |

成對比較通常比逐項評分更接近人類判斷，因為相對比較比絕對校準容易。進行 A/B 測試以比較變更時，請使用成對比較；需要獨立數值時，則使用逐項評分。

## 撰寫裁判提示

裁判的表現取決於評分規準。模糊的提示會讓模型自行帶入缺乏依據的假設，因此要明確列出標準，並要求裁判先推理再評分。

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

有兩個細節很重要。要求裁判先逐步推理，再給出判定（思維鏈提示），可以提高與人類判斷的一致率。另外，明確要求「不要因長度或風格給予加分」，可直接抑制接下來會介紹的一種偏誤。

## 必須處理的四種偏誤

裁判不是中立的權威。研究記錄了幾種持續出現的偏誤；這些是此方法本身的特性，無法只靠提示就完全消除。

| 偏誤 | 發生情況 | 緩解方法 |
|----|----|----|
| **位置偏誤** | 在成對比較中，位於 A 欄的答案勝出頻率高於偶然機率 | 以 A/B 和 B/A 兩種順序執行，並且只採信判定一致的結果 |
| **冗長偏誤** | 即使品質相同，較長的答案仍會得到較高分數 | 在評分規準中對長度扣分，或使用控制長度後的勝率 |
| **自我偏好** | 裁判偏好來自自身模型家族的輸出 | 使用與受測模型不同家族的裁判 |
| **格式偏誤** | 裁判偏好自身偏好的格式（例如偏好散文而非 JSON） | 在評分規準中指定所需格式，並評估內容而非形式 |

位置偏誤最重要，因為它很容易透過程式碼偵測，而且會在不知不覺中影響你執行的每一次成對比較。

## 透過程式碼控制位置偏誤

控制位置偏誤的方法很簡單：每一組答案都判定兩次，交換輸出的先後位置；只有兩次判定一致時才宣布勝者。如果只因順序不同，判定就反轉，代表裁判是在猜。

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

將程式碼貼到 `debias.py`，並執行 `python debias.py`。你會得到以下結果：

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

去偏誤處理成功了。它偵測到有偏誤的裁判，拒絕選出勝者；同時也讓公平裁判的穩定判定通過。若要使用真正的裁判，請將 `judge` 替換為一個函式，讓它使用上述評分規準提示呼叫 LLM，並回傳 "A" 或 "B"。

## 稽核你的裁判

在正式環境中信任裁判之前，先測量它的表現。未經稽核的裁判，是你無法辯護的指標。

建立一組小型校準資料集，包含已知正確判定的案例，最好由人工標註。執行裁判後，檢查兩件事：它與人工標籤的一致率，以及交換順序後成對判定反轉的頻率。反轉率若高於約 5%，表示位置偏誤仍然存在。

每次變更裁判模型時，都要重新執行稽核。即使只是小幅更新版本，也可能改變分數分布，因此校準不是一次性的工作。

## 混合式模式

可靠的設定不會只依賴裁判，而是由成本最低的檢查開始，分成三層。

- 確定性指標負責處理所有可檢查的項目（標籤、結構描述、必要事實）。
- LLM 裁判只評估剩下的開放式品質。
- 人工抽查部分裁判結果，確保判斷可靠。

每一層都能補足前一層的盲點。裁判是強大的中間層，不是整個架構。

## 常見錯誤

多數不可靠的裁判都有幾個共同成因。

常見問題包括：

- 使用同一個模型進行生成與判定，將自我偏好帶入評分。
- 評分規準寫得含糊，讓裁判依據隱藏的假設評分。
- 只使用一種順序進行成對比較，導致位置偏誤未被發現。
- 從不與人工判斷進行校準，因此無法確認裁判是否正確。

解決方法是讓裁判與受測模型分開、撰寫明確的評分規準、每次都交換順序，並依據人工標籤進行稽核。

## 來源

Zheng 等人，*Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena*（NeurIPS 2023）。本文介紹 LLM-as-a-Judge 方法、與人類偏好超過 80% 的一致率，以及位置、冗長和自我增強偏誤。

<div class="section">

## 常見問題

什麼是 LLM-as-a-Judge？

使用一個語言模型，依據評分規準為另一個模型的輸出評分，用來評估無法透過完全比對捕捉的品質，例如有用性、語氣或忠實度。

可以使用同一個模型進行生成和判定嗎？

不可以。裁判會偏好來自自身模型家族的輸出（自我偏好偏誤），因此使用自己的模型進行判定會讓分數虛高。請使用不同家族的裁判。

如何消除位置偏誤？

以兩種順序執行每次成對比較，只接受在兩種順序下都成立的判定。如果只因順序不同而反轉，就視為平手。

</div>

## 使用 Ailoot 實踐本指南

透過單一 Ailoot API，將 AI 模型連接到你的應用程式、代理程式和自動化流程。選擇適合任務的模型，並按照 [Ailoot 說明文件](https://ailoot.ai/docs/)開始使用。


## Ailoot · 公司及其專案組合

Ailoot以累積的營運經驗、廣大的客戶群、穩定的服務及持續的KPI管理為基礎。

公司及其專案組合：數百萬客戶，每月銷售額達數十億。

Ailoot將這些營運經驗用於API存取，讓客戶的產品、代理、應用程式及自動化流程使用AI功能。
