LLM-as-a-Judgeの使い方
Markdown1つのモデルを使って、別のモデルを評価基準に照らして採点する方法を解説します。ポイントワイズ評価とペアワイズ評価、よくあるバイアス、その抑制方法を学びましょう。
1つのモデルを使って、別のモデルを評価基準に照らして採点する方法を解説します。ポイントワイズ評価とペアワイズ評価、よくあるバイアス、その抑制方法を学びましょう。
LLM-as-a-Judgeとは?
LLM-as-a-Judgeとは、言語モデルを使って、別のモデルの出力を自分で定めた基準に照らして評価することです。文字列を比較する代わりに、判定役のモデルが出力を読み、スコアや判定を返します。
この手法はZhengらによって2023年に体系化されました。彼らは、強力なモデルが人間の選好と80%を超える割合で一致し、その率は人間同士の一致率におおむね匹敵することを示しました。これがこの手法の可能性です。人間のような判断を、機械規模とコストで実現できます。
ただし、判定役もモデルであるため、モデル特有の癖を受け継ぎます。慎重に使わなければ、測るべきものを取り違えたスコアを自信たっぷりに出してしまいます。
使う場面と使わない場面
判定役は、厳密な採点が難しい自由形式の品質評価に適しています。より安価で決定論的なチェックで済む場合には適しません。
有用性、口調、一貫性、情報源への忠実さ、あるいは「2つの回答のうちどちらが優れているか」の評価には判定役を使います。プログラムによる指標ですでに確認できるもの、たとえばラベル、正確な値、スキーマの妥当性、必須の事実が含まれているかどうかには使わないでください。
目安は、まずチェックを決定論的にできないか試すことです。本当にそれができない場合に限り、判定を判定役に任せましょう。
ポイントワイズ評価とペアワイズ評価
判定役に採点を依頼する方法は2つあり、それぞれ適した用途が異なります。
| 方式 | 質問 | 適した用途 | 弱点 |
|---|---|---|---|
| ポイントワイズ | 「この出力を評価基準に照らして1から5で評価してください。」 | ダッシュボードやCIゲート向けの絶対スコア | キャリブレーションがずれ、実行ごとのスコアを比較しにくい |
| ペアワイズ | 「AとBではどちらが優れていますか?」 | 2つのプロンプトやモデルの比較 | 勝者は示すが絶対スコアは示さず、順序に左右される |
相対比較は絶対評価のキャリブレーションより容易なため、ペアワイズ評価のほうが人間の判断と一致しやすい傾向があります。変更をA/Bテストするときはペアワイズ評価を、単独の数値が必要なときはポイントワイズ評価を使いましょう。
判定役のプロンプトを書く
判定役の性能は評価基準次第です。曖昧なプロンプトでは、モデルの根拠のない前提がそのまま持ち込まれるため、基準を明示し、採点前に理由を考えるよう求めましょう。
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
重要な点が2つあります。判定の前に段階的な推論を求めること(思考連鎖プロンプト)は、人間との一致度を高めます。また、「長さや文体を評価しない」という明示的な一文は、次に説明するバイアスを直接抑えます。
対処が必要な4つのバイアス
判定役は中立的な審判ではありません。研究では一貫して見られるバイアスが報告されています。これらは手法そのものの特性であり、プロンプトだけで完全に取り除ける不具合ではありません。
| バイアス | 起こること | 緩和策 |
|---|---|---|
| 位置バイアス | ペアワイズ評価で、Aの位置にある回答が偶然より高い頻度で勝つ | A/BとB/Aの両方の順序で実行し、判定が一致した場合のみ信頼する |
| 冗長性バイアス | 品質が同じでも、長い回答ほど高いスコアを得る | 評価基準で長さを減点するか、長さを統制した勝率を使う |
| 自己選好 | 判定役が、自分と同じモデル系列の出力を優遇する | 評価対象モデルとは異なる系列の判定役を使う |
| 形式バイアス | 判定役が、自分の好む形式(JSONより文章形式など)を優遇する | 評価基準で必要な形式を指定し、形式ではなく内容を採点する |
なかでも最も重要なのは位置バイアスです。コードで簡単に検出できる一方、実行するすべてのペアワイズ比較を気づかぬうちに歪めるからです。
コードで位置バイアスを抑える
位置バイアスへの対策は簡単です。各ペアを順序を入れ替えて2回判定し、どちらの順序でも判定が一致した場合にだけ勝者を決めます。順序を変えただけで判定が逆転するなら、判定役は当てずっぽうです。
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
これをdebias.pyに貼り付けて、python debias.pyを実行してください。結果は次のとおりです。
biased: tie/uncertain (verdict flipped on order)
fair: x
バイアス補正は機能しました。偏った判定役を検出して勝者の決定を拒み、一方で公平な判定役の安定した判定は通しました。実際の判定役を使うには、judgeを、上記の評価基準プロンプトでLLMを呼び出し、「A」または「B」を返す関数に置き換えてください。
判定役を監査する
本番環境で判定役を信頼する前に、その性能を測定しましょう。監査していない判定役は、根拠を示せない指標です。
正解がわかっている事例から、小規模なキャリブレーション用データセットを作成します。できれば人間がラベル付けしたものを使いましょう。判定役を実行し、2点を確認します。人間のラベルと一致する頻度と、順序を入れ替えたときにペアワイズ判定が逆転する頻度です。逆転率が約5%を超えるなら、位置バイアスがまだ残っています。
判定役のモデルを変更するたびに、この監査をやり直してください。マイナーバージョンの更新でもスコア分布が変わることがあるため、キャリブレーションは一度きりの作業ではありません。
ハイブリッド方式
信頼できる構成は判定役だけに頼りません。安価なものから順に、3種類のチェックを重ねます。
- 決定論的な指標で、可能な範囲をすべて確認する(ラベル、スキーマ、必須の事実)。
- LLMの判定役は、残った自由形式の品質だけを採点する。
- 人間が判定結果の一部を抜き取り確認し、判定役の信頼性を保つ。
各層が、1つ前の層の見落としを補います。判定役は強力な中間層であり、仕組み全体ではありません。
よくある間違い
信頼性の低い判定役には、よくある原因がいくつかあります。
特に多いのは次のとおりです。
- 生成と判定に同じモデルを使い、自己選好を組み込んでしまう。
- 曖昧な評価基準を書くため、判定役が隠れた前提で採点する。
- ペアワイズ評価を一方の順序だけで実行し、位置バイアスを見逃す。
- 人間の判断と照らしたキャリブレーションを行わず、判定役が正しいかどうかを判断できない。
判定役を評価対象モデルとは別にし、明示的な評価基準を書き、必ず順序を入れ替え、人間のラベルと照らして監査することで、これらの問題を解消しましょう。
出典
Zhengら、『Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena』(NeurIPS 2023)。LLM-as-a-Judgeの手法、人間の選好との80%を超える一致、そして位置、冗長性、自己強化のバイアスについて述べています。
よくある質問
LLM-as-a-Judgeとは何ですか?
1つの言語モデルを使って、別のモデルの出力を評価基準に照らして採点することです。有用性、口調、忠実さなど、完全一致では捉えられない品質を評価できます。
生成と判定に同じモデルを使えますか?
いいえ。判定役は自分と同じ系列のモデルの出力を優遇するため(自己選好バイアス)、自分のモデルを判定するとスコアが水増しされます。異なる系列の判定役を使いましょう。
位置バイアスを防ぐにはどうすればよいですか?
ペアワイズ比較をそれぞれ両方の順序で実行し、どちらでも変わらない判定だけを受け入れます。順序を変えただけで逆転した場合は、引き分けとして扱いましょう。
このガイドをAilootで活用する
1つのAiloot APIを通じて、AIモデルをアプリケーション、エージェント、自動化に接続できます。タスクに合ったモデルを選び、Ailootのドキュメントに従って利用を開始してください。