블로그

LLM-as-a-Judge 사용법

Markdown

하나의 모델로 다른 모델을 평가 기준에 따라 채점하는 방법을 알아보세요. 항목별 평가와 쌍대 평가, 흔한 편향과 이를 통제하는 방법을 살펴봅니다.

하나의 모델로 다른 모델을 평가 기준에 따라 채점하는 방법을 알아보세요. 항목별 평가와 쌍대 평가, 흔한 편향과 이를 통제하는 방법을 살펴봅니다.

LLM-as-a-judge란?

LLM-as-a-judge는 언어 모델을 사용해 직접 정의한 기준에 따라 다른 모델의 출력을 평가하는 방식입니다. 문자열을 비교하는 대신 평가자가 출력을 읽고 점수나 판정을 반환합니다.

Zheng 등은 2023년에 이 패러다임을 정식화했습니다. 이들은 강력한 모델이 80%가 넘는 비율로 사람들의 선호와 일치했으며, 이는 두 사람이 서로 동의하는 비율과 대략 같다고 밝혔습니다. 이것이 약속하는 바는 기계의 규모와 비용으로 인간과 비슷한 판단을 제공하는 것입니다.

문제는 평가자도 모델이므로 모델 특유의 성향을 물려받는다는 점입니다. 부주의하게 사용하면 엉뚱한 것을 측정하면서도 확신에 찬 점수를 내놓습니다.

언제 사용하고, 언제 사용하지 않을까

평가자는 정확한 점수 산정이 어려운 개방형 품질을 평가하는 데 적합합니다. 더 저렴한 결정론적 검사로 충분하다면 적합하지 않습니다.

유용성, 어조, 일관성, 출처에 대한 충실성 또는 “두 답변 중 어느 쪽이 더 나은가”를 평가할 때 사용하세요. 프로그램 방식의 지표가 이미 확인할 수 있는 항목에는 사용하지 마세요. 예를 들면 레이블, 정확한 값, 스키마 유효성 또는 필수 사실의 포함 여부입니다.

경험칙은 먼저 검사를 결정론적으로 만들 수 있는지 시도하는 것입니다. 정말로 그럴 수 없을 때만 판단을 평가자에게 맡기세요.

항목별 평가와 쌍대 평가

평가자에게 점수를 요청하는 방식은 두 가지이며, 각각 어울리는 작업이 다릅니다.

방식질문적합한 용도약점
항목별“이 출력을 평가 기준에 따라 1부터 5까지 평가하세요.”대시보드나 CI 게이트에 사용할 절대 점수보정값이 달라질 수 있고, 실행 간 점수를 비교하기 어려움
쌍대“A와 B 중 어느 쪽이 더 나은가요?”프롬프트 두 개나 모델 두 개 비교승자만 알려주고 절대 점수는 제공하지 않으며, 순서에 민감함

상대 비교가 절대 보정보다 쉽기 때문에 쌍대 평가는 대체로 사람의 판단과 더 잘 일치합니다. 변경 사항을 A/B 테스트할 때는 쌍대 평가를, 독립적인 숫자가 필요할 때는 항목별 평가를 사용하세요.

평가자 프롬프트 작성하기

평가자의 품질은 평가 기준만큼 좋습니다. 모호한 프롬프트는 근거 없는 모델의 가정을 그대로 따르게 하므로, 기준을 명확히 하고 점수를 매기기 전에 추론하도록 요청하세요.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

두 가지 세부 사항이 중요합니다. 판정 전에 단계별 추론을 요청하는 것(사고의 연쇄 프롬프트)은 사람과의 일치도를 높입니다. 또한 “길이나 문체에 가산점을 주지 마세요”라는 명시적인 문구는 다음에 다룰 편향을 직접 억제합니다.

반드시 다뤄야 할 네 가지 편향

평가자는 중립적인 예언자가 아닙니다. 연구를 통해 일관된 편향이 확인됐으며, 이는 프롬프트만으로 완전히 제거할 수 있는 버그가 아니라 방법 자체의 특성입니다.

편향발생하는 현상완화 방법
위치 편향쌍대 평가에서 A 슬롯의 답변이 우연보다 더 자주 이김두 순서(A/B와 B/A)로 모두 실행하고 결과가 일치하는 판정만 신뢰함
장황함 편향품질이 같아도 더 긴 답변이 높은 점수를 받음평가 기준에서 길이에 불이익을 주거나 길이를 통제한 승률을 사용함
자기 선호평가자가 자기 모델 계열의 출력을 선호함테스트 대상 모델과 다른 계열의 평가자를 사용함
형식 편향평가자가 자신이 선호하는 형식(예: JSON보다 산문)을 더 높게 평가함평가 기준에 필수 형식을 명시하고 형식이 아니라 내용을 평가함

이 중 가장 중요한 것은 위치 편향입니다. 코드로 쉽게 포착할 수 있는데도 이를 놓치면 모든 쌍대 비교가 조용히 왜곡되기 때문입니다.

코드에서 위치 편향 통제하기

위치 편향을 바로잡는 방법은 간단합니다. 각 쌍을 두 번 평가하면서 출력의 순서를 바꾸고, 두 경우에 판정이 일치할 때만 승자를 선언하세요. 순서만 바뀌었는데 판정이 뒤집힌다면 평가자가 추측하고 있는 것입니다.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

이 코드를 debias.py에 붙여 넣고 python debias.py를 실행하세요. 정확히 다음 결과를 얻습니다.

biased: tie/uncertain (verdict flipped on order)
fair:   x

편향 완화가 제대로 작동했습니다. 편향된 평가자를 찾아내 승자를 선언하지 않았고, 공정한 평가자의 일관된 판정은 통과시켰습니다. 실제 평가자를 사용하려면 judge를 위 평가 기준 프롬프트로 LLM을 호출하고 “A” 또는 “B”를 반환하는 함수로 바꾸세요.

평가자 감사하기

프로덕션에서 평가자를 신뢰하기 전에 성능을 측정하세요. 감사하지 않은 평가자는 근거를 제시할 수 없는 지표입니다.

정답 판정을 알고 있는 사례로 작은 보정 데이터 세트를 만드세요. 가능하면 사람이 레이블을 붙인 사례를 사용합니다. 평가자를 실행하고 두 가지를 확인하세요. 사람의 레이블과 얼마나 자주 일치하는지, 그리고 순서를 바꿨을 때 쌍대 판정이 얼마나 자주 뒤집히는지입니다. 뒤집힘 비율이 약 5%를 넘으면 위치 편향이 여전히 영향을 미치고 있다는 뜻입니다.

평가자 모델을 바꿀 때마다 이 감사를 다시 수행하세요. 사소한 버전 업데이트도 점수 분포를 바꿀 수 있으므로 보정은 한 번으로 끝나는 작업이 아닙니다.

하이브리드 방식

신뢰할 수 있는 구성은 평가자 하나에만 의존하지 않습니다. 비용이 가장 낮은 것부터 세 가지 검사 방식을 조합합니다.

  • 결정론적 지표가 처리할 수 있는 모든 항목을 처리합니다(레이블, 스키마, 필수 사실).
  • LLM 평가자는 남은 개방형 품질만 평가합니다.
  • 사람이 평가자 판정의 표본을 임의로 점검해 평가가 믿을 만한지 확인합니다.

각 계층은 이전 계층의 사각지대를 보완합니다. 평가자는 강력한 중간 계층이지, 전체 시스템은 아닙니다.

흔한 실수

신뢰할 수 없는 평가자에는 몇 가지 공통적인 원인이 있습니다.

자주 발생하는 실수는 다음과 같습니다.

  • 생성기와 평가자에 같은 모델을 사용해 자기 선호가 개입되도록 함.
  • 모호한 평가 기준을 작성해 평가자가 숨겨진 가정에 따라 점수를 매기게 함.
  • 쌍대 평가를 한 가지 순서로만 실행해 위치 편향을 놓침.
  • 사람의 판단에 맞춰 보정하지 않아 평가자가 맞는지 말할 수 없음.

평가자를 테스트 대상 모델과 분리하고, 명시적인 평가 기준을 작성하고, 항상 순서를 바꾸고, 사람의 레이블과 비교해 감사하면 이러한 문제를 해결할 수 있습니다.

출처

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). LLM-as-a-judge 패러다임, 사람의 선호와 80%가 넘는 일치율, 위치·장황함·자기 강화 편향을 다룹니다.

자주 묻는 질문

LLM-as-a-judge란 무엇인가요?

정확히 일치하는지만으로는 포착할 수 없는 유용성, 어조, 충실성 등의 품질을 평가하기 위해 평가 기준에 따라 한 언어 모델로 다른 모델의 출력을 채점하는 것입니다.

생성과 평가에 같은 모델을 사용해도 되나요?

아니요. 평가자는 자기 모델 계열의 출력을 선호하므로(자기 선호 편향), 자기 모델을 평가하면 점수가 부풀려집니다. 다른 계열의 평가자를 사용하세요.

위치 편향은 어떻게 막을 수 있나요?

각 쌍대 비교를 두 가지 순서로 모두 실행하고, 두 경우에 유지되는 판정만 받아들이세요. 순서만 바뀌었는데 판정이 뒤집히면 무승부로 처리하세요.

Ailoot으로 이 가이드 활용하기

하나의 Ailoot API를 통해 AI 모델을 애플리케이션, 에이전트, 자동화에 연결하세요. 작업에 맞는 모델을 선택하고 Ailoot 문서를 참고해 시작하세요.