Блог

Как использовать LLM-as-a-Judge

Markdown

Используйте одну модель, чтобы оценивать другую по критериям. Узнайте о поэлементной и попарной оценке, распространённых предубеждениях и способах их контролировать.

Используйте одну модель, чтобы оценивать другую по критериям. Узнайте о поэлементной и попарной оценке, распространённых предубеждениях и способах их контролировать.

Что такое LLM-as-a-judge?

LLM-as-a-judge — это использование языковой модели для оценки результата другой модели по заданным вами критериям. Вместо сравнения строк судья анализирует результат и возвращает оценку или вердикт.

Эта парадигма была формализована Zheng и соавторами в 2023 году. Они обнаружили, что сильная модель согласовывалась с предпочтениями людей более чем в 80% случаев — примерно с той же частотой, с какой соглашаются друг с другом два человека. В этом и состоит обещание метода: суждение на уровне человека при машинных масштабах и стоимости.

Но есть нюанс: судья — это модель, поэтому унаследует особенности моделей. При неосторожном использовании она выдаёт уверенные оценки, которые измеряют не то, что нужно.

Когда использовать, а когда нет

Судья подходит для открытых оценок качества, которым трудно присвоить точный балл. Это неподходящий инструмент, если достаточно более дешёвой детерминированной проверки.

Используйте судью для оценки полезности, тона, связности, соответствия источнику или ответа на вопрос «какой из этих двух ответов лучше». Не используйте его для того, что уже проверяется программно: меток, точных значений, валидности схемы или наличия обязательного факта.

Практическое правило: сначала попробуйте сделать проверку детерминированной. Передавайте решение судье только тогда, когда это действительно невозможно.

Поэлементная и попарная оценка

Есть два способа попросить судью поставить оценку, и каждый подходит для разных задач.

РежимВопросЛучше всего подходит дляСлабая сторона
Поэлементная«Оцените этот результат по шкале от 1 до 5 согласно критериям».Абсолютных оценок для панели мониторинга или CI-проверкиКалибровка со временем смещается; оценки трудно сравнивать между запусками
Попарная«Какой вариант лучше, A или B?»Сравнения двух промптов или двух моделейДаёт победителя, а не абсолютную оценку; чувствительна к порядку

Попарная оценка обычно ближе совпадает с оценками людей, потому что сравнивать относительное проще, чем калибровать абсолютную оценку. Используйте её при A/B-тестировании изменений, а поэлементную — когда нужно отдельное числовое значение.

Напишите промпт для судьи

Качество судьи зависит от критериев. Расплывчатый промпт оставляет модели простор для необоснованных предположений, поэтому сформулируйте критерии явно и попросите судью рассуждать до выставления оценки.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Важны две детали. Просьба рассуждать пошагово по каждому критерию перед вынесением вердикта (промпт с цепочкой рассуждений) улучшает совпадение с оценками людей. А явная строка «не поощряйте длину или стиль» напрямую противодействует одному из предубеждений, о которых речь пойдёт далее.

Четыре предубеждения, которые нужно учитывать

Судья — не нейтральный оракул. Исследования выявили устойчивые предубеждения: это свойства метода, а не ошибки, которые можно полностью устранить одним промптом.

ПредубеждениеЧто происходитКак смягчить
Предубеждение позицииПри попарной оценке ответ в слоте A выигрывает чаще, чем при случайном выбореПроведите оценку в обоих порядках (A/B и B/A) и доверяйте только совпадающему вердикту
Предубеждение в пользу многословияБолее длинные ответы получают более высокие оценки даже при одинаковом качествеУчитывайте длину в критериях или используйте долю побед при контролируемой длине
Предпочтение собственной моделиСудья отдаёт предпочтение результатам моделей своего семействаИспользуйте судью из другого семейства, чем проверяемая модель
Предубеждение форматаСудья предпочитает формат, который предпочитает сам (например, прозу вместо JSON)Укажите требуемый формат в критериях и оценивайте содержание, а не форму

Важнее всего предубеждение позиции: его легко выявить в коде, и оно незаметно искажает каждое попарное сравнение.

Контролируйте предубеждение позиции в коде

Исправление простое: оценивайте каждую пару дважды, меняя порядок вариантов, и объявляйте победителя только в том случае, если вердикт совпадает в обоих случаях. Если вердикт меняется только из-за порядка, судья гадает.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Вставьте это в debias.py и выполните python debias.py. Вы получите:

biased: tie/uncertain (verdict flipped on order)
fair:   x

Контроль от предвзятости сработал. Он обнаружил предвзятого судью и не стал выбирать победителя, а стабильному вердикту беспристрастного судьи позволил пройти. Чтобы использовать настоящего судью, замените judge функцией, которая вызывает LLM с приведённым выше промптом и возвращает «A» или «B».

Проведите аудит судьи

Прежде чем доверять судье в продакшене, измерьте его качество. Судью, который не проходил аудит, нельзя обосновать как метрику.

Создайте небольшой набор калибровочных примеров с заведомо правильными вердиктами, желательно размеченными людьми. Запустите судью и проверьте два показателя: как часто он соглашается с человеческими метками и как часто меняет попарный вердикт после перестановки вариантов. Если доля таких изменений превышает примерно 5%, предубеждение позиции всё ещё проявляется.

Повторяйте аудит после каждой смены модели-судьи. Даже небольшое обновление версии может изменить распределение оценок, поэтому калибровка нужна не один раз.

Гибридный подход

Надёжная система не полагается только на судью. В ней используются три вида проверок — от самых дешёвых к более дорогим.

  • Детерминированные метрики проверяют всё, что могут: метки, схему и обязательные факты.
  • LLM-судья оценивает только оставшиеся качества с открытой оценкой.
  • Человек выборочно проверяет вердикты судьи, чтобы тот оставался честным.

Каждый следующий уровень покрывает слепые зоны предыдущего. Судья — мощный промежуточный уровень, а не вся система целиком.

Распространённые ошибки

За большинством ненадёжных оценок стоят несколько типичных причин.

Чаще всего это:

  • Одна и та же модель используется для генерации и оценки, что закрепляет предпочтение собственной модели.
  • Критерии сформулированы расплывчато, поэтому судья опирается на скрытые предположения.
  • Попарная оценка проводится только в одном порядке, из-за чего предубеждение позиции остаётся незамеченным.
  • Оценки никогда не калибруются по человеческим, поэтому нельзя сказать, прав ли судья.

Исправьте эти ошибки: отделите судью от проверяемой модели, сформулируйте критерии явно, всегда меняйте порядок вариантов и сверяйте результаты с человеческими метками.

Источники

Zheng и соавторы, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Парадигма LLM-as-judge, совпадение с человеческими предпочтениями более чем в 80% случаев, а также предубеждения позиции, многословия и самоусиления.

Часто задаваемые вопросы

Что такое LLM-as-a-judge?

Использование одной языковой модели для оценки результата другой по заданным критериям — для качеств, которые нельзя уловить точным совпадением, например полезности, тона или соответствия источнику.

Можно ли использовать одну модель и для генерации, и для оценки?

Нет. Судья отдаёт предпочтение результатам моделей своего семейства (предубеждение в пользу собственной модели), поэтому оценка собственной модели будет завышена. Используйте судью из другого семейства.

Как остановить предубеждение позиции?

Проведите каждое попарное сравнение в обоих порядках и принимайте только вердикт, который совпадает в обоих случаях. Если он меняется только из-за порядка, считайте результат ничьей.

Примените это руководство с Ailoot

Подключайте AI-модели к приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель для своей задачи и начните работу, следуя документации Ailoot.