Jak używać LLM jako sędziego
MarkdownUżyj jednego modelu do oceniania innego według rubryki. Poznaj ocenianie punktowe i porównawcze, typowe błędy systematyczne oraz sposoby ich ograniczania.
Użyj jednego modelu do oceniania innego według rubryki. Poznaj ocenianie punktowe i porównawcze, typowe błędy systematyczne oraz sposoby ich ograniczania.
Czym jest LLM jako sędzia?
LLM jako sędzia polega na użyciu modelu językowego do oceny wyników innego modelu według określonych przez Ciebie kryteriów. Zamiast porównywać ciągi znaków, sędzia analizuje wynik i zwraca ocenę lub werdykt.
Paradygmat ten sformalizowali Zheng i współautorzy w 2023 roku. Ustalili, że silny model zgadzał się z ludzkimi preferencjami w ponad 80% przypadków — mniej więcej tak często, jak zgadza się ze sobą dwoje ludzi. Na tym polega obietnica: ludzka ocena w maszynowej skali i cenie.
Jest jednak pewien haczyk: sędzia sam jest modelem, więc dziedziczy jego osobliwości. Używany bez namysłu, generuje pewnie brzmiące oceny, które mierzą niewłaściwe rzeczy.
Kiedy warto go używać, a kiedy nie
Sędzia sprawdza się przy otwartej ocenie jakości, której nie da się łatwo zmierzyć dokładnie. Nie sprawdzi się, gdy wystarczy tańszy, deterministyczny test.
Używaj sędziego do oceny pomocności, tonu, spójności, zgodności ze źródłem albo do rozstrzygnięcia, „która z tych dwóch odpowiedzi jest lepsza”. Pomiń go w przypadku wszystkiego, co już obejmuje metryka programowa: etykiet, dokładnych wartości, poprawności schematu czy obecności wymaganego faktu.
Zasada praktyczna: najpierw spróbuj stworzyć test deterministyczny. Decyzję powierz sędziemu dopiero wtedy, gdy naprawdę nie da się tego zrobić.
Ocenianie punktowe a porównawcze
Sędzia może oceniać na dwa sposoby — każdy z nich nadaje się do innych zadań.
| Tryb | Pytanie | Najlepsze zastosowanie | Słabość |
|---|---|---|---|
| Punktowy | „Oceń ten wynik w skali od 1 do 5 według rubryki”. | Oceny bezwzględne na pulpicie nawigacyjnym lub w bramce CI | Kalibracja się rozjeżdża; trudno porównywać oceny między uruchomieniami |
| Porównawczy | „Która odpowiedź jest lepsza, A czy B?” | Porównywanie dwóch promptów lub dwóch modeli | Wskazuje zwycięzcę, a nie ocenę bezwzględną; jest wrażliwy na kolejność |
Ocenianie porównawcze zwykle lepiej zgadza się z ocenami ludzi, ponieważ łatwiej jest porównywać względnie niż kalibrować oceny bezwzględne. Wybierz je, gdy testujesz zmianę metodą A/B, a oceniania punktowego używaj, gdy potrzebujesz samodzielnej liczby.
Napisz prompt dla sędziego
Jakość oceny sędziego zależy od rubryki. Nieprecyzyjny prompt skłania model do stosowania nieuzasadnionych założeń, dlatego jasno określ kryteria i poproś sędziego o uzasadnienie oceny przed jej wystawieniem.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Liczą się dwa szczegóły. Poproszenie o rozumowanie krok po kroku przed wydaniem werdyktu (prompt typu chain-of-thought) zwiększa zgodność z ocenami ludzi. Wyraźne polecenie „do not reward length or style” bezpośrednio przeciwdziała błędowi systematycznemu omówionemu w następnej części.
Cztery błędy systematyczne, które musisz kontrolować
Sędzia nie jest bezstronną wyrocznią. Badania udokumentowały powtarzające się błędy systematyczne. To cechy tej metody, których nie da się całkowicie wyeliminować samym promptem.
| Błąd systematyczny | Co się dzieje | Sposób ograniczenia |
|---|---|---|
| Błąd pozycji | W porównaniu pary odpowiedź w miejscu A wygrywa częściej, niż wynikałoby to z przypadku | Uruchom ocenę w obu kolejnościach (A/B i B/A) i ufaj tylko zgodnemu werdyktowi |
| Błąd na rzecz rozwlekłości | Dłuższe odpowiedzi otrzymują wyższe oceny, nawet przy tej samej jakości | Uwzględnij w rubryce karę za długość albo użyj odsetka zwycięstw przy kontrolowanej długości |
| Preferowanie własnego modelu | Sędzia faworyzuje wyniki z własnej rodziny modeli | Użyj sędziego z innej rodziny niż model poddawany ocenie |
| Błąd formatu | Sędzia preferuje własny ulubiony format (np. prozę zamiast JSON) | Określ wymagany format w rubryce i oceniaj treść, a nie formę |
Najważniejszy jest błąd pozycji, ponieważ łatwo go wykryć w kodzie, a po cichu zniekształca każde przeprowadzane porównanie parami.
Ograniczanie błędu pozycji w kodzie
Rozwiązanie problemu błędu pozycji jest proste: oceń każdą parę dwukrotnie, zamieniając kolejność wyników, i ogłoś zwycięzcę tylko wtedy, gdy werdykt pozostaje taki sam w obu przypadkach. Jeśli zmienia się wyłącznie z powodu kolejności, sędzia zgaduje.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Wklej ten kod do pliku debias.py i uruchom python debias.py. Otrzymasz dokładnie:
biased: tie/uncertain (verdict flipped on order)
fair: x
Mechanizm ograniczania błędu zadziałał. Wychwycił stronniczego sędziego i odmówił wskazania zwycięzcy, a stabilny werdykt uczciwego sędziego zaakceptował. Aby użyć prawdziwego sędziego, zastąp judge funkcją wywołującą LLM z użyciem podanego wcześniej promptu z rubryką i zwracającą „A” lub „B”.
Przeprowadź audyt sędziego
Zanim zaufasz sędziemu w środowisku produkcyjnym, zmierz jego skuteczność. Sędzia, którego nie poddano audytowi, to metryka, której nie da się obronić.
Przygotuj mały zbiór kalibracyjny z przypadkami o znanych, poprawnych werdyktach — najlepiej oznaczonymi przez ludzi. Uruchom sędziego i sprawdź dwie rzeczy: jak często zgadza się z etykietami ludzkimi oraz jak często werdykt w porównaniu pary zmienia się po zamianie kolejności. Odsetek zmian przekraczający około 5% oznacza, że błąd pozycji nadal się przedostaje.
Powtarzaj audyt po każdej zmianie modelu sędziego. Nawet niewielka zmiana wersji może przesunąć rozkład ocen, więc kalibrację trzeba powtarzać.
Wzorzec hybrydowy
Niezawodna konfiguracja nie polega wyłącznie na sędzim. Łączy trzy rodzaje testów, zaczynając od najtańszego.
- Metryki deterministyczne sprawdzają wszystko, co mogą (etykiety, schemat, wymagane fakty).
- Sędzia LLM ocenia tylko pozostałe cechy otwarte na interpretację.
- Człowiek punktowo sprawdza próbkę werdyktów sędziego, aby zachować kontrolę nad jego rzetelnością.
Każda warstwa obejmuje to, czego nie wychwyciła poprzednia. Sędzia jest skuteczną warstwą pośrednią, a nie całym stosem.
Częste błędy
Za większością zawodnych sędziów stoją te same przyczyny.
Do najczęstszych należą:
- Używanie tego samego modelu do generowania i oceniania, co prowadzi do preferowania własnego modelu.
- Tworzenie nieprecyzyjnej rubryki, przez co sędzia ocenia na podstawie ukrytych założeń.
- Przeprowadzanie porównania parami tylko w jednej kolejności, przez co błąd pozycji pozostaje niewykryty.
- Brak kalibracji względem ocen ludzi, przez co nie da się stwierdzić, czy sędzia ocenia poprawnie.
Aby to naprawić, oddziel sędziego od ocenianego modelu, napisz precyzyjną rubrykę, zawsze zamieniaj kolejność i przeprowadzaj audyt z użyciem ludzkich etykiet.
Źródła
Zheng i współautorzy, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Paradygmat LLM jako sędziego, ponad 80% zgodności z ludzkimi preferencjami oraz błędy systematyczne związane z pozycją, rozwlekłością i wzmacnianiem własnych preferencji.
Najczęściej zadawane pytania
Czym jest LLM jako sędzia?
Użycie jednego modelu językowego do oceny wyników innego modelu według rubryki, w przypadku cech, których nie da się uchwycić przez dokładne dopasowanie, takich jak pomocność, ton czy zgodność ze źródłem.
Czy mogę używać tego samego modelu do generowania i oceniania?
Nie. Sędzia faworyzuje wyniki własnej rodziny modeli (błąd preferowania własnego modelu), więc ocenianie własnego modelu zawyża wynik. Użyj sędziego z innej rodziny.
Jak powstrzymać błąd pozycji?
Przeprowadź każde porównanie parami w obu kolejnościach i zaakceptuj wyłącznie werdykt, który pozostaje taki sam w obu przypadkach. Jeśli zmienia się tylko z powodu kolejności, potraktuj wynik jako remis.
Wykorzystaj ten poradnik z Ailoot
Połącz modele AI ze swoimi aplikacjami, agentami i automatyzacjami za pomocą jednego interfejsu API Ailoot. Wybierz model odpowiedni do swojego zadania i zacznij, korzystając z dokumentacji Ailoot.