# So verwendest du LLM-as-a-Judge

> Verwende ein Modell, um ein anderes anhand einer Bewertungsrubrik zu bewerten. Erfahre mehr über punktuelle und paarweise Bewertungen, häufige Verzerrungen und Möglichkeiten, sie zu kontrollieren.

Source: https://ailoot.ai/blog/de/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/de/how-to-use-llm-as-a-judge/
Language: de
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-f5599bdb08221c3b28b7bf6686f4c810f1617502ed315312119efaaba6e68c9f


Verwende ein Modell, um ein anderes anhand einer Bewertungsrubrik zu bewerten. Erfahre mehr über punktuelle und paarweise Bewertungen, häufige Verzerrungen und Möglichkeiten, sie zu kontrollieren.

## Was ist LLM-as-a-judge?

LLM-as-a-judge bedeutet, ein Sprachmodell zu verwenden, um die Ausgabe eines anderen Modells anhand von Kriterien zu bewerten, die du festlegst. Statt Zeichenfolgen zu vergleichen, liest der Judge die Ausgabe und gibt eine Punktzahl oder ein Urteil zurück.

Das Paradigma wurde 2023 von Zheng et al. formalisiert. Sie stellten fest, dass ein leistungsstarkes Modell in über 80 % der Fälle mit menschlichen Präferenzen übereinstimmte – ungefähr so oft, wie zwei Menschen miteinander übereinstimmen. Das ist das Versprechen: menschenähnliche Urteile im Umfang und zu den Kosten einer Maschine.

Der Haken: Ein Judge ist ein Modell und übernimmt daher die Eigenheiten eines Modells. Bei unachtsamer Verwendung erzeugt er selbstsichere Punktzahlen, die das Falsche messen.

## Wann du es verwenden solltest – und wann nicht

Ein Judge ist das richtige Werkzeug für offene Qualitätsfragen, die sich einer exakten Bewertung entziehen. Er ist das falsche Werkzeug, wenn eine günstigere, deterministische Prüfung ausreicht.

Verwende einen Judge für Hilfsbereitschaft, Ton, Kohärenz, Quellentreue oder die Frage „Welche dieser beiden Antworten ist besser?“. Verzichte darauf bei allem, was eine programmatische Metrik bereits abdeckt: Labels, exakte Werte, Schema-Gültigkeit oder das Vorhandensein einer erforderlichen Tatsache.

Als Faustregel gilt: Versuche zuerst, die Prüfung deterministisch zu gestalten. Nur wenn das wirklich nicht möglich ist, solltest du die Entscheidung einem Judge überlassen.

## Punktuelle und paarweise Bewertung

Es gibt zwei Arten, einen Judge um eine Bewertung zu bitten, und sie eignen sich für unterschiedliche Aufgaben.

| Modus | Die Frage | Am besten geeignet für | Schwäche |
|----|----|----|----|
| **Punktuell** | „Bewerte diese Ausgabe anhand der Rubrik mit 1 bis 5.“ | Absolute Punktzahlen für ein Dashboard oder ein CI-Gate | Die Kalibrierung driftet; Punktzahlen lassen sich nur schwer über mehrere Durchläufe hinweg vergleichen |
| **Paarweise** | „Was ist besser, A oder B?“ | Vergleich zweier Prompts oder zweier Modelle | Liefert einen Gewinner, keine absolute Punktzahl; reagiert empfindlich auf die Reihenfolge |

Paarweise Bewertungen stimmen in der Regel besser mit menschlichen Urteilen überein, weil ein relativer Vergleich einfacher ist als eine absolute Kalibrierung. Greife darauf zurück, wenn du eine Änderung per A/B-Test überprüfst, und verwende die punktuelle Bewertung, wenn du eine eigenständige Zahl brauchst.

## Den Judge-Prompt verfassen

Ein Judge ist nur so gut wie seine Bewertungsrubrik. Ein vager Prompt übernimmt die ungebundenen Annahmen des Modells. Formuliere die Kriterien daher ausdrücklich und bitte den Judge, vor der Bewertung zu argumentieren.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Zwei Details sind wichtig. Die Aufforderung, vor dem Urteil Schritt für Schritt zu argumentieren (ein Chain-of-Thought-Prompt), verbessert die Übereinstimmung mit menschlichen Urteilen. Und die ausdrückliche Zeile „belohne weder Länge noch Stil“ wirkt direkt einer Verzerrung entgegen, die im nächsten Abschnitt behandelt wird.

## Die vier Verzerrungen, mit denen du umgehen musst

Ein Judge ist kein neutrales Orakel. Die Forschung hat konsistente Verzerrungen dokumentiert. Sie sind Eigenschaften der Methode und keine Fehler, die sich vollständig durch Prompts beseitigen lassen.

| Verzerrung | Was passiert | Gegenmaßnahme |
|----|----|----|
| **Positionsverzerrung** | Bei paarweisen Bewertungen gewinnt die Antwort auf Platz A häufiger als durch Zufall zu erwarten wäre | Führe beide Reihenfolgen aus (A/B und B/A) und vertraue nur einem übereinstimmenden Urteil |
| **Ausführlichkeitsverzerrung** | Längere Antworten erhalten höhere Bewertungen, auch wenn die Qualität gleich ist | Ziehe in der Rubrik Punkte für Länge ab oder verwende nach Länge kontrollierte Siegesraten |
| **Selbstpräferenz** | Ein Judge bevorzugt Ausgaben aus seiner eigenen Modellfamilie | Verwende einen Judge aus einer anderen Familie als das getestete Modell |
| **Formatverzerrung** | Der Judge bevorzugt sein eigenes bevorzugtes Format (Prosa statt JSON usw.) | Gib das erforderliche Format in der Rubrik an und bewerte den Inhalt, nicht die Form |

Am wichtigsten ist die Positionsverzerrung, denn sie lässt sich leicht im Code erkennen und verfälscht unbemerkt jeden paarweisen Vergleich, den du durchführst.

## Positionsverzerrung im Code kontrollieren

Die Lösung für Positionsverzerrungen ist einfach: Bewerte jedes Paar zweimal und vertausche dabei die Reihenfolge der Ausgaben. Erkläre nur dann einen Gewinner, wenn das Urteil in beiden Fällen gleich ausfällt. Ändert es sich allein durch die Reihenfolge, rät der Judge.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Füge den Code in `debias.py` ein und führe `python debias.py` aus. Das Ergebnis lautet exakt:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

Die Entzerrung hat funktioniert. Sie hat den verzerrten Judge erkannt und sich geweigert, einen Gewinner zu benennen, während sie das stabile Urteil des fairen Judges durchließ. Um einen echten Judge zu verwenden, ersetze `judge` durch eine Funktion, die ein LLM mit dem obigen Bewertungs-Prompt aufruft und „A“ oder „B“ zurückgibt.

## Deinen Judge überprüfen

Bevor du einem Judge in der Produktion vertraust, solltest du ihn messen. Ein Judge, den du nicht überprüft hast, ist eine Metrik, die du nicht verteidigen kannst.

Erstelle einen kleinen Kalibrierungssatz mit Fällen, deren korrekte Urteile bekannt sind, idealerweise von Menschen gelabelt. Führe den Judge aus und prüfe zwei Dinge: wie oft er mit den menschlichen Labels übereinstimmt und wie oft sich ein paarweises Urteil ändert, wenn du die Reihenfolge vertauschst. Eine Änderungsrate von über etwa 5 % bedeutet, dass die Positionsverzerrung noch durchkommt.

Wiederhole diese Überprüfung jedes Mal, wenn du das Judge-Modell änderst. Schon eine kleinere Versionsaktualisierung kann die Verteilung der Punktzahlen verschieben. Die Kalibrierung ist also keine einmalige Aufgabe.

## Das hybride Muster

Ein zuverlässiger Aufbau stützt sich nicht allein auf einen Judge. Er kombiniert drei Arten von Prüfungen, angefangen bei der günstigsten.

- Deterministische Metriken übernehmen alles, was sie abdecken können (Labels, Schema, erforderliche Fakten).
- Der LLM-Judge bewertet nur die offenen Qualitätsaspekte, die übrig bleiben.
- Ein Mensch prüft stichprobenartig einige Urteile des Judges, damit er zuverlässig bleibt.

Jede Ebene deckt einen blinden Fleck der vorherigen ab. Der Judge ist eine leistungsstarke mittlere Ebene, nicht der ganze Stack.

## Häufige Fehler

Die meisten unzuverlässigen Judges haben einige gemeinsame Ursachen.

Die häufigsten:

- Dasselbe Modell als Generator und Judge zu verwenden, wodurch Selbstpräferenz eingebaut wird.
- Eine vage Rubrik zu verfassen, sodass der Judge nach verborgenen Annahmen bewertet.
- Paarweise Bewertungen nur in einer Reihenfolge durchzuführen, sodass Positionsverzerrungen unentdeckt bleiben.
- Niemals mit menschlichen Urteilen zu kalibrieren, sodass du nicht sagen kannst, ob der Judge richtig liegt.

Behebe diese Probleme, indem du den Judge vom getesteten Modell trennst, eine ausdrückliche Rubrik verfasst, immer die Reihenfolge vertauschst und anhand menschlicher Labels überprüfst.

## Quellen

Zheng et al., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). Das LLM-as-a-judge-Paradigma, eine Übereinstimmung mit menschlichen Präferenzen von über 80 % sowie die Verzerrungen durch Position, Ausführlichkeit und Selbstverstärkung.

<div class="section">

## Häufig gestellte Fragen

Was ist LLM-as-a-judge?

Ein Sprachmodell zu verwenden, um die Ausgabe eines anderen anhand einer Bewertungsrubrik zu bewerten – für Eigenschaften, die sich durch einen exakten Abgleich nicht erfassen lassen, etwa Hilfsbereitschaft, Ton oder Quellentreue.

Kann ich dasselbe Modell zum Generieren und Bewerten verwenden?

Nein. Ein Judge bevorzugt Ausgaben aus seiner eigenen Modellfamilie (Selbstpräferenzverzerrung). Wenn dein eigenes Modell als Judge dient, wird die Punktzahl dadurch künstlich erhöht. Verwende einen Judge aus einer anderen Familie.

Wie verhindere ich Positionsverzerrungen?

Führe jeden paarweisen Vergleich in beiden Reihenfolgen aus und akzeptiere nur ein Urteil, das in beiden Fällen Bestand hat. Ändert es sich allein durch die Reihenfolge, werte es als unentschieden.

</div>

## Setze diesen Leitfaden mit Ailoot um

Verbinde KI-Modelle über eine einzige Ailoot-API mit deinen Anwendungen, Agenten und Automatisierungen. Wähle das Modell, das zu deiner Aufgabe passt, und folge der [Ailoot-Dokumentation](https://ailoot.ai/docs/), um loszulegen.


## Ailoot · Das Unternehmen und sein Projektportfolio

Ailoot baut auf bewährte Betriebserfahrung, einen großen Kundenstamm, stabilen Service und kontinuierliche KPI-Kontrolle.

Das Unternehmen und sein Projektportfolio: Millionen von Kunden; monatliche Umsätze in Milliardenhöhe.

Ailoot nutzt diese Betriebserfahrung für den API-Zugang zu KI-Funktionen in Kundenprodukten, Agenten, Anwendungen und Automatisierungen.
