Comment utiliser LLM-as-a-Judge
MarkdownUtilisez un modèle pour en évaluer un autre selon une grille de critères. Découvrez l’évaluation ponctuelle et l’évaluation par paires, les biais courants et les moyens de les contrôler.
Utilisez un modèle pour en évaluer un autre selon une grille de critères. Découvrez l’évaluation ponctuelle et l’évaluation par paires, les biais courants et les moyens de les contrôler.
Qu’est-ce que LLM-as-a-judge ?
LLM-as-a-judge consiste à utiliser un modèle de langage pour évaluer la sortie d’un autre modèle selon des critères que vous définissez. Au lieu de comparer des chaînes de caractères, le juge lit la sortie et renvoie une note ou un verdict.
Le paradigme a été formalisé par Zheng et al. en 2023. Ils ont constaté qu’un modèle performant était d’accord avec les préférences humaines dans plus de 80 % des cas, soit à peu près autant que deux personnes sont d’accord entre elles. Voilà la promesse : un jugement semblable à celui d’un humain, à l’échelle et au coût d’une machine.
Le hic, c’est qu’un juge est un modèle et qu’il hérite donc des travers d’un modèle. Utilisé sans précaution, il produit des notes assurées qui mesurent la mauvaise chose.
Quand l’utiliser, et quand s’en abstenir
Un juge est l’outil adapté pour évaluer une qualité ouverte qui se prête mal à une mesure exacte. Il ne convient pas lorsqu’un contrôle déterministe moins coûteux suffit.
Utilisez un juge pour évaluer l’utilité, le ton, la cohérence, la fidélité à une source ou pour répondre à la question « laquelle de ces deux réponses est meilleure ? ». Évitez-le pour tout ce qu’une mesure programmatique couvre déjà : les étiquettes, les valeurs exactes, la validité du schéma ou la présence d’un fait exigé.
La règle générale : essayez d’abord de rendre le contrôle déterministe. Ce n’est que si vous ne le pouvez vraiment pas que vous devriez confier la décision à un juge.
Évaluation ponctuelle ou par paires
Il existe deux façons de demander une évaluation à un juge, et elles conviennent à des tâches différentes.
| Mode | La question | Idéal pour | Faiblesse |
|---|---|---|---|
| Ponctuelle | « Évalue cette sortie de 1 à 5 selon la grille de critères. » | Des notes absolues pour un tableau de bord ou une barrière CI | La calibration dérive ; les notes sont difficiles à comparer d’une exécution à l’autre |
| Par paires | « Laquelle est meilleure, A ou B ? » | Comparer deux prompts ou deux modèles | Donne un gagnant, pas une note absolue ; sensible à l’ordre |
L’évaluation par paires concorde généralement davantage avec les jugements humains, car une comparaison relative est plus facile qu’une calibration absolue. Privilégiez-la pour tester une modification par A/B test, et utilisez l’évaluation ponctuelle lorsque vous avez besoin d’un nombre indépendant.
Rédiger le prompt du juge
La qualité d’un juge dépend entièrement de sa grille de critères. Un prompt vague laisse libre cours aux hypothèses du modèle. Rendez donc les critères explicites et demandez au juge de raisonner avant de noter.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Deux détails comptent. Demander un raisonnement étape par étape avant le verdict (un prompt chain-of-thought) améliore la concordance avec les jugements humains. Et la consigne explicite « ne récompense pas la longueur ni le style » contre directement un biais abordé dans la section suivante.
Les quatre biais à prendre en compte
Un juge n’est pas un oracle neutre. La recherche a documenté des biais récurrents ; ce sont des propriétés de la méthode, et non des défauts qu’un prompt peut entièrement éliminer.
| Biais | Ce qui se passe | Mesure d’atténuation |
|---|---|---|
| Biais de position | En évaluation par paires, la réponse en position A gagne plus souvent que ne le voudrait le hasard | Exécutez les deux ordres (A/B et B/A) et ne faites confiance qu’à un verdict identique dans les deux cas |
| Biais de verbosité | Les réponses plus longues obtiennent une meilleure note, même à qualité égale | Pénalisez la longueur dans la grille de critères ou utilisez des taux de victoire contrôlés en longueur |
| Auto-préférence | Un juge favorise les sorties issues de sa propre famille de modèles | Utilisez un juge issu d’une famille différente de celle du modèle testé |
| Biais de format | Le juge préfère son format de prédilection (la prose plutôt que le JSON, etc.) | Indiquez le format requis dans la grille et évaluez le contenu, pas la forme |
Le biais de position est le plus important, car il est facile à détecter dans le code et fausse discrètement chaque comparaison par paires que vous effectuez.
Contrôler le biais de position dans le code
La solution au biais de position est simple : évaluez chaque paire deux fois en inversant l’ordre des sorties, et ne désignez un gagnant que si le verdict reste le même dans les deux cas. S’il change uniquement à cause de l’ordre, le juge devine.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Collez ce code dans debias.py et exécutez python debias.py. Vous obtenez exactement :
biased: tie/uncertain (verdict flipped on order)
fair: x
La correction du biais a fonctionné. Elle a repéré le juge biaisé et refusé de désigner un gagnant, tout en laissant passer le verdict stable du juge impartial. Pour utiliser un vrai juge, remplacez judge par une fonction qui appelle un LLM avec le prompt de notation ci-dessus et renvoie « A » ou « B ».
Auditer votre juge
Avant de faire confiance à un juge en production, mesurez ses performances. Un juge que vous n’avez pas audité est une métrique que vous ne pouvez pas défendre.
Constituez un petit jeu de calibration comportant des cas dont les verdicts corrects sont connus, idéalement annotés par des humains. Exécutez le juge et vérifiez deux choses : à quelle fréquence il est d’accord avec les annotations humaines et à quelle fréquence un verdict par paires change lorsque vous inversez l’ordre. Un taux de changement supérieur à environ 5 % signifie que le biais de position continue de se manifester.
Répétez cet audit chaque fois que vous changez de modèle juge. Une mise à jour mineure de version peut décaler la distribution des notes : la calibration n’est donc pas une tâche ponctuelle.
Le schéma hybride
Une configuration fiable ne repose pas uniquement sur un juge. Elle combine trois types de contrôle, en commençant par le moins coûteux.
- Les métriques déterministes traitent tout ce qu’elles peuvent (étiquettes, schéma, faits requis).
- Le juge LLM évalue uniquement les qualités ouvertes restantes.
- Une personne vérifie un échantillon des verdicts du juge pour s’assurer qu’ils restent fiables.
Chaque niveau couvre l’angle mort du précédent. Le juge est un niveau intermédiaire puissant, pas toute la pile.
Erreurs courantes
La plupart des juges peu fiables partagent quelques causes.
Les plus fréquentes :
- Utiliser le même modèle comme générateur et comme juge, ce qui introduit une auto-préférence.
- Rédiger une grille vague, de sorte que le juge évalue selon des hypothèses implicites.
- Exécuter l’évaluation par paires dans un seul ordre, laissant le biais de position passer inaperçu.
- Ne jamais calibrer les résultats par rapport à des évaluations humaines, ce qui empêche de savoir si le juge a raison.
Corrigez ces problèmes en séparant le juge du modèle testé, en rédigeant une grille explicite, en inversant toujours l’ordre et en auditant les résultats à l’aide d’annotations humaines.
Sources
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). Le paradigme LLM-as-a-judge, une concordance supérieure à 80 % avec les préférences humaines, ainsi que les biais de position, de verbosité et d’auto-renforcement.
Foire aux questions
Qu’est-ce que LLM-as-a-judge ?
Utiliser un modèle de langage pour évaluer la sortie d’un autre selon une grille de critères, afin d’évaluer des qualités qu’une correspondance exacte ne peut pas saisir, comme l’utilité, le ton ou la fidélité.
Puis-je utiliser le même modèle pour générer et évaluer ?
Non. Un juge favorise les sorties issues de sa propre famille de modèles (biais d’auto-préférence), si bien que faire évaluer votre modèle par lui-même gonfle la note. Utilisez un juge issu d’une autre famille.
Comment éliminer le biais de position ?
Exécutez chaque comparaison par paires dans les deux ordres et n’acceptez que les verdicts qui restent identiques. Si le verdict change uniquement à cause de l’ordre, considérez la comparaison comme une égalité.
Mettez ce guide en pratique avec Ailoot
Connectez des modèles d’IA à vos applications, agents et automatisations via une seule API Ailoot. Choisissez le modèle adapté à votre tâche et suivez la documentation Ailoot pour démarrer.