Cómo usar LLM-as-a-Judge
MarkdownUsa un modelo para evaluar otro según una rúbrica. Aprende sobre la evaluación punto por punto y por pares, los sesgos comunes y cómo controlarlos.
Usa un modelo para evaluar otro según una rúbrica. Aprende sobre la evaluación punto por punto y por pares, los sesgos comunes y cómo controlarlos.
¿Qué es LLM-as-a-Judge?
LLM-as-a-Judge consiste en usar un modelo de lenguaje para evaluar el resultado de otro modelo según criterios que tú defines. En lugar de comparar cadenas de texto, el evaluador lee el resultado y devuelve una puntuación o un veredicto.
Zheng et al. formalizaron este paradigma en 2023 y descubrieron que un modelo potente coincidía con las preferencias humanas más del 80 % de las veces, aproximadamente la misma tasa de acuerdo que se da entre dos personas. Esa es la promesa: un juicio similar al humano a escala y coste de máquina.
La pega es que el evaluador es un modelo, así que hereda las peculiaridades de los modelos. Si se usa sin cuidado, produce puntuaciones seguras de sí mismas que miden lo que no corresponde.
Cuándo usarlo y cuándo no
Un evaluador es la herramienta adecuada para evaluar una calidad abierta que se resiste a una puntuación exacta. Es la herramienta equivocada cuando bastaría una comprobación determinista más barata.
Usa un evaluador para valorar la utilidad, el tono, la coherencia, la fidelidad a una fuente o «cuál de estas dos respuestas es mejor». Evítalo para todo lo que ya cubre una métrica programática: etiquetas, valores exactos, validez del esquema o la presencia de un dato obligatorio.
Regla general: intenta que la comprobación sea determinista primero. Solo cuando de verdad no puedas hacerlo, deja la decisión en manos de un evaluador.
Evaluación punto por punto frente a evaluación por pares
Hay dos formas de pedirle una puntuación a un evaluador, y cada una sirve para tareas distintas.
| Modo | La pregunta | Ideal para | Punto débil |
|---|---|---|---|
| Punto por punto | «Puntúa este resultado del 1 al 5 según la rúbrica». | Puntuaciones absolutas para un panel o una condición de CI | La calibración deriva; cuesta comparar puntuaciones entre ejecuciones |
| Por pares | «¿Cuál es mejor, A o B?» | Comparar dos prompts o dos modelos | Da un ganador, no una puntuación absoluta; es sensible al orden |
La evaluación por pares suele coincidir más con el juicio humano, porque la comparación relativa es más fácil que la calibración absoluta. Recurre a ella cuando hagas una prueba A/B de un cambio, y usa la evaluación punto por punto cuando necesites un número independiente.
Escribe el prompt del evaluador
La calidad de un evaluador depende de su rúbrica. Un prompt impreciso hereda las suposiciones sin fundamento del modelo, así que especifica los criterios y pídele al evaluador que razone antes de puntuar.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Hay dos detalles importantes. Pedir un razonamiento paso a paso antes del veredicto (un prompt de cadena de pensamiento) mejora la coincidencia con el juicio humano. Y la línea explícita «no premies la longitud ni el estilo» contrarresta directamente un sesgo que veremos a continuación.
Los cuatro sesgos que debes controlar
Un evaluador no es un oráculo neutral. Las investigaciones han documentado sesgos sistemáticos, que son propiedades del método y no errores que puedas eliminar por completo con un prompt.
| Sesgo | Qué ocurre | Cómo mitigarlo |
|---|---|---|
| Sesgo de posición | En la evaluación por pares, la respuesta en la posición A gana más veces de lo que cabría esperar por azar | Ejecuta ambas ordenaciones (A/B y B/A) y confía solo en un veredicto coincidente |
| Sesgo de verbosidad | Las respuestas más largas obtienen puntuaciones más altas, incluso con la misma calidad | Penaliza la longitud en la rúbrica o usa tasas de victoria controladas por longitud |
| Autopreferencia | El evaluador favorece los resultados de su propia familia de modelos | Usa un evaluador de una familia distinta a la del modelo que se está probando |
| Sesgo de formato | El evaluador prefiere el formato que prefiere usar (prosa en lugar de JSON, etc.) | Indica el formato requerido en la rúbrica y puntúa el contenido, no la forma |
El más importante es el sesgo de posición, porque es fácil de detectar en el código y corrompe silenciosamente todas las comparaciones por pares que ejecutes.
Controla el sesgo de posición en el código
La solución al sesgo de posición es sencilla: evalúa cada par dos veces, intercambiando cuál resultado aparece primero, y declara un ganador solo si el veredicto se mantiene en ambos casos. Si cambia únicamente por el orden, el evaluador está adivinando.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Pega esto en debias.py y ejecuta python debias.py. Obtendrás exactamente:
biased: tie/uncertain (verdict flipped on order)
fair: x
La corrección del sesgo hizo su trabajo. Detectó al evaluador sesgado y se negó a declarar un ganador, mientras que dejó pasar el veredicto estable del evaluador imparcial. Para usar un evaluador real, sustituye judge por una función que llame a un LLM con el prompt de rúbrica anterior y devuelva «A» o «B».
Audita tu evaluador
Antes de confiar en un evaluador en producción, mídelo. Un evaluador que no has auditado es una métrica que no puedes defender.
Crea un pequeño conjunto de calibración con casos cuyos veredictos correctos conozcas, idealmente etiquetados por personas. Ejecuta el evaluador y comprueba dos cosas: con qué frecuencia coincide con las etiquetas humanas y con qué frecuencia cambia el veredicto por pares al invertir el orden. Una tasa de cambio superior a aproximadamente el 5 % indica que el sesgo de posición sigue filtrándose.
Repite esta auditoría cada vez que cambies el modelo evaluador. Un cambio menor de versión puede alterar la distribución de puntuaciones, así que la calibración no es una tarea que se haga una sola vez.
El patrón híbrido
Una configuración fiable no depende únicamente de un evaluador. Combina tres tipos de comprobación, empezando por la más barata.
- Las métricas deterministas cubren todo lo que pueden (etiquetas, esquema, datos obligatorios).
- El evaluador LLM puntúa solo las cualidades abiertas que quedan.
- Una persona revisa una muestra de los veredictos del evaluador para mantenerlo honesto.
Cada capa cubre el punto ciego de la anterior. El evaluador es un nivel intermedio potente, no toda la pila.
Errores comunes
La mayoría de los evaluadores poco fiables comparten unas cuantas causas.
Las más frecuentes:
- Usar el mismo modelo como generador y evaluador, lo que incorpora la autopreferencia.
- Escribir una rúbrica imprecisa, de modo que el evaluador puntúa según suposiciones ocultas.
- Ejecutar la evaluación por pares en un solo orden, sin detectar así el sesgo de posición.
- No calibrar nunca con personas, por lo que no puedes afirmar si el evaluador acierta.
Corrige estos problemas separando el evaluador del modelo que se está probando, redactando una rúbrica explícita, invirtiendo siempre el orden y auditando con etiquetas humanas.
Fuentes
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). El paradigma LLM-as-a-Judge, el acuerdo superior al 80 % con las preferencias humanas y los sesgos de posición, verbosidad y autopreferencia.
Preguntas frecuentes
¿Qué es LLM-as-a-Judge?
Usar un modelo de lenguaje para puntuar el resultado de otro según una rúbrica, en aspectos que no puede captar una coincidencia exacta, como la utilidad, el tono o la fidelidad.
¿Puedo usar el mismo modelo para generar y evaluar?
No. Un evaluador favorece los resultados de su propia familia (sesgo de autopreferencia), por lo que evaluar tu propio modelo infla la puntuación. Usa un evaluador de otra familia.
¿Cómo puedo detener el sesgo de posición?
Ejecuta cada comparación por pares en ambos órdenes y acepta solo los veredictos que se mantengan en ambos casos. Si cambia únicamente por el orden, considéralo un empate.
Pon esta guía en práctica con Ailoot
Conecta modelos de IA a tus aplicaciones, agentes y automatizaciones mediante una sola API de Ailoot. Elige el modelo que se ajuste a tu tarea y sigue la documentación de Ailoot para empezar.