Como utilizar LLM como avaliador
MarkdownUse um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.
Use um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.
O que é LLM como avaliador?
LLM como avaliador consiste em utilizar um modelo de linguagem para avaliar a saída de outro modelo segundo critérios definidos por si. Em vez de comparar cadeias de caracteres, o avaliador analisa a saída e devolve uma pontuação ou um veredicto.
O paradigma foi formalizado por Zheng et al. em 2023, que concluíram que um modelo robusto concordava com as preferências humanas em mais de 80% das vezes — aproximadamente a mesma frequência com que duas pessoas concordam entre si. Essa é a promessa: avaliação semelhante à humana à escala e ao custo das máquinas.
O problema é que o avaliador é um modelo e, por isso, herda as particularidades de um modelo. Se for utilizado sem cuidado, produz pontuações confiantes que medem o que não devem.
Quando utilizar e quando não utilizar
Um avaliador é a ferramenta certa para avaliar qualidade em aberto, difícil de pontuar com exatidão. É a ferramenta errada quando bastaria uma verificação determinística mais barata.
Utilize um avaliador para analisar a utilidade, o tom, a coerência, a fidelidade a uma fonte ou para decidir «qual destas duas respostas é melhor». Não o utilize em aspetos já abrangidos por uma métrica programática: rótulos, valores exatos, validade do esquema ou presença de um facto obrigatório.
Regra prática: comece por tentar tornar a verificação determinística. Só quando isso for realmente impossível deve delegar a decisão num avaliador.
Avaliação pontual vs. comparativa
Há duas formas de pedir a um avaliador que atribua uma pontuação, e cada uma serve para tarefas diferentes.
| Modo | A pergunta | Mais adequado para | Ponto fraco |
|---|---|---|---|
| Pontual | «Avalie esta saída de 1 a 5 segundo a rubrica.» | Pontuações absolutas num painel ou numa condição de CI | A calibração sofre desvios; é difícil comparar pontuações entre execuções |
| Comparativa | «Qual é melhor, A ou B?» | Comparar dois prompts ou dois modelos | Escolhe um vencedor, não uma pontuação absoluta; é sensível à ordem |
A avaliação comparativa costuma estar mais próxima da avaliação humana, porque a comparação relativa é mais fácil do que a calibração absoluta. Recorra a ela quando estiver a testar uma alteração com A/B e utilize a avaliação pontual quando precisar de um valor independente.
Escreva o prompt do avaliador
A qualidade do avaliador depende da rubrica. Um prompt vago deixa o modelo recorrer a pressupostos sem fundamento; por isso, explicite os critérios e peça ao avaliador que justifique a avaliação antes de atribuir a pontuação.
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
Há dois pormenores importantes. Pedir um raciocínio passo a passo antes do veredicto (um prompt do tipo chain-of-thought) melhora a concordância com a avaliação humana. E a instrução explícita «do not reward length or style» combate diretamente um enviesamento abordado a seguir.
Os quatro enviesamentos que tem de controlar
Um avaliador não é um oráculo neutro. A investigação documentou enviesamentos consistentes; são características do método e não podem ser totalmente eliminados com prompts.
| Enviesamento | O que acontece | Como o atenuar |
|---|---|---|
| Enviesamento de posição | Na avaliação comparativa, a resposta na posição A vence mais vezes do que seria de esperar ao acaso | Execute a avaliação nas duas ordens (A/B e B/A) e confie apenas num veredicto que coincida nas duas |
| Enviesamento para a verbosidade | As respostas mais longas obtêm pontuações superiores, mesmo quando têm a mesma qualidade | Penalize o comprimento na rubrica ou utilize taxas de vitória com comprimento controlado |
| Autopreferência | O avaliador favorece saídas da sua própria família de modelos | Utilize um avaliador de uma família diferente da do modelo em teste |
| Enviesamento de formato | O avaliador prefere o formato de que gosta (prosa em vez de JSON, por exemplo) | Indique o formato exigido na rubrica e avalie o conteúdo, não a forma |
O mais importante é o enviesamento de posição, porque é fácil de detetar no código e corrompe silenciosamente todas as comparações comparativas que executar.
Controle o enviesamento de posição no código
A solução para o enviesamento de posição é simples: avalie cada par duas vezes, trocando a ordem das respostas, e declare um vencedor apenas quando o veredicto se mantiver nas duas ordens. Se mudar apenas por causa da ordem, o avaliador está a adivinhar.
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
"""Run the judge in both orderings. Trust the result only if it agrees."""
first = judge(x, y) # x in slot A
second = judge(y, x) # y in slot A
x_wins = first == "A" and second == "B"
y_wins = first == "B" and second == "A"
if x_wins:
return "x"
if y_wins:
return "y"
return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair: ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
Cole este código em debias.py e execute python debias.py. O resultado será exatamente:
biased: tie/uncertain (verdict flipped on order)
fair: x
A correção do enviesamento funcionou. Detetou o avaliador enviesado e recusou-se a declarar um vencedor, enquanto aceitou o veredicto estável do avaliador imparcial. Para utilizar um avaliador real, substitua judge por uma função que invoque um LLM com o prompt de rubrica acima e devolva «A» ou «B».
Audite o seu avaliador
Antes de confiar num avaliador em produção, meça o seu desempenho. Um avaliador que não foi auditado é uma métrica que não pode defender.
Crie um pequeno conjunto de calibração com casos cujos veredictos corretos sejam conhecidos, idealmente rotulados por pessoas. Execute o avaliador e verifique dois aspetos: com que frequência concorda com os rótulos humanos e com que frequência o veredicto de um par se altera quando troca a ordem. Uma taxa de inversão superior a cerca de 5% significa que o enviesamento de posição continua a influenciar os resultados.
Repita esta auditoria sempre que alterar o modelo do avaliador. Uma pequena atualização de versão pode deslocar a distribuição das pontuações, pelo que a calibração não é uma tarefa única.
O padrão híbrido
Uma configuração fiável não depende apenas de um avaliador. Combina três tipos de verificação, começando pela opção mais barata.
- As métricas determinísticas tratam de tudo o que conseguem (rótulos, esquema, factos obrigatórios).
- O avaliador LLM pontua apenas as qualidades abertas que ficam por avaliar.
- Uma pessoa verifica uma amostra dos veredictos do avaliador para garantir que se mantém fiável.
Cada camada cobre o ponto cego da anterior. O avaliador é uma camada intermédia poderosa, não a totalidade do sistema.
Erros comuns
A maioria dos avaliadores pouco fiáveis tem algumas causas em comum.
Entre as mais frequentes:
- Utilizar o mesmo modelo para gerar e avaliar, o que incorpora a autopreferência.
- Escrever uma rubrica vaga, levando o avaliador a pontuar com base em pressupostos ocultos.
- Executar a avaliação comparativa numa única ordem, deixando por detetar o enviesamento de posição.
- Nunca calibrar com avaliações humanas, pelo que não é possível dizer se o avaliador está correto.
Corrija estes problemas separando o avaliador do modelo em teste, escrevendo uma rubrica explícita, trocando sempre a ordem e auditando os resultados com rótulos humanos.
Fontes
Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). O paradigma LLM como avaliador, a concordância superior a 80% com as preferências humanas e os enviesamentos de posição, verbosidade e autopreferência.
Perguntas frequentes
O que é LLM como avaliador?
Utilizar um modelo de linguagem para avaliar a saída de outro segundo uma rubrica, em aspetos que não podem ser captados por uma correspondência exata, como a utilidade, o tom ou a fidelidade.
Posso utilizar o mesmo modelo para gerar e avaliar?
Não. Um avaliador favorece as saídas da sua própria família de modelos (enviesamento de autopreferência), pelo que avaliar o seu próprio modelo infla a pontuação. Utilize um avaliador de outra família.
Como posso impedir o enviesamento de posição?
Execute cada comparação comparativa nas duas ordens e aceite apenas um veredicto que se mantenha em ambas. Se mudar apenas por causa da ordem, considere-o um empate.
Ponha este guia em prática com Ailoot
Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e consulte a documentação da Ailoot para começar.