Blogue

Como utilizar LLM como avaliador

Markdown

Use um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.

Use um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.

O que é LLM como avaliador?

LLM como avaliador consiste em utilizar um modelo de linguagem para avaliar a saída de outro modelo segundo critérios definidos por si. Em vez de comparar cadeias de caracteres, o avaliador analisa a saída e devolve uma pontuação ou um veredicto.

O paradigma foi formalizado por Zheng et al. em 2023, que concluíram que um modelo robusto concordava com as preferências humanas em mais de 80% das vezes — aproximadamente a mesma frequência com que duas pessoas concordam entre si. Essa é a promessa: avaliação semelhante à humana à escala e ao custo das máquinas.

O problema é que o avaliador é um modelo e, por isso, herda as particularidades de um modelo. Se for utilizado sem cuidado, produz pontuações confiantes que medem o que não devem.

Quando utilizar e quando não utilizar

Um avaliador é a ferramenta certa para avaliar qualidade em aberto, difícil de pontuar com exatidão. É a ferramenta errada quando bastaria uma verificação determinística mais barata.

Utilize um avaliador para analisar a utilidade, o tom, a coerência, a fidelidade a uma fonte ou para decidir «qual destas duas respostas é melhor». Não o utilize em aspetos já abrangidos por uma métrica programática: rótulos, valores exatos, validade do esquema ou presença de um facto obrigatório.

Regra prática: comece por tentar tornar a verificação determinística. Só quando isso for realmente impossível deve delegar a decisão num avaliador.

Avaliação pontual vs. comparativa

Há duas formas de pedir a um avaliador que atribua uma pontuação, e cada uma serve para tarefas diferentes.

ModoA perguntaMais adequado paraPonto fraco
Pontual«Avalie esta saída de 1 a 5 segundo a rubrica.»Pontuações absolutas num painel ou numa condição de CIA calibração sofre desvios; é difícil comparar pontuações entre execuções
Comparativa«Qual é melhor, A ou B?»Comparar dois prompts ou dois modelosEscolhe um vencedor, não uma pontuação absoluta; é sensível à ordem

A avaliação comparativa costuma estar mais próxima da avaliação humana, porque a comparação relativa é mais fácil do que a calibração absoluta. Recorra a ela quando estiver a testar uma alteração com A/B e utilize a avaliação pontual quando precisar de um valor independente.

Escreva o prompt do avaliador

A qualidade do avaliador depende da rubrica. Um prompt vago deixa o modelo recorrer a pressupostos sem fundamento; por isso, explicite os critérios e peça ao avaliador que justifique a avaliação antes de atribuir a pontuação.

You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.

Há dois pormenores importantes. Pedir um raciocínio passo a passo antes do veredicto (um prompt do tipo chain-of-thought) melhora a concordância com a avaliação humana. E a instrução explícita «do not reward length or style» combate diretamente um enviesamento abordado a seguir.

Os quatro enviesamentos que tem de controlar

Um avaliador não é um oráculo neutro. A investigação documentou enviesamentos consistentes; são características do método e não podem ser totalmente eliminados com prompts.

EnviesamentoO que aconteceComo o atenuar
Enviesamento de posiçãoNa avaliação comparativa, a resposta na posição A vence mais vezes do que seria de esperar ao acasoExecute a avaliação nas duas ordens (A/B e B/A) e confie apenas num veredicto que coincida nas duas
Enviesamento para a verbosidadeAs respostas mais longas obtêm pontuações superiores, mesmo quando têm a mesma qualidadePenalize o comprimento na rubrica ou utilize taxas de vitória com comprimento controlado
AutopreferênciaO avaliador favorece saídas da sua própria família de modelosUtilize um avaliador de uma família diferente da do modelo em teste
Enviesamento de formatoO avaliador prefere o formato de que gosta (prosa em vez de JSON, por exemplo)Indique o formato exigido na rubrica e avalie o conteúdo, não a forma

O mais importante é o enviesamento de posição, porque é fácil de detetar no código e corrompe silenciosamente todas as comparações comparativas que executar.

Controle o enviesamento de posição no código

A solução para o enviesamento de posição é simples: avalie cada par duas vezes, trocando a ordem das respostas, e declare um vencedor apenas quando o veredicto se mantiver nas duas ordens. Se mudar apenas por causa da ordem, o avaliador está a adivinhar.

# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))

Cole este código em debias.py e execute python debias.py. O resultado será exatamente:

biased: tie/uncertain (verdict flipped on order)
fair:   x

A correção do enviesamento funcionou. Detetou o avaliador enviesado e recusou-se a declarar um vencedor, enquanto aceitou o veredicto estável do avaliador imparcial. Para utilizar um avaliador real, substitua judge por uma função que invoque um LLM com o prompt de rubrica acima e devolva «A» ou «B».

Audite o seu avaliador

Antes de confiar num avaliador em produção, meça o seu desempenho. Um avaliador que não foi auditado é uma métrica que não pode defender.

Crie um pequeno conjunto de calibração com casos cujos veredictos corretos sejam conhecidos, idealmente rotulados por pessoas. Execute o avaliador e verifique dois aspetos: com que frequência concorda com os rótulos humanos e com que frequência o veredicto de um par se altera quando troca a ordem. Uma taxa de inversão superior a cerca de 5% significa que o enviesamento de posição continua a influenciar os resultados.

Repita esta auditoria sempre que alterar o modelo do avaliador. Uma pequena atualização de versão pode deslocar a distribuição das pontuações, pelo que a calibração não é uma tarefa única.

O padrão híbrido

Uma configuração fiável não depende apenas de um avaliador. Combina três tipos de verificação, começando pela opção mais barata.

  • As métricas determinísticas tratam de tudo o que conseguem (rótulos, esquema, factos obrigatórios).
  • O avaliador LLM pontua apenas as qualidades abertas que ficam por avaliar.
  • Uma pessoa verifica uma amostra dos veredictos do avaliador para garantir que se mantém fiável.

Cada camada cobre o ponto cego da anterior. O avaliador é uma camada intermédia poderosa, não a totalidade do sistema.

Erros comuns

A maioria dos avaliadores pouco fiáveis tem algumas causas em comum.

Entre as mais frequentes:

  • Utilizar o mesmo modelo para gerar e avaliar, o que incorpora a autopreferência.
  • Escrever uma rubrica vaga, levando o avaliador a pontuar com base em pressupostos ocultos.
  • Executar a avaliação comparativa numa única ordem, deixando por detetar o enviesamento de posição.
  • Nunca calibrar com avaliações humanas, pelo que não é possível dizer se o avaliador está correto.

Corrija estes problemas separando o avaliador do modelo em teste, escrevendo uma rubrica explícita, trocando sempre a ordem e auditando os resultados com rótulos humanos.

Fontes

Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (NeurIPS 2023). O paradigma LLM como avaliador, a concordância superior a 80% com as preferências humanas e os enviesamentos de posição, verbosidade e autopreferência.

Perguntas frequentes

O que é LLM como avaliador?

Utilizar um modelo de linguagem para avaliar a saída de outro segundo uma rubrica, em aspetos que não podem ser captados por uma correspondência exata, como a utilidade, o tom ou a fidelidade.

Posso utilizar o mesmo modelo para gerar e avaliar?

Não. Um avaliador favorece as saídas da sua própria família de modelos (enviesamento de autopreferência), pelo que avaliar o seu próprio modelo infla a pontuação. Utilize um avaliador de outra família.

Como posso impedir o enviesamento de posição?

Execute cada comparação comparativa nas duas ordens e aceite apenas um veredicto que se mantenha em ambas. Se mudar apenas por causa da ordem, considere-o um empate.

Ponha este guia em prática com Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e consulte a documentação da Ailoot para começar.