# Como utilizar LLM como avaliador

> Use um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.

Source: https://ailoot.ai/blog/pt-pt/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/pt-pt/how-to-use-llm-as-a-judge/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-859f214550fb36bd51160f24dfd796a1e756d129311217a71ae2c778db349a50


Use um modelo para avaliar outro segundo uma rubrica. Saiba mais sobre avaliação pontual e comparativa, enviesamentos comuns e formas de os controlar.

## O que é LLM como avaliador?

LLM como avaliador consiste em utilizar um modelo de linguagem para avaliar a saída de outro modelo segundo critérios definidos por si. Em vez de comparar cadeias de caracteres, o avaliador analisa a saída e devolve uma pontuação ou um veredicto.

O paradigma foi formalizado por Zheng et al. em 2023, que concluíram que um modelo robusto concordava com as preferências humanas em mais de 80% das vezes — aproximadamente a mesma frequência com que duas pessoas concordam entre si. Essa é a promessa: avaliação semelhante à humana à escala e ao custo das máquinas.

O problema é que o avaliador é um modelo e, por isso, herda as particularidades de um modelo. Se for utilizado sem cuidado, produz pontuações confiantes que medem o que não devem.

## Quando utilizar e quando não utilizar

Um avaliador é a ferramenta certa para avaliar qualidade em aberto, difícil de pontuar com exatidão. É a ferramenta errada quando bastaria uma verificação determinística mais barata.

Utilize um avaliador para analisar a utilidade, o tom, a coerência, a fidelidade a uma fonte ou para decidir «qual destas duas respostas é melhor». Não o utilize em aspetos já abrangidos por uma métrica programática: rótulos, valores exatos, validade do esquema ou presença de um facto obrigatório.

Regra prática: comece por tentar tornar a verificação determinística. Só quando isso for realmente impossível deve delegar a decisão num avaliador.

## Avaliação pontual vs. comparativa

Há duas formas de pedir a um avaliador que atribua uma pontuação, e cada uma serve para tarefas diferentes.

| Modo | A pergunta | Mais adequado para | Ponto fraco |
|----|----|----|----|
| **Pontual** | «Avalie esta saída de 1 a 5 segundo a rubrica.» | Pontuações absolutas num painel ou numa condição de CI | A calibração sofre desvios; é difícil comparar pontuações entre execuções |
| **Comparativa** | «Qual é melhor, A ou B?» | Comparar dois prompts ou dois modelos | Escolhe um vencedor, não uma pontuação absoluta; é sensível à ordem |

A avaliação comparativa costuma estar mais próxima da avaliação humana, porque a comparação relativa é mais fácil do que a calibração absoluta. Recorra a ela quando estiver a testar uma alteração com A/B e utilize a avaliação pontual quando precisar de um valor independente.

## Escreva o prompt do avaliador

A qualidade do avaliador depende da rubrica. Um prompt vago deixa o modelo recorrer a pressupostos sem fundamento; por isso, explicite os critérios e peça ao avaliador que justifique a avaliação antes de atribuir a pontuação.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Há dois pormenores importantes. Pedir um raciocínio passo a passo antes do veredicto (um prompt do tipo chain-of-thought) melhora a concordância com a avaliação humana. E a instrução explícita «do not reward length or style» combate diretamente um enviesamento abordado a seguir.

## Os quatro enviesamentos que tem de controlar

Um avaliador não é um oráculo neutro. A investigação documentou enviesamentos consistentes; são características do método e não podem ser totalmente eliminados com prompts.

| Enviesamento | O que acontece | Como o atenuar |
|----|----|----|
| **Enviesamento de posição** | Na avaliação comparativa, a resposta na posição A vence mais vezes do que seria de esperar ao acaso | Execute a avaliação nas duas ordens (A/B e B/A) e confie apenas num veredicto que coincida nas duas |
| **Enviesamento para a verbosidade** | As respostas mais longas obtêm pontuações superiores, mesmo quando têm a mesma qualidade | Penalize o comprimento na rubrica ou utilize taxas de vitória com comprimento controlado |
| **Autopreferência** | O avaliador favorece saídas da sua própria família de modelos | Utilize um avaliador de uma família diferente da do modelo em teste |
| **Enviesamento de formato** | O avaliador prefere o formato de que gosta (prosa em vez de JSON, por exemplo) | Indique o formato exigido na rubrica e avalie o conteúdo, não a forma |

O mais importante é o enviesamento de posição, porque é fácil de detetar no código e corrompe silenciosamente todas as comparações comparativas que executar.

## Controle o enviesamento de posição no código

A solução para o enviesamento de posição é simples: avalie cada par duas vezes, trocando a ordem das respostas, e declare um vencedor apenas quando o veredicto se mantiver nas duas ordens. Se mudar apenas por causa da ordem, o avaliador está a adivinhar.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Cole este código em `debias.py` e execute `python debias.py`. O resultado será exatamente:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

A correção do enviesamento funcionou. Detetou o avaliador enviesado e recusou-se a declarar um vencedor, enquanto aceitou o veredicto estável do avaliador imparcial. Para utilizar um avaliador real, substitua `judge` por uma função que invoque um LLM com o prompt de rubrica acima e devolva «A» ou «B».

## Audite o seu avaliador

Antes de confiar num avaliador em produção, meça o seu desempenho. Um avaliador que não foi auditado é uma métrica que não pode defender.

Crie um pequeno conjunto de calibração com casos cujos veredictos corretos sejam conhecidos, idealmente rotulados por pessoas. Execute o avaliador e verifique dois aspetos: com que frequência concorda com os rótulos humanos e com que frequência o veredicto de um par se altera quando troca a ordem. Uma taxa de inversão superior a cerca de 5% significa que o enviesamento de posição continua a influenciar os resultados.

Repita esta auditoria sempre que alterar o modelo do avaliador. Uma pequena atualização de versão pode deslocar a distribuição das pontuações, pelo que a calibração não é uma tarefa única.

## O padrão híbrido

Uma configuração fiável não depende apenas de um avaliador. Combina três tipos de verificação, começando pela opção mais barata.

- As métricas determinísticas tratam de tudo o que conseguem (rótulos, esquema, factos obrigatórios).
- O avaliador LLM pontua apenas as qualidades abertas que ficam por avaliar.
- Uma pessoa verifica uma amostra dos veredictos do avaliador para garantir que se mantém fiável.

Cada camada cobre o ponto cego da anterior. O avaliador é uma camada intermédia poderosa, não a totalidade do sistema.

## Erros comuns

A maioria dos avaliadores pouco fiáveis tem algumas causas em comum.

Entre as mais frequentes:

- Utilizar o mesmo modelo para gerar e avaliar, o que incorpora a autopreferência.
- Escrever uma rubrica vaga, levando o avaliador a pontuar com base em pressupostos ocultos.
- Executar a avaliação comparativa numa única ordem, deixando por detetar o enviesamento de posição.
- Nunca calibrar com avaliações humanas, pelo que não é possível dizer se o avaliador está correto.

Corrija estes problemas separando o avaliador do modelo em teste, escrevendo uma rubrica explícita, trocando sempre a ordem e auditando os resultados com rótulos humanos.

## Fontes

Zheng et al., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). O paradigma LLM como avaliador, a concordância superior a 80% com as preferências humanas e os enviesamentos de posição, verbosidade e autopreferência.

<div class="section">

## Perguntas frequentes

O que é LLM como avaliador?

Utilizar um modelo de linguagem para avaliar a saída de outro segundo uma rubrica, em aspetos que não podem ser captados por uma correspondência exata, como a utilidade, o tom ou a fidelidade.

Posso utilizar o mesmo modelo para gerar e avaliar?

Não. Um avaliador favorece as saídas da sua própria família de modelos (enviesamento de autopreferência), pelo que avaliar o seu próprio modelo infla a pontuação. Utilize um avaliador de outra família.

Como posso impedir o enviesamento de posição?

Execute cada comparação comparativa nas duas ordens e aceite apenas um veredicto que se mantenha em ambas. Se mudar apenas por causa da ordem, considere-o um empate.

</div>

## Ponha este guia em prática com Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e consulte a [documentação da Ailoot](https://ailoot.ai/docs/) para começar.


## Ailoot · A empresa e a sua carteira de projetos

A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.

A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.

A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.
