# Come usare LLM-as-a-Judge

> Usa un modello per valutare un altro secondo una rubrica. Scopri la valutazione puntuale e a coppie, i pregiudizi più comuni e come controllarli.

Source: https://ailoot.ai/blog/it/how-to-use-llm-as-a-judge/
Canonical: https://ailoot.ai/blog/it/how-to-use-llm-as-a-judge/
Language: it
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100048
Revision: sha256-2b5a20e1f255ac219a45abf210661881019a70466ebc8470ea24beba8213ea98


Usa un modello per valutare un altro secondo una rubrica. Scopri la valutazione puntuale e a coppie, i pregiudizi più comuni e come controllarli.

## Che cos'è LLM-as-a-judge?

LLM-as-a-judge consiste nell'usare un modello linguistico per valutare l'output di un altro modello secondo criteri definiti da te. Invece di confrontare stringhe, il giudice legge l'output e restituisce un punteggio o un verdetto.

Il paradigma è stato formalizzato da Zheng et al. nel 2023, che hanno rilevato come un modello potente concordasse con le preferenze umane oltre l'80% delle volte, all'incirca la stessa frequenza con cui due persone concordano tra loro. Questa è la promessa: un giudizio simile a quello umano su scala e a costi da macchina.

Il punto è che il giudice è un modello, quindi eredita le particolarità dei modelli. Se usato senza attenzione, produce punteggi sicuri di sé che misurano la cosa sbagliata.

## Quando usarlo e quando no

Un giudice è lo strumento giusto per valutare qualità aperte che resistono a una misurazione esatta. È lo strumento sbagliato quando basta un controllo deterministico più economico.

Usa un giudice per valutare utilità, tono, coerenza, fedeltà a una fonte o «quale di queste due risposte è migliore». Evitalo per tutto ciò che una metrica programmatica già copre: etichette, valori esatti, validità dello schema o presenza di un fatto richiesto.

Regola pratica: prova prima a rendere il controllo deterministico. Affida la decisione a un giudice solo quando davvero non puoi fare altrimenti.

## Valutazione puntuale e a coppie

Ci sono due modi per chiedere a un giudice di assegnare un punteggio, adatti a compiti diversi.

| Modalità | La domanda | Ideale per | Punto debole |
|----|----|----|----|
| **Puntuale** | «Valuta questo output da 1 a 5 secondo la rubrica.» | Punteggi assoluti per una dashboard o un controllo CI | La calibrazione si sposta; è difficile confrontare i punteggi tra diverse esecuzioni |
| **A coppie** | «Quale è migliore, A o B?» | Confrontare due prompt o due modelli | Indica un vincitore, non un punteggio assoluto; è sensibile all'ordine |

La valutazione a coppie di solito concorda più da vicino con le persone, perché il confronto relativo è più facile della calibrazione assoluta. Sceglila quando testi una modifica con un test A/B e usa quella puntuale quando ti serve un numero autonomo.

## Scrivi il prompt del giudice

Un giudice è valido solo quanto la sua rubrica. Un prompt vago lascia spazio alle supposizioni non ancorate del modello: esplicita i criteri e chiedi al giudice di ragionare prima di assegnare il punteggio.

```
You are evaluating an answer to a user question. Judge ONLY against the rubric.
Rubric:
- Correctness: does the answer match the reference facts?
- Completeness: does it cover what the question asked?
- Groundedness: are claims supported, with no invented details?
Question: {question}
Reference: {reference}
Answer: {answer}
First, reason step by step about each rubric criterion in 1-2 sentences.
Then output a JSON verdict: {"correctness": 0-1, "completeness": 0-1,
"groundedness": 0-1, "pass": true/false}. Do not reward length or style.
```

Due dettagli sono importanti. Chiedere di ragionare passo dopo passo prima del verdetto (un prompt chain-of-thought) migliora la concordanza con le persone. Inoltre, la frase esplicita «non premiare la lunghezza o lo stile» contrasta direttamente un pregiudizio descritto nella sezione successiva.

## I quattro pregiudizi da gestire

Un giudice non è un oracolo neutrale. La ricerca ha documentato pregiudizi ricorrenti: sono proprietà del metodo, non problemi che si possano eliminare del tutto con un prompt.

| Pregiudizio | Cosa succede | Mitigazione |
|----|----|----|
| **Pregiudizio di posizione** | Nelle valutazioni a coppie, la risposta nello slot A vince più spesso di quanto avverrebbe per caso | Esegui entrambi gli ordini (A/B e B/A) e considera attendibile solo un verdetto concorde |
| **Pregiudizio di verbosità** | Le risposte più lunghe ottengono punteggi più alti anche a parità di qualità | Penalizza la lunghezza nella rubrica oppure usa tassi di vittoria controllati per lunghezza |
| **Autopreferenza** | Un giudice favorisce gli output della propria famiglia di modelli | Usa un giudice di una famiglia diversa da quella del modello sottoposto al test |
| **Pregiudizio di formato** | Il giudice preferisce il formato che predilige (prosa anziché JSON, ecc.) | Indica il formato richiesto nella rubrica e valuta il contenuto, non la forma |

Il più importante è il pregiudizio di posizione, perché è facile da rilevare nel codice e altera silenziosamente ogni confronto a coppie che esegui.

## Controlla nel codice il pregiudizio di posizione

La correzione è semplice: valuta ogni coppia due volte, invertendo l'ordine degli output, e dichiara un vincitore solo se il verdetto è concorde in entrambi i casi. Se cambia solo per via dell'ordine, il giudice sta indovinando.

```
# debias.py
def pairwise_debiased(x: str, y: str, judge) -> str:
    """Run the judge in both orderings. Trust the result only if it agrees."""
    first = judge(x, y)    # x in slot A
    second = judge(y, x)   # y in slot A
    x_wins = first == "A" and second == "B"
    y_wins = first == "B" and second == "A"
    if x_wins:
        return "x"
    if y_wins:
        return "y"
    return "tie/uncertain (verdict flipped on order)"
# A deliberately position-biased judge stub: it always picks slot A.
# Real judges show a smaller version of this; we exaggerate to prove the control works.
def biased_judge(a: str, b: str) -> str:
    return "A"
# A fair judge that decides on a real signal (here, conciseness) regardless of slot.
def fair_judge(a: str, b: str) -> str:
    return "A" if len(a) <= len(b) else "B"
print("biased:", pairwise_debiased("short answer", "a much longer answer", biased_judge))
print("fair:  ", pairwise_debiased("short answer", "a much longer answer", fair_judge))
```

Incolla questo codice in `debias.py` ed esegui `python debias.py`. Otterrai esattamente:

```
biased: tie/uncertain (verdict flipped on order)
fair:   x
```

La correzione del pregiudizio ha funzionato. Ha individuato il giudice distorto e ha rifiutato di dichiarare un vincitore, mentre ha accettato il verdetto stabile del giudice imparziale. Per usare un giudice reale, sostituisci `judge` con una funzione che chiama un LLM usando il prompt della rubrica qui sopra e restituisce «A» o «B».

## Verifica il tuo giudice

Prima di fidarti di un giudice in produzione, misuralo. Un giudice che non hai verificato è una metrica che non puoi difendere.

Crea un piccolo insieme di calibrazione con casi dai verdetti corretti noti, idealmente etichettati da persone. Esegui il giudice e controlla due cose: quanto spesso concorda con le etichette umane e quanto spesso un verdetto a coppie cambia quando inverti l'ordine. Un tasso di inversione superiore a circa il 5% indica che il pregiudizio di posizione continua a influenzare i risultati.

Ripeti questa verifica ogni volta che cambi il modello del giudice. Un piccolo aumento di versione può modificare la distribuzione dei punteggi, quindi la calibrazione non è un'attività da fare una sola volta.

## Il modello ibrido

Una configurazione affidabile non si basa solo su un giudice. Combina tre tipi di controllo, partendo dal meno costoso.

- Le metriche deterministiche gestiscono tutto ciò che possono (etichette, schema, fatti richiesti).
- Il giudice LLM valuta solo le qualità aperte rimanenti.
- Una persona verifica a campione alcuni verdetti del giudice per mantenerlo onesto.

Ogni livello copre il punto cieco del precedente. Il giudice è un potente livello intermedio, non l'intero sistema.

## Errori comuni

La maggior parte dei giudici inaffidabili presenta alcune cause ricorrenti.

Le più frequenti:

- Usare lo stesso modello come generatore e giudice, incorporando così l'autopreferenza.
- Scrivere una rubrica vaga, lasciando che il giudice valuti secondo supposizioni nascoste.
- Eseguire la valutazione a coppie in un solo ordine, senza rilevare il pregiudizio di posizione.
- Non calibrare mai il giudice confrontandolo con le persone, quindi non poter dire se ha ragione.

Rimedia separando il giudice dal modello sottoposto al test, scrivendo una rubrica esplicita, invertendo sempre l'ordine e verificando i risultati rispetto alle etichette umane.

## Fonti

Zheng et al., *Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena* (NeurIPS 2023). Il paradigma LLM-as-a-judge, la concordanza superiore all'80% con le preferenze umane e i pregiudizi di posizione, verbosità e autoesaltazione.

<div class="section">

## Domande frequenti

Che cos'è LLM-as-a-judge?

L'uso di un modello linguistico per assegnare un punteggio all'output di un altro secondo una rubrica, valutando qualità che il confronto esatto non riesce a cogliere, come utilità, tono o fedeltà.

Posso usare lo stesso modello per generare e valutare?

No. Un giudice favorisce gli output della propria famiglia di modelli (pregiudizio di autopreferenza), quindi valutare il proprio modello ne gonfia il punteggio. Usa un giudice di una famiglia diversa.

Come posso fermare il pregiudizio di posizione?

Esegui ogni confronto a coppie in entrambi gli ordini e accetta solo un verdetto che resta invariato in entrambi i casi. Se cambia solo per via dell'ordine, consideralo un pareggio.

</div>

## Metti in pratica questa guida con Ailoot

Collega i modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un'unica API Ailoot. Scegli il modello più adatto al tuo compito e consulta la [documentazione Ailoot](https://ailoot.ai/docs/) per iniziare.


## Ailoot · L’azienda e il suo portafoglio di progetti

Ailoot si basa su un’esperienza operativa consolidata, un’ampia base di clienti, un servizio stabile e un controllo costante dei KPI.

L’azienda e il suo portafoglio di progetti: milioni di clienti; vendite nell’ordine dei miliardi ogni mese.

Ailoot mette questa esperienza operativa al servizio dell’accesso API alle funzioni AI nei prodotti dei clienti, negli agenti, nelle applicazioni e nelle automazioni.
