# Come valutare un router LLM per la produzione

> Guida basata sulle fonti per valutare le decisioni di instradamento, i cambiamenti di attività, gli effetti della cache dei prompt, l’osservabilità, le credenziali e il rilascio in produzione.

Source: https://ailoot.ai/blog/it/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/it/evaluate-llm-router-production/
Language: it
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-f4f8afb6fa2c65fb66ef70e24b706ee878251f7370cbee207265b80b6a086056


## Come scegliere quello giusto per il proprio carico di lavoro?

**1. Registra i campi che determinano tutto:** Per ogni chiamata: modello, token di input, token di input letti dalla cache, token scritti nella cache, token di output, latenza, tipo di attività e indicazione se il risultato è stato accettato o se è stato effettuato un nuovo tentativo. Il campo dei token di input letti dalla cache è quello che i team trascurano e che determina se l’instradamento può esserti utile. Una settimana di raccolta di questi dati richiede un pomeriggio di strumentazione.

**2. Calcola il limite massimo prima di cercare una soluzione:** Il risparmio massimo è S = f x (1 - r), dove f è la quota di chiamate che possono essere spostate dal modello di punta e r è il costo del modello economico espresso come frazione del costo del modello di punta. Entrambi si ricavano dal primo passaggio. Dedica il tempo piuttosto alla cache dei prompt, agli endpoint batch e allo sforzo di ragionamento.

**3. Crea un set di riferimento dal tuo traffico, per ogni classe di attività:** Da cinquanta a duecento richieste reali con esiti noti e validi, estratte dai tuoi log invece di essere scritte a mano. Questo è il materiale che rende concrete tutte le conversazioni successive con un fornitore. Senza, stai confrontando il marketing.

**4. Verifica le due condizioni che predicono il comportamento in produzione:** Per prima cosa, esegui il router in modalità shadow sul traffico live e confronta la spesa dell’instradamento con una baseline in cui tutto passa dal modello di punta, calcolata con una cache calda: è l’unico confronto equo. In secondo luogo, e questo è il passaggio che nessuno fa, escludi una classe di attività che il router non ha mai visto e misurane le prestazioni. La sezione 2 spiega perché. Un router che sembra funzionare bene sul set di calibrazione ma crolla in una nuova area funzionale non te lo segnalerà.

**5. Subordina il rilascio al superamento della valutazione e continua a eseguirla:** Richiedi che il modello economico superi una soglia dichiarata per ogni classe di attività prima di consentire l’instradamento di quella classe. Poi continua a eseguire la valutazione, perché le versioni dei modelli cambiano e un router calibrato a marzo descrive una gamma di modelli che non esiste più.

## Cosa distingue un router LLM per la produzione da una demo?

### 1. Ottimalità, non il risparmio messo in evidenza

Una cifra di risparmio senza un dato sulla qualità accanto è una frase a metà.

L’ottimalità è la dimensione su cui nessuno fa marketing, ed è quella che determina la tua fattura. Indica quanto spesso il router ha scelto il modello meno costoso che ha comunque risposto correttamente. Un router può mostrare un buon dato di accuratezza mentre spreca denaro.

Chiedi a ogni fornitore il rapporto di selezione ottimale. Se non sa fornirlo, non ha misurato ciò che stai acquistando.

### 2. La tenuta quando cambia il tipo di attività

Acquista un router che abbia visto traffico simile al tuo e pretendi di vedere un risultato su una distribuzione su cui non è stato ottimizzato.

### 3. Cosa succede quando la cache è calda

Un router è valido solo quanto il meccanismo che lo sostiene.

[Anthropic pubblica i moltiplicatori](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): una lettura dalla cache costa 0.1x l’input di base, una scrittura nella cache con durata di cinque minuti costa 1.25x e una scrittura con durata di un’ora costa 2x. Quindi un cambio di modello durante una conversazione costa circa dodici volte quanto sarebbe costato restare sullo stesso prefisso, e si ripaga solo se il nuovo modello mantiene la sessione.

Questi dati sono conciliabili. Il provider mantiene caldo il prefisso abbandonato, quindi tornarci costa poco; la parte costosa è la scrittura sul modello a cui sei passato. La convenienza dipende dalla lunghezza dei tuoi prefissi e dalla frequenza con cui torni. Nessuno può rispondere al posto tuo, ed è proprio questo il punto.

### 4. Dove si trova il confine dell’instradamento

Un router che decide di nuovo a ogni turno prende una decisione senza disporre delle informazioni necessarie e paga una scrittura nella cache ogni volta che cambia idea.

I buoni confini di instradamento sono quelli che una sessione non oltrepassa in senso inverso: un’intera sottoattività, una fase distinta, un processo in background.

### 5. Se puoi vedere e sovrascrivere la decisione

Quando la qualità dell’output cala, un ingegnere deve poter rispondere rapidamente a una domanda: è cambiato il modello o sono cambiato io? Un router che registra quale modello ha scelto, perché e quanto è costato è facile da sottoporre a debug. Uno che non lo fa è una fonte di regressioni inspiegabili.

Pretendi un campo del modello per ogni richiesta, un campo del costo per ogni richiesta e la possibilità di sovrascrivere la scelta.

### 6. Raggio d’impatto, perché il router custodisce le tue chiavi

Per sua natura, un router si trova sul percorso delle credenziali. Ha le chiavi dei provider e, in una distribuzione self-hosted, può avere anche credenziali cloud. Questo lo rende una dipendenza di grande valore. Quando valuti un router, chiedi come viene distribuito, se le release sono firmate, se il percorso di distribuzione blocca le dipendenze a versioni precise e a quali dati dell’host può accedere. Il self-hosted non è automaticamente più sicuro del servizio gestito: comporta un’esposizione diversa.

### 7. Chi ne sarà responsabile tra diciotto mesi

È un buon motivo per chiedere, durante la call di valutazione, quale sia la roadmap con l’attuale proprietà e quale percorso di migrazione sia previsto se lo sviluppo si interrompe.

## Quando non dovresti usare un router LLM?

**Quando il tuo traffico è uniformemente difficile:** I risparmi dell’instradamento dipendono da quanto è eterogeneo il tuo traffico, non da quanto è intelligente il router.

## Cosa fare adesso?

Ora conosci le due domande che distinguono un router che funzionerà da uno che farà una bella demo: qual è il suo rapporto di selezione ottimale e cosa succede quando cambia il tipo di attività.

Inizia dal primo passaggio. Aggiungi ai log delle richieste i token di input letti dalla cache e il tipo di attività, poi lascia la raccolta in funzione per una settimana. Quel singolo campo fa la differenza tra un valore reale per f e una stima.

## Domande frequenti

### Cos’è un router LLM?

Un router LLM è un livello decisionale tra la tua applicazione e un insieme di modelli, che invia ogni richiesta al modello con maggiori probabilità di completarla in modo accettabile al costo più basso. I router che decidono prima della generazione scelgono basandosi solo sul prompt; i router a cascata consentono prima a un modello economico di rispondere e passano a un modello superiore quando un valutatore rifiuta la risposta. Oggi la maggior parte dei sistemi di produzione combina entrambi.

### I router LLM fanno davvero risparmiare?

Sì, ma molto meno di quanto suggeriscano le cifre messe in evidenza, e l’entità del risparmio dipende dal tuo traffico, non dal router. Calcola S = f x (1 - r) dai tuoi log prima di credere ai dati di un fornitore.

### Qual è la differenza tra un router LLM e un gateway AI?

Un gateway offre un unico endpoint, failover, gestione delle chiavi, budget e osservabilità per più provider. Un router decide quale modello gestisce una determinata richiesta. Oggi la maggior parte dei gateway include un router, ma le due funzionalità sono indipendenti.

### Posso creare il mio router LLM invece di acquistarne uno?

Sì, e il lavoro di misurazione è identico in entrambi i casi, quindi inizia dai passaggi da uno a tre della sequenza sopra. Se lo costruisci, parti da una tabella di lookup per tipo di attività. Aggiungi un classificatore appreso solo quando la baseline risulta chiaramente insufficiente.

### Cambiare modello interrompe la cache dei prompt?

Passare a un altro modello comporta una scrittura nella cache del nuovo modello, fatturata a 1.25x l’input di base con un TTL di cinque minuti, contro 0.1x per la lettura della cache abbandonata. La convenienza dipende dalla lunghezza del prefisso e dalla frequenza con cui torni, quindi misurala sul tuo traffico.

## Metti in pratica questa guida con Ailoot

Collega i modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello più adatto alla tua attività e segui la [documentazione Ailoot](https://ailoot.ai/docs/) per iniziare.


## Ailoot · L’azienda e il suo portafoglio di progetti

Ailoot si basa su un’esperienza operativa consolidata, un’ampia base di clienti, un servizio stabile e un controllo costante dei KPI.

L’azienda e il suo portafoglio di progetti: milioni di clienti; vendite nell’ordine dei miliardi ogni mese.

Ailoot mette questa esperienza operativa al servizio dell’accesso API alle funzioni AI nei prodotti dei clienti, negli agenti, nelle applicazioni e nelle automazioni.
