# Como avaliar um router de LLM para produção

> Um guia baseado em fontes para avaliar decisões de encaminhamento, mudanças no tipo de tarefa, efeitos da cache de prompts, observabilidade, credenciais e implementação em produção.

Source: https://ailoot.ai/blog/pt-pt/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/pt-pt/evaluate-llm-router-production/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-be61738e8777d80c6ef8da084974181f16426913bfed3519f22fdbf05a66d956


## Como escolher um para a sua carga de trabalho?

**1. Registe os campos que determinam tudo:** Por chamada: modelo, tokens de entrada, tokens de entrada em cache, tokens de escrita na cache, tokens de saída, latência, tipo de tarefa e se o resultado foi aceite ou se houve uma nova tentativa. O campo dos tokens de entrada em cache é aquele que as equipas ignoram e que determina se o encaminhamento pode sequer ajudá-lo. Uma semana de recolha destes dados custa uma tarde de instrumentação.

**2. Calcule o limite máximo antes de começar a procurar:** A poupança máxima é S = f x (1 - r), em que f é a percentagem de chamadas que podem deixar de usar o modelo de topo e r é o custo do modelo mais barato como fração do custo do modelo de topo. Ambos os valores resultam do primeiro passo. Em vez disso, dedique o tempo à cache de prompts, aos endpoints de processamento em lote e ao nível de esforço de raciocínio.

**3. Crie um conjunto de referência com base no seu próprio tráfego, para cada classe de tarefas:** Cinquenta a duzentos pedidos reais com resultados corretos conhecidos, recolhidos dos seus registos em vez de escritos manualmente. Este artefacto torna concreta qualquer conversa posterior com um fornecedor. Sem ele, está a comparar material de marketing.

**4. Teste as duas condições que preveem o comportamento em produção:** Primeiro, execute o router em modo shadow sobre o tráfego em direto e compare o custo encaminhado com uma linha de base que use apenas o modelo de topo, calculada com a cache aquecida — é a única comparação justa. Segundo — e este é o passo que ninguém dá — reserve uma classe de tarefas que o router nunca tenha visto e avalie-o nessa classe. A secção 2 explica porquê. Um router que parece funcionar bem no conjunto de calibração, mas falha numa nova área funcional, não dará qualquer sinal de aviso.

**5. Condicione a implementação à avaliação e continue a executá-la:** Exija que o modelo mais barato ultrapasse um limiar definido para cada classe de tarefas antes de essa classe poder ser encaminhada. Depois, mantenha o processo em execução, porque as versões dos modelos mudam e um router calibrado em março descreve um conjunto de modelos que já não existe.

## O que distingue um router de LLM para produção de uma demonstração?

### 1. Otimalidade, não a poupança destacada

Um valor de poupança sem um valor de qualidade ao lado é apenas meia frase.

A otimalidade é o eixo que ninguém promove, mas é o que determina a sua fatura. Indica com que frequência o router escolheu o modelo mais barato que ainda respondeu corretamente. Um router pode apresentar um bom valor de precisão e, ainda assim, desperdiçar dinheiro.

Peça a qualquer fornecedor o rácio de seleção ótima. Se não o conseguir apresentar, não mediu aquilo por que está a pagar.

### 2. Capacidade de resistir a mudanças no tipo de tarefa

Compre o router que já tenha visto tráfego semelhante ao seu e exija que lhe mostrem um resultado numa distribuição para a qual não tenha sido ajustado.

### 3. O que faz quando a cache está aquecida

Um router só é tão bom quanto o mecanismo que o sustenta.

[A Anthropic publica os multiplicadores](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): uma leitura da cache custa 0.1x o custo base de entrada, uma escrita na cache com duração de cinco minutos custa 1.25x e uma escrita com duração de uma hora custa 2x. Assim, uma mudança de modelo durante uma conversa custa aproximadamente doze vezes mais do que teria custado manter o modelo atual com o mesmo prefixo, e só compensa se o novo modelo mantiver a sessão.

Estes valores são conciliáveis. O fornecedor mantém o prefixo abandonado aquecido na cache, pelo que regressar é barato; a parte dispendiosa é a escrita na cache do modelo para o qual mudou. A rentabilidade desta troca depende do comprimento dos seus prefixos e da frequência com que regressa. Ninguém pode responder por si, e esse é precisamente o ponto.

### 4. Onde fica o limite do encaminhamento

Um router que volta a decidir em cada turno toma uma decisão sem dispor da informação necessária e paga uma escrita na cache sempre que muda de ideias.

Os bons limites de encaminhamento são aqueles que uma sessão não atravessa no sentido inverso: uma subtarefa inteira, uma fase distinta, uma tarefa em segundo plano.

### 5. Se consegue ver e substituir a decisão

Quando a qualidade da saída diminui, um engenheiro precisa de responder rapidamente a uma pergunta: mudou o modelo ou fui eu? Um router que regista que modelo escolheu, porquê e quanto custou pode ser depurado. Um que não o faça é uma fonte de regressões misteriosas.

Exija um campo de modelo por pedido, um campo de custo por pedido e uma opção de substituição.

### 6. O alcance do impacto, porque o router guarda as suas chaves

Um router faz parte do percurso das credenciais por definição. Tem chaves dos fornecedores e, numa implementação self-hosted, pode também ter credenciais da cloud. Isso torna-o uma dependência de elevado valor. Ao avaliar um router, pergunte como é distribuído, se as versões são assinadas, se o processo de implementação fixa as dependências e a que dados pode aceder no anfitrião. Self-hosted não é automaticamente mais seguro do que uma solução gerida; está exposto de outra forma.

### 7. Quem será responsável por ele daqui a dezoito meses

É uma razão para perguntar, durante a chamada de avaliação, qual é o plano de desenvolvimento sob a propriedade atual e qual é o percurso de migração caso o desenvolvimento pare.

## Quando não deve usar um router de LLM?

**Quando o seu tráfego é uniformemente difícil:** A poupança do encaminhamento acompanha o grau de heterogeneidade do seu tráfego, não o grau de inteligência do router.

## O que fazer a seguir?

Já conhece as duas perguntas que distinguem um router que funcionará de um que fará boa figura numa demonstração: qual é o seu rácio de seleção ótima e o que acontece quando muda o tipo de tarefa.

Comece pelo primeiro passo. Acrescente os tokens de entrada em cache e o tipo de tarefa aos registos dos pedidos e deixe a recolha a decorrer durante uma semana. Esse único campo permite obter um valor real para f em vez de uma estimativa.

## Perguntas frequentes

### O que é um router de LLM?

Um router de LLM é uma camada de decisão entre a sua aplicação e um conjunto de modelos que encaminha cada pedido para o modelo com maior probabilidade de o concluir de forma aceitável ao menor custo. Os routers anteriores à geração decidem apenas com base no prompt; os routers em cascata deixam primeiro um modelo barato responder e escalam o pedido quando um avaliador rejeita a resposta. Atualmente, a maioria dos sistemas de produção combina ambos.

### Os routers de LLM poupam realmente dinheiro?

Sim, mas muito menos do que os valores destacados sugerem, e a quantia depende do seu tráfego, não do router. Calcule S = f x (1 - r) com base nos seus próprios registos antes de acreditar nos valores de qualquer fornecedor.

### Qual é a diferença entre um router de LLM e um gateway de IA?

Um gateway oferece um endpoint único, comutação por falha, gestão de chaves, orçamentos e observabilidade entre vários fornecedores. Um router decide qual o modelo que processa um determinado pedido. Atualmente, a maioria dos gateways inclui um router, mas as duas capacidades são independentes.

### Posso criar o meu próprio router de LLM em vez de comprar um?

Pode, e o trabalho de medição é idêntico em ambos os casos, por isso comece por executar os passos um a três da sequência acima. Se o criar, comece com uma tabela de consulta por tipo de tarefa. Só acrescente um classificador treinado quando essa solução de base ficar comprovadamente aquém do necessário.

### Mudar de modelo interrompe a cache de prompts?

Mudar de modelo implica uma escrita na cache do novo modelo, faturada a 1.25x o custo base de entrada para um TTL de cinco minutos, em comparação com 0.1x pela leitura da cache que abandonou. A troca depende do comprimento do prefixo e da frequência com que regressa, por isso meça-a com o seu próprio tráfego.

## Ponha este guia em prática com Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API Ailoot. Escolha o modelo adequado à sua tarefa e siga a [documentação da Ailoot](https://ailoot.ai/docs/) para começar.


## Ailoot · A empresa e a sua carteira de projetos

A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.

A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.

A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.
