Blogue

Como avaliar um router de LLM para produção

Markdown

Um guia baseado em fontes para avaliar decisões de encaminhamento, mudanças no tipo de tarefa, efeitos da cache de prompts, observabilidade, credenciais e implementação em produção.

Como escolher um para a sua carga de trabalho?

1. Registe os campos que determinam tudo: Por chamada: modelo, tokens de entrada, tokens de entrada em cache, tokens de escrita na cache, tokens de saída, latência, tipo de tarefa e se o resultado foi aceite ou se houve uma nova tentativa. O campo dos tokens de entrada em cache é aquele que as equipas ignoram e que determina se o encaminhamento pode sequer ajudá-lo. Uma semana de recolha destes dados custa uma tarde de instrumentação.

2. Calcule o limite máximo antes de começar a procurar: A poupança máxima é S = f x (1 - r), em que f é a percentagem de chamadas que podem deixar de usar o modelo de topo e r é o custo do modelo mais barato como fração do custo do modelo de topo. Ambos os valores resultam do primeiro passo. Em vez disso, dedique o tempo à cache de prompts, aos endpoints de processamento em lote e ao nível de esforço de raciocínio.

3. Crie um conjunto de referência com base no seu próprio tráfego, para cada classe de tarefas: Cinquenta a duzentos pedidos reais com resultados corretos conhecidos, recolhidos dos seus registos em vez de escritos manualmente. Este artefacto torna concreta qualquer conversa posterior com um fornecedor. Sem ele, está a comparar material de marketing.

4. Teste as duas condições que preveem o comportamento em produção: Primeiro, execute o router em modo shadow sobre o tráfego em direto e compare o custo encaminhado com uma linha de base que use apenas o modelo de topo, calculada com a cache aquecida — é a única comparação justa. Segundo — e este é o passo que ninguém dá — reserve uma classe de tarefas que o router nunca tenha visto e avalie-o nessa classe. A secção 2 explica porquê. Um router que parece funcionar bem no conjunto de calibração, mas falha numa nova área funcional, não dará qualquer sinal de aviso.

5. Condicione a implementação à avaliação e continue a executá-la: Exija que o modelo mais barato ultrapasse um limiar definido para cada classe de tarefas antes de essa classe poder ser encaminhada. Depois, mantenha o processo em execução, porque as versões dos modelos mudam e um router calibrado em março descreve um conjunto de modelos que já não existe.

O que distingue um router de LLM para produção de uma demonstração?

1. Otimalidade, não a poupança destacada

Um valor de poupança sem um valor de qualidade ao lado é apenas meia frase.

A otimalidade é o eixo que ninguém promove, mas é o que determina a sua fatura. Indica com que frequência o router escolheu o modelo mais barato que ainda respondeu corretamente. Um router pode apresentar um bom valor de precisão e, ainda assim, desperdiçar dinheiro.

Peça a qualquer fornecedor o rácio de seleção ótima. Se não o conseguir apresentar, não mediu aquilo por que está a pagar.

2. Capacidade de resistir a mudanças no tipo de tarefa

Compre o router que já tenha visto tráfego semelhante ao seu e exija que lhe mostrem um resultado numa distribuição para a qual não tenha sido ajustado.

3. O que faz quando a cache está aquecida

Um router só é tão bom quanto o mecanismo que o sustenta.

A Anthropic publica os multiplicadores: uma leitura da cache custa 0.1x o custo base de entrada, uma escrita na cache com duração de cinco minutos custa 1.25x e uma escrita com duração de uma hora custa 2x. Assim, uma mudança de modelo durante uma conversa custa aproximadamente doze vezes mais do que teria custado manter o modelo atual com o mesmo prefixo, e só compensa se o novo modelo mantiver a sessão.

Estes valores são conciliáveis. O fornecedor mantém o prefixo abandonado aquecido na cache, pelo que regressar é barato; a parte dispendiosa é a escrita na cache do modelo para o qual mudou. A rentabilidade desta troca depende do comprimento dos seus prefixos e da frequência com que regressa. Ninguém pode responder por si, e esse é precisamente o ponto.

4. Onde fica o limite do encaminhamento

Um router que volta a decidir em cada turno toma uma decisão sem dispor da informação necessária e paga uma escrita na cache sempre que muda de ideias.

Os bons limites de encaminhamento são aqueles que uma sessão não atravessa no sentido inverso: uma subtarefa inteira, uma fase distinta, uma tarefa em segundo plano.

5. Se consegue ver e substituir a decisão

Quando a qualidade da saída diminui, um engenheiro precisa de responder rapidamente a uma pergunta: mudou o modelo ou fui eu? Um router que regista que modelo escolheu, porquê e quanto custou pode ser depurado. Um que não o faça é uma fonte de regressões misteriosas.

Exija um campo de modelo por pedido, um campo de custo por pedido e uma opção de substituição.

6. O alcance do impacto, porque o router guarda as suas chaves

Um router faz parte do percurso das credenciais por definição. Tem chaves dos fornecedores e, numa implementação self-hosted, pode também ter credenciais da cloud. Isso torna-o uma dependência de elevado valor. Ao avaliar um router, pergunte como é distribuído, se as versões são assinadas, se o processo de implementação fixa as dependências e a que dados pode aceder no anfitrião. Self-hosted não é automaticamente mais seguro do que uma solução gerida; está exposto de outra forma.

7. Quem será responsável por ele daqui a dezoito meses

É uma razão para perguntar, durante a chamada de avaliação, qual é o plano de desenvolvimento sob a propriedade atual e qual é o percurso de migração caso o desenvolvimento pare.

Quando não deve usar um router de LLM?

Quando o seu tráfego é uniformemente difícil: A poupança do encaminhamento acompanha o grau de heterogeneidade do seu tráfego, não o grau de inteligência do router.

O que fazer a seguir?

Já conhece as duas perguntas que distinguem um router que funcionará de um que fará boa figura numa demonstração: qual é o seu rácio de seleção ótima e o que acontece quando muda o tipo de tarefa.

Comece pelo primeiro passo. Acrescente os tokens de entrada em cache e o tipo de tarefa aos registos dos pedidos e deixe a recolha a decorrer durante uma semana. Esse único campo permite obter um valor real para f em vez de uma estimativa.

Perguntas frequentes

O que é um router de LLM?

Um router de LLM é uma camada de decisão entre a sua aplicação e um conjunto de modelos que encaminha cada pedido para o modelo com maior probabilidade de o concluir de forma aceitável ao menor custo. Os routers anteriores à geração decidem apenas com base no prompt; os routers em cascata deixam primeiro um modelo barato responder e escalam o pedido quando um avaliador rejeita a resposta. Atualmente, a maioria dos sistemas de produção combina ambos.

Os routers de LLM poupam realmente dinheiro?

Sim, mas muito menos do que os valores destacados sugerem, e a quantia depende do seu tráfego, não do router. Calcule S = f x (1 - r) com base nos seus próprios registos antes de acreditar nos valores de qualquer fornecedor.

Qual é a diferença entre um router de LLM e um gateway de IA?

Um gateway oferece um endpoint único, comutação por falha, gestão de chaves, orçamentos e observabilidade entre vários fornecedores. Um router decide qual o modelo que processa um determinado pedido. Atualmente, a maioria dos gateways inclui um router, mas as duas capacidades são independentes.

Posso criar o meu próprio router de LLM em vez de comprar um?

Pode, e o trabalho de medição é idêntico em ambos os casos, por isso comece por executar os passos um a três da sequência acima. Se o criar, comece com uma tabela de consulta por tipo de tarefa. Só acrescente um classificador treinado quando essa solução de base ficar comprovadamente aquém do necessário.

Mudar de modelo interrompe a cache de prompts?

Mudar de modelo implica uma escrita na cache do novo modelo, faturada a 1.25x o custo base de entrada para um TTL de cinco minutos, em comparação com 0.1x pela leitura da cache que abandonou. A troca depende do comprimento do prefixo e da frequência com que regressa, por isso meça-a com o seu próprio tráfego.

Ponha este guia em prática com Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.