Como avaliar um router de LLM para produção
MarkdownUm guia baseado em fontes para avaliar decisões de encaminhamento, mudanças no tipo de tarefa, efeitos da cache de prompts, observabilidade, credenciais e implementação em produção.
Como escolher um para a sua carga de trabalho?
1. Registe os campos que determinam tudo: Por chamada: modelo, tokens de entrada, tokens de entrada em cache, tokens de escrita na cache, tokens de saída, latência, tipo de tarefa e se o resultado foi aceite ou se houve uma nova tentativa. O campo dos tokens de entrada em cache é aquele que as equipas ignoram e que determina se o encaminhamento pode sequer ajudá-lo. Uma semana de recolha destes dados custa uma tarde de instrumentação.
2. Calcule o limite máximo antes de começar a procurar: A poupança máxima é S = f x (1 - r), em que f é a percentagem de chamadas que podem deixar de usar o modelo de topo e r é o custo do modelo mais barato como fração do custo do modelo de topo. Ambos os valores resultam do primeiro passo. Em vez disso, dedique o tempo à cache de prompts, aos endpoints de processamento em lote e ao nível de esforço de raciocínio.
3. Crie um conjunto de referência com base no seu próprio tráfego, para cada classe de tarefas: Cinquenta a duzentos pedidos reais com resultados corretos conhecidos, recolhidos dos seus registos em vez de escritos manualmente. Este artefacto torna concreta qualquer conversa posterior com um fornecedor. Sem ele, está a comparar material de marketing.
4. Teste as duas condições que preveem o comportamento em produção: Primeiro, execute o router em modo shadow sobre o tráfego em direto e compare o custo encaminhado com uma linha de base que use apenas o modelo de topo, calculada com a cache aquecida — é a única comparação justa. Segundo — e este é o passo que ninguém dá — reserve uma classe de tarefas que o router nunca tenha visto e avalie-o nessa classe. A secção 2 explica porquê. Um router que parece funcionar bem no conjunto de calibração, mas falha numa nova área funcional, não dará qualquer sinal de aviso.
5. Condicione a implementação à avaliação e continue a executá-la: Exija que o modelo mais barato ultrapasse um limiar definido para cada classe de tarefas antes de essa classe poder ser encaminhada. Depois, mantenha o processo em execução, porque as versões dos modelos mudam e um router calibrado em março descreve um conjunto de modelos que já não existe.
O que distingue um router de LLM para produção de uma demonstração?
1. Otimalidade, não a poupança destacada
Um valor de poupança sem um valor de qualidade ao lado é apenas meia frase.
A otimalidade é o eixo que ninguém promove, mas é o que determina a sua fatura. Indica com que frequência o router escolheu o modelo mais barato que ainda respondeu corretamente. Um router pode apresentar um bom valor de precisão e, ainda assim, desperdiçar dinheiro.
Peça a qualquer fornecedor o rácio de seleção ótima. Se não o conseguir apresentar, não mediu aquilo por que está a pagar.
2. Capacidade de resistir a mudanças no tipo de tarefa
Compre o router que já tenha visto tráfego semelhante ao seu e exija que lhe mostrem um resultado numa distribuição para a qual não tenha sido ajustado.
3. O que faz quando a cache está aquecida
Um router só é tão bom quanto o mecanismo que o sustenta.
A Anthropic publica os multiplicadores: uma leitura da cache custa 0.1x o custo base de entrada, uma escrita na cache com duração de cinco minutos custa 1.25x e uma escrita com duração de uma hora custa 2x. Assim, uma mudança de modelo durante uma conversa custa aproximadamente doze vezes mais do que teria custado manter o modelo atual com o mesmo prefixo, e só compensa se o novo modelo mantiver a sessão.
Estes valores são conciliáveis. O fornecedor mantém o prefixo abandonado aquecido na cache, pelo que regressar é barato; a parte dispendiosa é a escrita na cache do modelo para o qual mudou. A rentabilidade desta troca depende do comprimento dos seus prefixos e da frequência com que regressa. Ninguém pode responder por si, e esse é precisamente o ponto.
4. Onde fica o limite do encaminhamento
Um router que volta a decidir em cada turno toma uma decisão sem dispor da informação necessária e paga uma escrita na cache sempre que muda de ideias.
Os bons limites de encaminhamento são aqueles que uma sessão não atravessa no sentido inverso: uma subtarefa inteira, uma fase distinta, uma tarefa em segundo plano.
5. Se consegue ver e substituir a decisão
Quando a qualidade da saída diminui, um engenheiro precisa de responder rapidamente a uma pergunta: mudou o modelo ou fui eu? Um router que regista que modelo escolheu, porquê e quanto custou pode ser depurado. Um que não o faça é uma fonte de regressões misteriosas.
Exija um campo de modelo por pedido, um campo de custo por pedido e uma opção de substituição.
6. O alcance do impacto, porque o router guarda as suas chaves
Um router faz parte do percurso das credenciais por definição. Tem chaves dos fornecedores e, numa implementação self-hosted, pode também ter credenciais da cloud. Isso torna-o uma dependência de elevado valor. Ao avaliar um router, pergunte como é distribuído, se as versões são assinadas, se o processo de implementação fixa as dependências e a que dados pode aceder no anfitrião. Self-hosted não é automaticamente mais seguro do que uma solução gerida; está exposto de outra forma.
7. Quem será responsável por ele daqui a dezoito meses
É uma razão para perguntar, durante a chamada de avaliação, qual é o plano de desenvolvimento sob a propriedade atual e qual é o percurso de migração caso o desenvolvimento pare.
Quando não deve usar um router de LLM?
Quando o seu tráfego é uniformemente difícil: A poupança do encaminhamento acompanha o grau de heterogeneidade do seu tráfego, não o grau de inteligência do router.
O que fazer a seguir?
Já conhece as duas perguntas que distinguem um router que funcionará de um que fará boa figura numa demonstração: qual é o seu rácio de seleção ótima e o que acontece quando muda o tipo de tarefa.
Comece pelo primeiro passo. Acrescente os tokens de entrada em cache e o tipo de tarefa aos registos dos pedidos e deixe a recolha a decorrer durante uma semana. Esse único campo permite obter um valor real para f em vez de uma estimativa.
Perguntas frequentes
O que é um router de LLM?
Um router de LLM é uma camada de decisão entre a sua aplicação e um conjunto de modelos que encaminha cada pedido para o modelo com maior probabilidade de o concluir de forma aceitável ao menor custo. Os routers anteriores à geração decidem apenas com base no prompt; os routers em cascata deixam primeiro um modelo barato responder e escalam o pedido quando um avaliador rejeita a resposta. Atualmente, a maioria dos sistemas de produção combina ambos.
Os routers de LLM poupam realmente dinheiro?
Sim, mas muito menos do que os valores destacados sugerem, e a quantia depende do seu tráfego, não do router. Calcule S = f x (1 - r) com base nos seus próprios registos antes de acreditar nos valores de qualquer fornecedor.
Qual é a diferença entre um router de LLM e um gateway de IA?
Um gateway oferece um endpoint único, comutação por falha, gestão de chaves, orçamentos e observabilidade entre vários fornecedores. Um router decide qual o modelo que processa um determinado pedido. Atualmente, a maioria dos gateways inclui um router, mas as duas capacidades são independentes.
Posso criar o meu próprio router de LLM em vez de comprar um?
Pode, e o trabalho de medição é idêntico em ambos os casos, por isso comece por executar os passos um a três da sequência acima. Se o criar, comece com uma tabela de consulta por tipo de tarefa. Só acrescente um classificador treinado quando essa solução de base ficar comprovadamente aquém do necessário.
Mudar de modelo interrompe a cache de prompts?
Mudar de modelo implica uma escrita na cache do novo modelo, faturada a 1.25x o custo base de entrada para um TTL de cinco minutos, em comparação com 0.1x pela leitura da cache que abandonou. A troca depende do comprimento do prefixo e da frequência com que regressa, por isso meça-a com o seu próprio tráfego.
Ponha este guia em prática com Ailoot
Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.