O que é o encaminhamento de modelos?
MarkdownDefine o encaminhamento de modelos e apresenta critérios para avaliar regras de encaminhamento, aliases, distribuição por fornecedores, novas tentativas e comportamento de contingência, balanceamento de carga e compromissos entre custo e latência.
O encaminhamento de modelos é o processo de direcionar um pedido LLM recebido para um fornecedor específico, um identificador de modelo e uma chave API, no momento do pedido, de acordo com uma política e não com o código da aplicação. Um router de modelos avalia o contexto do pedido (cabeçalhos, tenant, estado do orçamento, complexidade do prompt) e o estado do fornecedor (taxa de erros, latência, margem disponível face aos limites de pedidos) e, em seguida, altera o destino antes de contactar o fornecedor. Uma camada de encaminhamento de modelos que reduz os custos dos tokens LLM é, normalmente, onde as equipas começam por ver o retorno.
O termo abrange três mecanismos que são muitas vezes confundidos:
- Encaminhamento estático associa um nome de modelo a fornecedores com ponderações fixas.
- Encaminhamento condicional avalia uma expressão para cada pedido (cabeçalho de nível, equipa, orçamento consumido, nível de complexidade) e substitui o destino quando se verifica uma correspondência.
- Encaminhamento adaptativo ajusta continuamente as ponderações dos fornecedores e das chaves com base nas taxas de erro e na latência observadas.
Um router LLM de produção precisa dos três mecanismos; uma ferramenta que oferece apenas um transfere os outros dois de volta para o código da aplicação. O guia de encaminhamento inteligente de LLM sobre como escolher o modelo ideal para cada pedido aborda o segundo mecanismo em profundidade.
Como avaliar um router LLM
| Critério | O que verificar |
|---|---|
| Linguagem das regras de encaminhamento | Uma regra consegue ler cabeçalhos, tenant, utilização do orçamento e tipo de pedido, com uma precedência definida? |
| Aliases de modelos | best-model pode resolver para identificadores diferentes por chave, equipa ou ambiente, sem alterações ao código? |
| Distribuição ponderada | As ponderações são aplicadas ao nível do fornecedor e da chave API e normalizadas por modelo? |
| Semântica de contingência e novas tentativas | Cada alternativa de contingência tem o seu próprio limite de novas tentativas? O 429 é tratado de forma diferente do 401? |
| Balanceamento adaptativo de carga | As ponderações são recalculadas com base nas taxas de erro e na latência em tempo real? Com que rapidez regressa uma rota recuperada? |
| Consideração dos custos | Os dados de preços são sincronizados e podem ser substituídos? Uma regra pode reagir ao orçamento consumido? |
| Sobrecarga e implementação | Latência medida com débito sustentado; alojado pelo próprio, alojado ou apenas disponível como biblioteca? |
A distinção entre nova tentativa e contingência é o critério que mais vezes falta nas comparações entre fornecedores: uma nova tentativa volta a contactar o mesmo fornecedor, uma contingência encaminha o pedido para outro, e um router que combina ambos não consegue definir limites separados para cada mecanismo.
Desafios comuns das ferramentas de encaminhamento de modelos
A maioria das falhas de encaminhamento de modelos em produção tem origem em algumas lacunas recorrentes, cada uma com uma solução ao nível da configuração.
- O estado do encaminhamento reside no código da aplicação. Os nomes dos modelos, as preferências de fornecedores e as listas de contingência incorporadas nos serviços não podem ser alterados sem uma implementação; a configuração de chaves virtuais e as regras de encaminhamento permitem auditá-los.
- Novas tentativas que ignoram a classe do erro. Repetir um pedido após um
401com um intervalo de espera desperdiça segundos e nunca resulta; um router deve marcar as credenciais como inválidas e mudar de chave imediatamente.. - Não há registo da decisão de encaminhamento. É muito mais fácil analisar o comportamento dos fornecedores relativamente aos limites de pedidos, como os limites graduais de RPM e TPM da OpenAI, quando o gateway regista que motor escolheu a rota e que chave atingiu um limite.
Perguntas frequentes
O que é um router LLM?
Um router LLM é um componente que seleciona o fornecedor, o modelo e as credenciais para cada pedido com base em regras configuradas, ponderações estáticas ou métricas de desempenho em tempo real. Situa-se entre a aplicação e os fornecedores, altera o destino do pedido antes da chamada e gere novas tentativas e contingências quando a rota falha.
Qual é a diferença entre um router de modelos e um gateway de IA?
Um router de modelos decide para onde vai um pedido. Um gateway de IA executa o pedido e também gere credenciais, orçamentos, limites de pedidos, proteções e registos.
Como é que o encaminhamento de modelos reduz os custos de LLM?
O encaminhamento de modelos reduz os custos ao enviar cada pedido para o modelo menos dispendioso que cumpra os requisitos de qualidade e ao desviar o tráfego dos fornecedores que se aproximam de um limite de orçamento ou de pedidos.
Qual é a diferença entre novas tentativas e contingências?
Uma nova tentativa volta a contactar o mesmo fornecedor, opcionalmente com uma chave API diferente, após uma falha transitória, como 5xx ou 429. Uma contingência encaminha o pedido para outro fornecedor e modelo quando o fornecedor principal esgota as suas novas tentativas.
O que é o balanceamento adaptativo de carga num router LLM?
O balanceamento adaptativo de carga recalcula as ponderações das rotas com base nas métricas observadas, em vez de usar uma configuração estática.
Ponha este guia em prática com a Ailoot
Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.