Blogue

O que é o encaminhamento de modelos?

Markdown

Define o encaminhamento de modelos e apresenta critérios para avaliar regras de encaminhamento, aliases, distribuição por fornecedores, novas tentativas e comportamento de contingência, balanceamento de carga e compromissos entre custo e latência.

O encaminhamento de modelos é o processo de direcionar um pedido LLM recebido para um fornecedor específico, um identificador de modelo e uma chave API, no momento do pedido, de acordo com uma política e não com o código da aplicação. Um router de modelos avalia o contexto do pedido (cabeçalhos, tenant, estado do orçamento, complexidade do prompt) e o estado do fornecedor (taxa de erros, latência, margem disponível face aos limites de pedidos) e, em seguida, altera o destino antes de contactar o fornecedor. Uma camada de encaminhamento de modelos que reduz os custos dos tokens LLM é, normalmente, onde as equipas começam por ver o retorno.

O termo abrange três mecanismos que são muitas vezes confundidos:

  • Encaminhamento estático associa um nome de modelo a fornecedores com ponderações fixas.
  • Encaminhamento condicional avalia uma expressão para cada pedido (cabeçalho de nível, equipa, orçamento consumido, nível de complexidade) e substitui o destino quando se verifica uma correspondência.
  • Encaminhamento adaptativo ajusta continuamente as ponderações dos fornecedores e das chaves com base nas taxas de erro e na latência observadas.

Um router LLM de produção precisa dos três mecanismos; uma ferramenta que oferece apenas um transfere os outros dois de volta para o código da aplicação. O guia de encaminhamento inteligente de LLM sobre como escolher o modelo ideal para cada pedido aborda o segundo mecanismo em profundidade.

Como avaliar um router LLM

CritérioO que verificar
Linguagem das regras de encaminhamentoUma regra consegue ler cabeçalhos, tenant, utilização do orçamento e tipo de pedido, com uma precedência definida?
Aliases de modelosbest-model pode resolver para identificadores diferentes por chave, equipa ou ambiente, sem alterações ao código?
Distribuição ponderadaAs ponderações são aplicadas ao nível do fornecedor e da chave API e normalizadas por modelo?
Semântica de contingência e novas tentativasCada alternativa de contingência tem o seu próprio limite de novas tentativas? O 429 é tratado de forma diferente do 401?
Balanceamento adaptativo de cargaAs ponderações são recalculadas com base nas taxas de erro e na latência em tempo real? Com que rapidez regressa uma rota recuperada?
Consideração dos custosOs dados de preços são sincronizados e podem ser substituídos? Uma regra pode reagir ao orçamento consumido?
Sobrecarga e implementaçãoLatência medida com débito sustentado; alojado pelo próprio, alojado ou apenas disponível como biblioteca?

A distinção entre nova tentativa e contingência é o critério que mais vezes falta nas comparações entre fornecedores: uma nova tentativa volta a contactar o mesmo fornecedor, uma contingência encaminha o pedido para outro, e um router que combina ambos não consegue definir limites separados para cada mecanismo.

Desafios comuns das ferramentas de encaminhamento de modelos

A maioria das falhas de encaminhamento de modelos em produção tem origem em algumas lacunas recorrentes, cada uma com uma solução ao nível da configuração.

  • O estado do encaminhamento reside no código da aplicação. Os nomes dos modelos, as preferências de fornecedores e as listas de contingência incorporadas nos serviços não podem ser alterados sem uma implementação; a configuração de chaves virtuais e as regras de encaminhamento permitem auditá-los.
  • Novas tentativas que ignoram a classe do erro. Repetir um pedido após um 401 com um intervalo de espera desperdiça segundos e nunca resulta; um router deve marcar as credenciais como inválidas e mudar de chave imediatamente..
  • Não há registo da decisão de encaminhamento. É muito mais fácil analisar o comportamento dos fornecedores relativamente aos limites de pedidos, como os limites graduais de RPM e TPM da OpenAI, quando o gateway regista que motor escolheu a rota e que chave atingiu um limite.

Perguntas frequentes

O que é um router LLM?

Um router LLM é um componente que seleciona o fornecedor, o modelo e as credenciais para cada pedido com base em regras configuradas, ponderações estáticas ou métricas de desempenho em tempo real. Situa-se entre a aplicação e os fornecedores, altera o destino do pedido antes da chamada e gere novas tentativas e contingências quando a rota falha.

Qual é a diferença entre um router de modelos e um gateway de IA?

Um router de modelos decide para onde vai um pedido. Um gateway de IA executa o pedido e também gere credenciais, orçamentos, limites de pedidos, proteções e registos.

Como é que o encaminhamento de modelos reduz os custos de LLM?

O encaminhamento de modelos reduz os custos ao enviar cada pedido para o modelo menos dispendioso que cumpra os requisitos de qualidade e ao desviar o tráfego dos fornecedores que se aproximam de um limite de orçamento ou de pedidos.

Qual é a diferença entre novas tentativas e contingências?

Uma nova tentativa volta a contactar o mesmo fornecedor, opcionalmente com uma chave API diferente, após uma falha transitória, como 5xx ou 429. Uma contingência encaminha o pedido para outro fornecedor e modelo quando o fornecedor principal esgota as suas novas tentativas.

O que é o balanceamento adaptativo de carga num router LLM?

O balanceamento adaptativo de carga recalcula as ponderações das rotas com base nas métricas observadas, em vez de usar uma configuração estática.

Ponha este guia em prática com a Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.