# O que é o encaminhamento de modelos?

> Define o encaminhamento de modelos e apresenta critérios para avaliar regras de encaminhamento, aliases, distribuição por fornecedores, novas tentativas e comportamento de contingência, balanceamento de carga e compromissos entre custo e latência.

Source: https://ailoot.ai/blog/pt-pt/what-is-model-routing/
Canonical: https://ailoot.ai/blog/pt-pt/what-is-model-routing/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-9874868d0e3487009b09e41841e9ba61474b1fd760dfb204ee27c9678391ae97


O encaminhamento de modelos é o processo de direcionar um pedido LLM recebido para um fornecedor específico, um identificador de modelo e uma chave API, no momento do pedido, de acordo com uma política e não com o código da aplicação. Um router de modelos avalia o contexto do pedido (cabeçalhos, tenant, estado do orçamento, complexidade do prompt) e o estado do fornecedor (taxa de erros, latência, margem disponível face aos limites de pedidos) e, em seguida, altera o destino antes de contactar o fornecedor. Uma camada de encaminhamento de modelos que reduz os custos dos tokens LLM é, normalmente, onde as equipas começam por ver o retorno.

O termo abrange três mecanismos que são muitas vezes confundidos:

- **Encaminhamento estático** associa um nome de modelo a fornecedores com ponderações fixas.
- **Encaminhamento condicional** avalia uma expressão para cada pedido (cabeçalho de nível, equipa, orçamento consumido, nível de complexidade) e substitui o destino quando se verifica uma correspondência.
- **Encaminhamento adaptativo** ajusta continuamente as ponderações dos fornecedores e das chaves com base nas taxas de erro e na latência observadas.

Um router LLM de produção precisa dos três mecanismos; uma ferramenta que oferece apenas um transfere os outros dois de volta para o código da aplicação. O guia de encaminhamento inteligente de LLM sobre como escolher o modelo ideal para cada pedido aborda o segundo mecanismo em profundidade.

## Como avaliar um router LLM

| Critério | O que verificar |
|----|----|
| Linguagem das regras de encaminhamento | Uma regra consegue ler cabeçalhos, tenant, utilização do orçamento e tipo de pedido, com uma precedência definida? |
| Aliases de modelos | `best-model` pode resolver para identificadores diferentes por chave, equipa ou ambiente, sem alterações ao código? |
| Distribuição ponderada | As ponderações são aplicadas ao nível do fornecedor e da chave API e normalizadas por modelo? |
| Semântica de contingência e novas tentativas | Cada alternativa de contingência tem o seu próprio limite de novas tentativas? O `429` é tratado de forma diferente do `401`? |
| Balanceamento adaptativo de carga | As ponderações são recalculadas com base nas taxas de erro e na latência em tempo real? Com que rapidez regressa uma rota recuperada? |
| Consideração dos custos | Os dados de preços são sincronizados e podem ser substituídos? Uma regra pode reagir ao orçamento consumido? |
| Sobrecarga e implementação | Latência medida com débito sustentado; alojado pelo próprio, alojado ou apenas disponível como biblioteca? |

A distinção entre nova tentativa e contingência é o critério que mais vezes falta nas comparações entre fornecedores: uma nova tentativa volta a contactar o mesmo fornecedor, uma contingência encaminha o pedido para outro, e um router que combina ambos não consegue definir limites separados para cada mecanismo.

## Desafios comuns das ferramentas de encaminhamento de modelos

A maioria das falhas de encaminhamento de modelos em produção tem origem em algumas lacunas recorrentes, cada uma com uma solução ao nível da configuração.

- **O estado do encaminhamento reside no código da aplicação.** Os nomes dos modelos, as preferências de fornecedores e as listas de contingência incorporadas nos serviços não podem ser alterados sem uma implementação; a configuração de chaves virtuais e as regras de encaminhamento permitem auditá-los.
- **Novas tentativas que ignoram a classe do erro.** Repetir um pedido após um `401` com um intervalo de espera desperdiça segundos e nunca resulta; um router deve marcar as credenciais como inválidas e mudar de chave imediatamente..
- **Não há registo da decisão de encaminhamento.** É muito mais fácil analisar o comportamento dos fornecedores relativamente aos limites de pedidos, como os limites graduais de RPM e TPM da OpenAI, quando o gateway regista que motor escolheu a rota e que chave atingiu um limite.

## Perguntas frequentes

### O que é um router LLM?

Um router LLM é um componente que seleciona o fornecedor, o modelo e as credenciais para cada pedido com base em regras configuradas, ponderações estáticas ou métricas de desempenho em tempo real. Situa-se entre a aplicação e os fornecedores, altera o destino do pedido antes da chamada e gere novas tentativas e contingências quando a rota falha.

### Qual é a diferença entre um router de modelos e um gateway de IA?

Um router de modelos decide para onde vai um pedido. Um gateway de IA executa o pedido e também gere credenciais, orçamentos, limites de pedidos, proteções e registos.

### Como é que o encaminhamento de modelos reduz os custos de LLM?

O encaminhamento de modelos reduz os custos ao enviar cada pedido para o modelo menos dispendioso que cumpra os requisitos de qualidade e ao desviar o tráfego dos fornecedores que se aproximam de um limite de orçamento ou de pedidos.

### Qual é a diferença entre novas tentativas e contingências?

Uma nova tentativa volta a contactar o mesmo fornecedor, opcionalmente com uma chave API diferente, após uma falha transitória, como `5xx` ou `429`. Uma contingência encaminha o pedido para outro fornecedor e modelo quando o fornecedor principal esgota as suas novas tentativas.

### O que é o balanceamento adaptativo de carga num router LLM?

O balanceamento adaptativo de carga recalcula as ponderações das rotas com base nas métricas observadas, em vez de usar uma configuração estática.

## Ponha este guia em prática com a Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e siga a [documentação da Ailoot](https://ailoot.ai/docs/) para começar.


## Ailoot · A empresa e a sua carteira de projetos

A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.

A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.

A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.
