# O que é o encaminhamento de LLM?

> Como o encaminhamento de LLM seleciona modelos com base nos requisitos do pedido, no custo, na qualidade, na latência, no contexto e nas políticas.

Source: https://ailoot.ai/blog/pt-pt/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/pt-pt/what-is-llm-routing/
Language: pt-PT
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-c9d9665d658b3e6e3c8e7cb11eb6c1589c3afb57530a60c0e6a7c2531a70c0a8


**O encaminhamento de LLM** consiste em enviar cada pedido de IA para o modelo e o fornecedor mais adequados, em vez de encaminhar todas as chamadas, de forma fixa, para um único modelo. Um encaminhador avalia o pedido em função dos seus objetivos, do custo, da qualidade, da latência, do comprimento do contexto e das políticas, e encaminha-o para a opção que melhor se adequa.

A maioria das equipas começa por ligar a aplicação diretamente a um fornecedor, normalmente a OpenAI. Isto funciona até deixar de funcionar: um modelo mais barato poderia tratar 60% do seu tráfego com a mesma eficácia, um fornecedor sofre uma interrupção, um pedido precisa de uma janela de contexto maior ou uma carga de trabalho regulamentada não pode sair de uma jurisdição. Um encaminhador resolve tudo isto através de um único endpoint.

## Como funciona o encaminhamento de LLM

Configure o SDK compatível com OpenAI que já utiliza para apontar para o encaminhador em vez do fornecedor. Para cada pedido, o encaminhador:

1.  **Cria um conjunto de candidatos** com os modelos capazes de tratar o pedido (capacidades adequadas, janela de contexto e disponibilidade).
2.  **Atribui uma pontuação aos candidatos** de acordo com o seu objetivo, por exemplo, «opção mais barata acima de um nível mínimo de qualidade» ou «menor latência medida».
3.  **Aplica restrições**, como orçamentos, fornecedores permitidos, residência dos dados e listas de modelos permitidos por chave.
4.  **Encaminha o pedido e recorre a uma alternativa**: se a primeira opção devolver um erro ou exceder o tempo limite, tenta automaticamente o candidato seguinte mais adequado.

## Porque é que as equipas encaminham pedidos em vez de os fixarem num modelo

- **Custo.** Encaminhe os pedidos simples para modelos baratos e reserve os modelos premium para os pedidos que deles precisam.
- **Fiabilidade.** A comutação automática entre fornecedores significa que uma interrupção num fornecedor não faz parar o seu produto.
- **Flexibilidade.** Troque ou adicione modelos sem lançar código, porque o encaminhamento é definido numa política, não na aplicação.
- **Governação.** Aplique centralmente os orçamentos, a residência dos dados e os níveis mínimos de qualidade, em vez de o fazer serviço a serviço.

## Encaminhamento versus uma alternativa simples

Uma alternativa («se a OpenAI falhar, tente a Anthropic») é a forma mais básica de encaminhamento. O encaminhamento real, porém, otimiza **cada** pedido, e não apenas os que falham, escolhendo de antemão a melhor opção em função do custo e da qualidade, e não só quando algo corre mal.

## Ponha este guia em prática com a Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e siga a [documentação da Ailoot](https://ailoot.ai/docs/) para começar.


## Ailoot · A empresa e a sua carteira de projetos

A Ailoot assenta numa experiência operacional consolidada, numa ampla base de clientes, num serviço estável e no acompanhamento contínuo dos KPI.

A empresa e a sua carteira de projetos: milhões de clientes; vendas mensais na ordem dos milhares de milhões.

A Ailoot aplica essa experiência operacional ao acesso por API a funcionalidades de IA nos produtos dos clientes, agentes, aplicações e automatizações.
