O que é o encaminhamento de LLM?
MarkdownComo o encaminhamento de LLM seleciona modelos com base nos requisitos do pedido, no custo, na qualidade, na latência, no contexto e nas políticas.
O encaminhamento de LLM consiste em enviar cada pedido de IA para o modelo e o fornecedor mais adequados, em vez de encaminhar todas as chamadas, de forma fixa, para um único modelo. Um encaminhador avalia o pedido em função dos seus objetivos, do custo, da qualidade, da latência, do comprimento do contexto e das políticas, e encaminha-o para a opção que melhor se adequa.
A maioria das equipas começa por ligar a aplicação diretamente a um fornecedor, normalmente a OpenAI. Isto funciona até deixar de funcionar: um modelo mais barato poderia tratar 60% do seu tráfego com a mesma eficácia, um fornecedor sofre uma interrupção, um pedido precisa de uma janela de contexto maior ou uma carga de trabalho regulamentada não pode sair de uma jurisdição. Um encaminhador resolve tudo isto através de um único endpoint.
Como funciona o encaminhamento de LLM
Configure o SDK compatível com OpenAI que já utiliza para apontar para o encaminhador em vez do fornecedor. Para cada pedido, o encaminhador:
- Cria um conjunto de candidatos com os modelos capazes de tratar o pedido (capacidades adequadas, janela de contexto e disponibilidade).
- Atribui uma pontuação aos candidatos de acordo com o seu objetivo, por exemplo, «opção mais barata acima de um nível mínimo de qualidade» ou «menor latência medida».
- Aplica restrições, como orçamentos, fornecedores permitidos, residência dos dados e listas de modelos permitidos por chave.
- Encaminha o pedido e recorre a uma alternativa: se a primeira opção devolver um erro ou exceder o tempo limite, tenta automaticamente o candidato seguinte mais adequado.
Porque é que as equipas encaminham pedidos em vez de os fixarem num modelo
- Custo. Encaminhe os pedidos simples para modelos baratos e reserve os modelos premium para os pedidos que deles precisam.
- Fiabilidade. A comutação automática entre fornecedores significa que uma interrupção num fornecedor não faz parar o seu produto.
- Flexibilidade. Troque ou adicione modelos sem lançar código, porque o encaminhamento é definido numa política, não na aplicação.
- Governação. Aplique centralmente os orçamentos, a residência dos dados e os níveis mínimos de qualidade, em vez de o fazer serviço a serviço.
Encaminhamento versus uma alternativa simples
Uma alternativa («se a OpenAI falhar, tente a Anthropic») é a forma mais básica de encaminhamento. O encaminhamento real, porém, otimiza cada pedido, e não apenas os que falham, escolhendo de antemão a melhor opção em função do custo e da qualidade, e não só quando algo corre mal.
Ponha este guia em prática com a Ailoot
Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.