Blogue

Explicação do encaminhamento de modelos de IA

Markdown

Explica o que faz o encaminhamento de modelos, como são tomadas as decisões de encaminhamento, como auditar uma camada de encaminhamento e que fatores considerar ao escolher uma abordagem de encaminhamento.

O encaminhamento de modelos de IA permite enviar prompts para diferentes grandes modelos de linguagem através de uma única API. Um router de LLM escolhe o modelo que processa cada pedido com base no custo, na velocidade ou nas capacidades. Parece simples, mas a maioria das equipas não percebe para onde vão realmente os seus dados.

O que é o encaminhamento de modelos de IA?

O encaminhamento de modelos de IA consiste em enviar prompts para diferentes LLM através de uma interface unificada. Em vez de fixar um único modelo no código, a sua aplicação envia todos os pedidos para uma camada de encaminhamento. O router decide qual o modelo que processa cada prompt.

Pense nisto como um balanceador de carga para modelos de linguagem. Um balanceador de carga web distribui o tráfego por vários servidores. Um router de LLM distribui os prompts por modelos de diferentes fornecedores.

O router pode escolher modelos com base no custo, na latência, no comprimento do contexto ou nas capacidades. Alguns routers permitem definir regras. Outros usam algoritmos para escolher o modelo mais barato que cumpre um nível de qualidade definido.

  • Um único endpoint de API substitui integrações com vários fornecedores
  • O router escolhe o modelo com base nas regras que definir ou nas predefinições que selecionar
  • O encaminhamento de contingência envia um prompt para um modelo de reserva se o primeiro falhar
  • O encaminhamento baseado no custo escolhe o modelo mais barato que cumpre um limiar de qualidade
  • A maioria dos routers normaliza o formato da API, pelo que mudar de modelo não exige alterações ao código

Um router de LLM dá-lhe flexibilidade, mas também significa que poderá não saber que modelo processou um determinado pedido sem verificar.

Porque é que as empresas usam routers de LLM

As empresas usam routers de LLM por três motivos principais: poupança de custos, continuidade em caso de falha e experimentação. Todos são válidos. O problema é que a maioria das equipas fica por aqui e nunca pergunta para onde vão realmente os seus dados.

O custo é o principal motivo. Os diferentes modelos cobram preços diferentes por token. Um router que escolhe o modelo mais barato para tarefas simples e reserva modelos mais caros para tarefas difíceis pode reduzir os gastos com tokens .

O segundo motivo é a continuidade em caso de falha. Se um fornecedor ficar indisponível, o router pode enviar os prompts para outro fornecedor. A sua aplicação continua a funcionar sem intervenção manual.

O terceiro motivo é a experimentação. As equipas querem testar novos modelos sem alterar o código de produção. Um router permite-lhes fazer testes A/B aos modelos através de uma API estável.

  • Poupança de custos: encaminhe tarefas simples para modelos baratos e tarefas difíceis para modelos caros
  • Continuidade em caso de falha: mudança automática quando um fornecedor sofre uma interrupção
  • Flexibilidade de fornecedores: teste novos modelos sem reescrever o código de integração
  • Registos unificados: um único local para consultar a utilização de todos os modelos e fornecedores
  • Gestão de limites de pedidos: distribua o tráfego por vários fornecedores para evitar limitações

A poupança de custos e a continuidade em caso de falha são benefícios reais, mas não justificam ignorar para onde vão os seus dados.

O panorama completo das ferramentas de encaminhamento de IA

O mercado de ferramentas de encaminhamento divide-se em três categorias: marketplaces alojados, proxies de código aberto e gateways de fornecedores de cloud. Cada categoria lida de forma diferente com a localização dos dados e a seleção dos modelos.

Como são tomadas as decisões de encaminhamento

As decisões de encaminhamento são tomadas de uma de quatro formas: seleção manual, encaminhamento baseado em regras, otimização de custos ou encaminhamento baseado na qualidade. O método utilizado pela ferramenta determina se tem controlo sobre o destino dos dados.

A seleção manual significa que escolhe o modelo para cada pedido. A maioria das ferramentas disponibiliza esta opção como alternativa.

O encaminhamento baseado em regras permite definir condições. Por exemplo, encaminhar tarefas de programação para um modelo adequado e perguntas simples para um modelo barato. As regras são explícitas, pelo que pode excluir fornecedores ou modelos específicos.

A otimização de custos encaminha um pedido para o modelo mais barato que cumpra um limiar de capacidade.

  • Manual: especifica o modelo em cada chamada à API
  • Baseado em regras: define condições que associam tipos de tarefas a modelos
  • Otimizado em função do custo: o router escolhe automaticamente o modelo mais barato que cumpre os requisitos
  • Baseado na qualidade: o router avalia os modelos e escolhe o que obtém a pontuação mais alta para a tarefa
  • Cadeias de contingência: o router experimenta os modelos pela ordem definida até um deles ter sucesso

Como auditar a sua camada de encaminhamento de IA

Uma auditoria começa com uma pergunta: para que modelos pode a sua ferramenta de encaminhamento enviar dados neste momento? Se não conseguir responder, existe uma lacuna.

Passo um: liste todos os endpoints de modelos que estão configurados no seu router.

Passo dois: identifique o fornecedor de alojamento e o local de tratamento dos dados de cada modelo.

Passo três: compare os locais de tratamento dos dados com os seus requisitos de conformidade.

Passo quatro: bloqueie ou remova quaisquer modelos que violem os seus requisitos. Depois, configure a monitorização para detetar alterações à configuração.

  • Liste todos os endpoints de modelos a que o seu router pode aceder
  • Identifique o local de tratamento dos dados de cada modelo
  • Bloqueie os modelos que não cumprem os requisitos e documente a decisão
  • Monitorize as alterações à configuração para impedir que os modelos bloqueados sejam adicionados novamente

Como escolher a ferramenta de encaminhamento adequada

A ferramenta adequada depende da sua postura de conformidade, da capacidade da equipa de engenharia e do nível de controlo de que necessita sobre o fluxo de dados. Não existe uma única resposta certa.

Se trabalha num setor regulamentado, comece por ferramentas que disponibilizem controlos de localização dos dados de origem.

Se precisa de máxima flexibilidade e tem uma equipa de DevOps robusta, uma camada de encaminhamento alojada por si dá-lhe controlo total, porque aloja e configura cada endpoint. Mas esse controlo depende da disciplina com que gere a configuração.

Perguntas frequentes

Ponha este guia em prática com Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API Ailoot. Escolha o modelo adequado à sua tarefa e siga a documentação da Ailoot para começar.