Blog

Co je směrování LLM?

Markdown

Jak směrování LLM vybírá modely podle požadavků požadavku, nákladů, kvality, latence, kontextu a zásad.

Směrování LLM je praxe, při níž se každý požadavek na AI posílá modelu a poskytovateli, kteří se pro něj nejlépe hodí, místo aby se každé volání napevno směřovalo k jedinému modelu. Směrovač vyhodnotí požadavek podle vašich cílů, nákladů, kvality, latence, délky kontextu a zásad a odešle jej k nejvhodnější možnosti.

Většina týmů začíná tím, že aplikaci připojí přímo k jednomu poskytovateli, obvykle OpenAI. Funguje to, dokud to fungovat nepřestane: levnější model by stejně dobře zvládl 60% vašeho provozu, poskytovatel má výpadek, požadavek potřebuje delší kontextové okno nebo regulované úlohy nesmějí opustit danou jurisdikci. Směrovač řeší všechny tyto problémy prostřednictvím jediného endpointu.

Jak směrování LLM funguje

Nastavte své stávající SDK kompatibilní s OpenAI tak, aby komunikovalo se směrovačem místo s poskytovatelem. U každého požadavku směrovač:

  1. Vytvoří sadu kandidátů z modelů, které mohou požadavek obsloužit (odpovídající schopnosti, kontextové okno a dostupnost).
  2. Ohodnotí kandidáty podle vašeho cíle, například „nejlevnější možnost nad stanovenou hranicí kvality“ nebo „nejnižší naměřená latence“.
  3. Uplatní omezení, jako jsou rozpočty, povolení poskytovatelé, umístění dat a seznamy povolených modelů pro jednotlivé klíče.
  4. Odešle požadavek a použije záložní možnost: pokud první volba skončí chybou nebo vyprší časový limit, automaticky zkusí dalšího nejvhodnějšího kandidáta.

Proč týmy používají směrování místo pevného přiřazení

  • Náklady. Směrujte jednoduché požadavky k levným modelům a prémiové modely si nechte pro ty, které je potřebují.
  • Spolehlivost. Automatické převzetí provozu jiným poskytovatelem znamená, že výpadek jednoho dodavatele neodstaví váš produkt.
  • Flexibilita. Modely můžete měnit nebo přidávat bez vydání nové verze kódu, protože pravidla směrování jsou součástí zásad, nikoli aplikace.
  • Správa. Rozpočty, umístění dat a minimální hranice kvality můžete vynucovat centrálně místo v každé službě zvlášť.

Směrování oproti jednoduché záložní volbě

Záložní volba („pokud OpenAI selže, zkuste Anthropic“) je nejzákladnější formou směrování. Skutečné směrování však optimalizuje každý požadavek, nejen ty, které selžou: nejlepší možnost vybírá předem podle nákladů a kvality, nikoli až ve chvíli, kdy se něco pokazí.

Využijte tohoto průvodce s Ailoot

Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného API Ailoot. Vyberte model vhodný pro svůj úkol a začněte podle dokumentace Ailoot.