Blog

Čo je smerovanie LLM?

Markdown

Ako smerovanie LLM vyberá modely podľa požiadaviek požiadavky, nákladov, kvality, latencie, kontextu a pravidiel.

Smerovanie LLM je postup, pri ktorom sa každá požiadavka AI posiela modelu a poskytovateľovi, ktoré sú pre ňu najvhodnejšie, namiesto pevného zakódovania každého volania pre jeden model. Smerovač vyhodnotí požiadavku podľa vašich cieľov, nákladov, kvality, latencie, dĺžky kontextu a pravidiel a odošle ju možnosti, ktorá jej najviac vyhovuje.

Väčšina tímov začne tým, že svoju aplikáciu pripojí priamo k jednému poskytovateľovi, zvyčajne k OpenAI. Funguje to, až kým nie: lacnejší model by dokázal rovnako dobre spracovať 60 % vašej prevádzky, poskytovateľ má výpadok, požiadavka potrebuje dlhšie kontextové okno alebo regulovaná pracovná záťaž nesmie opustiť jurisdikciu. Smerovač rieši všetky tieto situácie cez jeden koncový bod.

Ako funguje smerovanie LLM

Nasmerujete svoj existujúci SDK kompatibilný s OpenAI na smerovač namiesto na poskytovateľa. Pri každej požiadavke smerovač:

  1. Vytvorí množinu kandidátov z modelov, ktoré dokážu požiadavku obslúžiť (správne schopnosti, kontextové okno a dostupnosť).
  2. Ohodnotí kandidátov podľa vášho cieľa, napríklad „najlacnejšia možnosť nad minimálnou úrovňou kvality“ alebo „najnižšia nameraná latencia“.
  3. Uplatní obmedzenia, ako sú rozpočty, povolení poskytovatelia, umiestnenie údajov a zoznamy modelov povolených pre jednotlivé kľúče.
  4. Odošle požiadavku a v prípade potreby použije náhradnú možnosť: ak prvá voľba skončí chybou alebo vyprší časový limit, automaticky skúsi ďalšieho najvhodnejšieho kandidáta.

Prečo tímy používajú smerovanie namiesto pevného zakódovania

  • Náklady. Jednoduché požiadavky smerujte na lacné modely a prémiové modely si nechajte pre tie, ktoré ich potrebujú.
  • Spoľahlivosť. Automatické prepnutie medzi poskytovateľmi znamená, že výpadok jedného dodávateľa neodstaví váš produkt.
  • Flexibilita. Modely môžete vymeniť alebo pridať bez vydania nového kódu, pretože smerovanie je definované v pravidlách, nie vo vašej aplikácii.
  • Správa. Rozpočty, umiestnenie údajov a minimálnu kvalitu môžete vynucovať centrálne namiesto toho, aby ste ich nastavovali pre každú službu zvlášť.

Smerovanie v porovnaní s jednoduchou náhradnou možnosťou

Náhradná možnosť („ak OpenAI zlyhá, skús Anthropic“) je najzákladnejšia forma smerovania, ale skutočné smerovanie optimalizuje každú požiadavku, nielen tie, ktoré zlyhajú: najlepšiu možnosť vyberie vopred podľa nákladov a kvality, nielen vtedy, keď sa niečo pokazí.

Využite tohto sprievodcu s Ailoot

Pripojte modely AI k svojim aplikáciám, agentom a automatizáciám prostredníctvom jedného API Ailoot. Vyberte model vhodný pre svoju úlohu a začnite podľa dokumentácie Ailoot.