# Čo je smerovanie LLM?

> Ako smerovanie LLM vyberá modely podľa požiadaviek požiadavky, nákladov, kvality, latencie, kontextu a pravidiel.

Source: https://ailoot.ai/blog/sk/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/sk/what-is-llm-routing/
Language: sk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-7f961187baee47f5740298c7df0c6f8f59c6fbc2075e3efa10c648861593cbda


**Smerovanie LLM** je postup, pri ktorom sa každá požiadavka AI posiela modelu a poskytovateľovi, ktoré sú pre ňu najvhodnejšie, namiesto pevného zakódovania každého volania pre jeden model. Smerovač vyhodnotí požiadavku podľa vašich cieľov, nákladov, kvality, latencie, dĺžky kontextu a pravidiel a odošle ju možnosti, ktorá jej najviac vyhovuje.

Väčšina tímov začne tým, že svoju aplikáciu pripojí priamo k jednému poskytovateľovi, zvyčajne k OpenAI. Funguje to, až kým nie: lacnejší model by dokázal rovnako dobre spracovať 60 % vašej prevádzky, poskytovateľ má výpadok, požiadavka potrebuje dlhšie kontextové okno alebo regulovaná pracovná záťaž nesmie opustiť jurisdikciu. Smerovač rieši všetky tieto situácie cez jeden koncový bod.

## Ako funguje smerovanie LLM

Nasmerujete svoj existujúci SDK kompatibilný s OpenAI na smerovač namiesto na poskytovateľa. Pri každej požiadavke smerovač:

1.  **Vytvorí množinu kandidátov** z modelov, ktoré dokážu požiadavku obslúžiť (správne schopnosti, kontextové okno a dostupnosť).
2.  **Ohodnotí kandidátov** podľa vášho cieľa, napríklad „najlacnejšia možnosť nad minimálnou úrovňou kvality“ alebo „najnižšia nameraná latencia“.
3.  **Uplatní obmedzenia**, ako sú rozpočty, povolení poskytovatelia, umiestnenie údajov a zoznamy modelov povolených pre jednotlivé kľúče.
4.  **Odošle požiadavku a v prípade potreby použije náhradnú možnosť**: ak prvá voľba skončí chybou alebo vyprší časový limit, automaticky skúsi ďalšieho najvhodnejšieho kandidáta.

## Prečo tímy používajú smerovanie namiesto pevného zakódovania

- **Náklady.** Jednoduché požiadavky smerujte na lacné modely a prémiové modely si nechajte pre tie, ktoré ich potrebujú.
- **Spoľahlivosť.** Automatické prepnutie medzi poskytovateľmi znamená, že výpadok jedného dodávateľa neodstaví váš produkt.
- **Flexibilita.** Modely môžete vymeniť alebo pridať bez vydania nového kódu, pretože smerovanie je definované v pravidlách, nie vo vašej aplikácii.
- **Správa.** Rozpočty, umiestnenie údajov a minimálnu kvalitu môžete vynucovať centrálne namiesto toho, aby ste ich nastavovali pre každú službu zvlášť.

## Smerovanie v porovnaní s jednoduchou náhradnou možnosťou

Náhradná možnosť („ak OpenAI zlyhá, skús Anthropic“) je najzákladnejšia forma smerovania, ale skutočné smerovanie optimalizuje **každú** požiadavku, nielen tie, ktoré zlyhajú: najlepšiu možnosť vyberie vopred podľa nákladov a kvality, nielen vtedy, keď sa niečo pokazí.

## Využite tohto sprievodcu s Ailoot

Pripojte modely AI k svojim aplikáciám, agentom a automatizáciám prostredníctvom jedného API Ailoot. Vyberte model vhodný pre svoju úlohu a začnite podľa [dokumentácie Ailoot](https://ailoot.ai/docs/).


## Ailoot · Spoločnosť a jej portfólio projektov

Ailoot stavia na dlhodobých prevádzkových skúsenostiach, širokej klientskej základni, stabilných službách a priebežnom sledovaní KPI.

Spoločnosť a jej portfólio projektov: milióny zákazníkov; mesačné tržby v miliardách.

Ailoot využíva tieto prevádzkové skúsenosti na poskytovanie prístupu cez API k funkciám AI v produktoch zákazníkov, agentoch, aplikáciách a automatizáciách.
