# Co je směrování modelů?

> Definuje směrování modelů a uvádí kritéria pro hodnocení pravidel směrování, aliasů, distribuce mezi poskytovateli, opakování pokusů a záložního chování, vyvažování zátěže a kompromisů mezi náklady a latencí.

Source: https://ailoot.ai/blog/cs/what-is-model-routing/
Canonical: https://ailoot.ai/blog/cs/what-is-model-routing/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-88d2360429642c60dd3dc7eef80bd960f0f8fd72d2e0d3783c9ae1a7b4874294


Směrování modelů je proces přiřazení příchozího požadavku LLM ke konkrétnímu poskytovateli, identifikátoru modelu a klíči API v okamžiku zpracování požadavku, a to podle zásad, nikoli kódu aplikace. Router modelů vyhodnocuje kontext požadavku (hlavičky, tenanta, stav rozpočtu, složitost promptu) a stav poskytovatele (míru chyb, latenci, zbývající kapacitu limitu požadavků) a před voláním poskytovatele pak přepíše cíl. Vrstva směrování modelů, která snižuje náklady na tokeny LLM, je obvykle místem, kde týmy jako první zaznamenají návratnost.

Tento pojem zahrnuje tři mechanismy, které se často zaměňují:

- **Statické směrování** přiřazuje název modelu k poskytovatelům s pevně stanovenými váhami.
- **Podmíněné směrování** vyhodnocuje výraz pro každý požadavek (hlavička úrovně, tým, vyčerpaný rozpočet, úroveň složitosti) a při splnění podmínky změní cíl.
- **Adaptivní směrování** průběžně upravuje váhy poskytovatelů a klíčů podle pozorovaných měr chyb a latence.

Produkční router LLM potřebuje všechny tři mechanismy; nástroj, který nabízí jen jeden, přesouvá zbývající dva zpět do kódu aplikace. Druhému mechanismu se podrobně věnuje průvodce inteligentním směrováním LLM, který pomáhá vybrat optimální model pro každý požadavek.

## Jak hodnotit router LLM

| Kritérium | Co ověřit |
|----|----|
| Jazyk pravidel směrování | Může pravidlo číst hlavičky, tenanta, využití rozpočtu a typ požadavku, přičemž má definovanou prioritu? |
| Aliasy modelů | Může se `best-model` bez změny kódu přeložit na různé identifikátory podle klíče, týmu nebo prostředí? |
| Vážená distribuce | Uplatňují se váhy na úrovni poskytovatele a klíče API a jsou normalizované pro každý model? |
| Sémantika záložního řešení a opakování pokusů | Má každé záložní řešení vlastní limit opakování pokusů? Zpracovává se `429` jinak než `401`? |
| Adaptivní vyvažování zátěže | Přepočítávají se váhy na základě aktuálních měr chyb a latence a jak rychle se obnoví trasa, která se zotavila? |
| Zohlednění nákladů | Synchronizují se cenová data a lze je přepsat? Může pravidlo reagovat na vyčerpaný rozpočet? |
| Režie a nasazení | Změřená latence při trvale vysoké propustnosti; samostatně hostované, hostované, nebo dostupné pouze jako knihovna? |

Rozdíl mezi opakováním pokusu a záložním řešením je kritérium, které ve srovnání dodavatelů nejčastěji chybí: opakování pokusu znovu zkouší stejného poskytovatele, záložní řešení přesouvá požadavek k jinému a router, který tyto mechanismy slučuje, pro ně nemůže samostatně nastavit limity.

## Běžné výzvy při používání nástrojů pro směrování modelů

Většinu produkčních selhání směrování modelů lze vysledovat k několika opakujícím se nedostatkům, z nichž každý má řešení na úrovni konfigurace.

- **Stav směrování je uložen v kódu aplikace.** Názvy modelů, preference poskytovatelů a seznamy záložních možností vložené do služeb nelze změnit bez nasazení; konfigurace virtuálních klíčů a pravidla směrování umožňují jejich audit.
- **Opakování pokusů ignoruje třídu chyby.** Opakovat požadavek po chybě `401` s prodlevou plýtvá sekundami a nikdy nevede k úspěchu; router by měl označit přihlašovací údaje za neplatné a okamžitě přejít na jiný klíč..
- **Chybí záznam rozhodnutí o směrování.** Chování poskytovatelů při omezení rychlosti, například odstupňované limity RPM a TPM u OpenAI, se mnohem snáze analyzuje, když brána zaznamenává, který engine vybral trasu a který klíč narazil na limit.

## Často kladené otázky

### Co je router LLM?

Router LLM je komponenta, která pro každý požadavek vybírá poskytovatele, model a přihlašovací údaje na základě nakonfigurovaných pravidel, statických vah nebo aktuálních metrik výkonu. Nachází se mezi aplikací a poskytovateli, před voláním přepíše cíl požadavku a při selhání trasy zajišťuje opakování pokusů a záložní řešení.

### Jaký je rozdíl mezi routerem modelů a branou AI?

Router modelů rozhoduje, kam požadavek směřuje. Brána AI požadavek zpracovává a zároveň spravuje přihlašovací údaje, rozpočty, limity rychlosti, ochranná opatření a protokolování.

### Jak směrování modelů snižuje náklady na LLM?

Směrování modelů snižuje náklady tím, že každý požadavek odesílá k nejlevnějšímu modelu, který splňuje požadavky na kvalitu, a přesouvá provoz od poskytovatelů blížících se k rozpočtovému nebo rychlostnímu limitu.

### Jaký je rozdíl mezi opakováním pokusů a záložním řešením?

Opakování pokusu znovu odešle požadavek stejnému poskytovateli, případně s jiným klíčem API, po přechodném selhání, například `5xx` nebo `429`. Záložní řešení přesune požadavek k jinému poskytovateli a modelu poté, co primární poskytovatel vyčerpá limit opakování pokusů.

### Co je adaptivní vyvažování zátěže v routeru LLM?

Adaptivní vyvažování zátěže přepočítává váhy tras podle pozorovaných metrik namísto statické konfigurace.

## Využijte tohoto průvodce s Ailoot

Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného API Ailoot. Vyberte model vhodný pro svůj úkol a začněte podle [dokumentace Ailoot](https://ailoot.ai/docs/).


## Ailoot · Společnost a její portfolio projektů

Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.

Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.

Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.
