# Co je směrování LLM?

> Jak směrování LLM vybírá modely podle požadavků požadavku, nákladů, kvality, latence, kontextu a zásad.

Source: https://ailoot.ai/blog/cs/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/cs/what-is-llm-routing/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-8c8f1853f8000eaeb0f6dd71f8ea7e050da1edfe6075224951c2823748afc285


**Směrování LLM** je praxe, při níž se každý požadavek na AI posílá modelu a poskytovateli, kteří se pro něj nejlépe hodí, místo aby se každé volání napevno směřovalo k jedinému modelu. Směrovač vyhodnotí požadavek podle vašich cílů, nákladů, kvality, latence, délky kontextu a zásad a odešle jej k nejvhodnější možnosti.

Většina týmů začíná tím, že aplikaci připojí přímo k jednomu poskytovateli, obvykle OpenAI. Funguje to, dokud to fungovat nepřestane: levnější model by stejně dobře zvládl 60% vašeho provozu, poskytovatel má výpadek, požadavek potřebuje delší kontextové okno nebo regulované úlohy nesmějí opustit danou jurisdikci. Směrovač řeší všechny tyto problémy prostřednictvím jediného endpointu.

## Jak směrování LLM funguje

Nastavte své stávající SDK kompatibilní s OpenAI tak, aby komunikovalo se směrovačem místo s poskytovatelem. U každého požadavku směrovač:

1.  **Vytvoří sadu kandidátů** z modelů, které mohou požadavek obsloužit (odpovídající schopnosti, kontextové okno a dostupnost).
2.  **Ohodnotí kandidáty** podle vašeho cíle, například „nejlevnější možnost nad stanovenou hranicí kvality“ nebo „nejnižší naměřená latence“.
3.  **Uplatní omezení**, jako jsou rozpočty, povolení poskytovatelé, umístění dat a seznamy povolených modelů pro jednotlivé klíče.
4.  **Odešle požadavek a použije záložní možnost**: pokud první volba skončí chybou nebo vyprší časový limit, automaticky zkusí dalšího nejvhodnějšího kandidáta.

## Proč týmy používají směrování místo pevného přiřazení

- **Náklady.** Směrujte jednoduché požadavky k levným modelům a prémiové modely si nechte pro ty, které je potřebují.
- **Spolehlivost.** Automatické převzetí provozu jiným poskytovatelem znamená, že výpadek jednoho dodavatele neodstaví váš produkt.
- **Flexibilita.** Modely můžete měnit nebo přidávat bez vydání nové verze kódu, protože pravidla směrování jsou součástí zásad, nikoli aplikace.
- **Správa.** Rozpočty, umístění dat a minimální hranice kvality můžete vynucovat centrálně místo v každé službě zvlášť.

## Směrování oproti jednoduché záložní volbě

Záložní volba („pokud OpenAI selže, zkuste Anthropic“) je nejzákladnější formou směrování. Skutečné směrování však optimalizuje **každý** požadavek, nejen ty, které selžou: nejlepší možnost vybírá předem podle nákladů a kvality, nikoli až ve chvíli, kdy se něco pokazí.

## Využijte tohoto průvodce s Ailoot

Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného API Ailoot. Vyberte model vhodný pro svůj úkol a začněte podle [dokumentace Ailoot](https://ailoot.ai/docs/).


## Ailoot · Společnost a její portfolio projektů

Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.

Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.

Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.
