# Jak vyhodnotit LLM router pro produkční nasazení

> Průvodce založený na zdrojích, který se věnuje hodnocení rozhodnutí o směrování, změnám typů úloh, vlivu mezipaměti promptů, observabilitě, přihlašovacím údajům a nasazení do produkce.

Source: https://ailoot.ai/blog/cs/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/cs/evaluate-llm-router-production/
Language: cs
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-9f942283b478d41b7fc5bf79c31a0f0f79d37ee767e73321dd573ce45d46a2eb


## Jak si vybrat router pro vlastní pracovní zátěž?

**1. Zaznamenávejte údaje, které rozhodují o všem:** U každého volání: model, vstupní tokeny, vstupní tokeny z mezipaměti, tokeny zápisu do mezipaměti, výstupní tokeny, latenci, typ úlohy a informaci, zda byl výsledek přijat, nebo se volání opakovalo. Údaj o vstupních tokenech z mezipaměti týmy často vynechávají, přitom právě on rozhoduje o tom, zda vám směrování vůbec může pomoci. Týden sběru těchto údajů zabere jedno odpoledne instrumentace.

**2. Než začnete hledat, spočítejte si horní hranici úspor:** Maximální úspora je S = f x (1 - r), kde f je podíl volání, která lze přesunout z hraničního modelu, a r je cena levnějšího modelu jako podíl ceny hraničního modelu. Obě hodnoty získáte v prvním kroku. Místo toho věnujte čas cachování promptů, dávkovým endpointům a úrovni úsilí při uvažování.

**3. Sestavte z vlastního provozu zlatou sadu pro každou třídu úloh:** Padesát až dvě stě skutečných požadavků se známými správnými výsledky, vybraných z vašich logů, nikoli napsaných ručně. Tento artefakt umožní, aby každá pozdější konverzace s dodavatelem byla konkrétní. Bez něj porovnáváte marketingová tvrzení.

**4. Ověřte dvě podmínky, které předpovídají chování v produkci:** Nejprve spusťte router ve stínovém režimu na živém provozu a porovnejte náklady směrovaných požadavků se základními náklady při použití výhradně hraničního modelu a zahřáté mezipaměti — to je jediné férové srovnání. Za druhé — a tento krok nikdo nedělá — vyčleňte třídu úloh, kterou router dosud neviděl, a změřte jeho výkon na ní. Důvod vysvětluje část 2. Router, který vypadá dobře na kalibrační sadě, ale selže v nové oblasti funkcí, vás na problém neupozorní.

**5. Podmiňte nasazení výsledky evaluace a pokračujte v jejím provádění:** Vyžadujte, aby levnější model překročil stanovený práh pro každou třídu úloh, než tuto třídu zpřístupníte směrování. Pak evaluaci průběžně spouštějte, protože verze modelů se mění a router kalibrovaný v březnu popisuje nabídku modelů, která už neexistuje.

## Čím se produkční LLM router liší od dema?

### 1. Optimálnost, ne úspora uváděná v titulku

Údaj o úspoře bez údaje o kvalitě vedle něj představuje jen polovinu věty.

Optimálnost je ukazatel, který nikdo nepropaguje, přitom právě on rozhoduje o vašem účtu. Udává, jak často router vybral nejlevnější model, který přesto odpověděl správně. Router může vykazovat dobrou přesnost, a přitom utrácet peníze.

Požádejte každého dodavatele o poměr optimálního výběru. Pokud ho nedokáže doložit, nezměřil to, za co platíte.

### 2. Odolnost při změně typu úlohy

Vyberte router, který už pracoval s provozem podobným tomu vašemu, a trvejte na výsledku pro distribuci, na níž nebyl laděn.

### 3. Jak se chová při zahřáté mezipaměti

Router je jen tak dobrý jako mechanismus, na kterém stojí.

[Anthropic zveřejňuje násobitele](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): čtení z mezipaměti stojí 0.1x základní ceny vstupu, zápis do mezipaměti na pět minut stojí 1.25x a hodinový zápis stojí 2x. Přepnutí modelu během konverzace tedy stojí zhruba dvanáctkrát víc, než by stálo setrvání u stejného modelu se stejným prefixem, a náklady se vrátí, jen pokud nový model udrží relaci.

Tyto hodnoty lze uvést do souladu. Poskytovatel udržuje opuštěný prefix v mezipaměti, takže návrat je levný; drahý je zápis na model, na který jste přešli. Zda se tento kompromis vyplatí, závisí na délce vašich prefixů a na tom, jak často se vracíte. Nikdo na to nemůže odpovědět za vás, a právě o to jde.

### 4. Kde leží hranice směrování

Router, který se rozhoduje znovu při každém tahu, činí rozhodnutí, pro které nemá dost informací, a při každé změně názoru platí za zápis do mezipaměti.

Dobré hranice směrování jsou takové, přes které se relace nevrací: celé dílčí úlohy, samostatné fáze nebo úlohy na pozadí.

### 5. Zda můžete rozhodnutí zobrazit a přepsat

Když kvalita výstupu klesne, inženýr potřebuje rychle odpovědět na jednu otázku: změnil se model, nebo jsem ho změnil já? Router, který zaznamenává, který model vybral, proč ho vybral a kolik to stálo, lze ladit. Ten, který to nedělá, je zdrojem záhadných regresí.

Trvejte na poli modelu pro každý požadavek, poli nákladů pro každý požadavek a možnosti přepsat výběr.

### 6. Rozsah možných dopadů, protože router drží vaše klíče

Router je ze své podstaty součástí cesty přihlašovacích údajů. Má klíče poskytovatelů a při vlastním hostování může mít také cloudové přihlašovací údaje. Je proto vysoce hodnotnou závislostí. Při hodnocení routeru se ptejte, jak se distribuuje, zda jsou vydání podepsaná, zda se při nasazení připínají závislosti a k čemu má přístup na hostiteli. Vlastní hostování není automaticky bezpečnější než spravovaná služba; vystavuje vás jiným rizikům.

### 7. Kdo za něj bude odpovídat za osmnáct měsíců

Proto se při hodnoticím hovoru ptejte, jak vypadá plán dalšího vývoje pod současným vlastníkem a jaká je cesta migrace, pokud se vývoj zastaví.

## Kdy LLM router nepoužívat?

**Když je váš provoz rovnoměrně náročný:** Úspory ze směrování závisí na tom, nakolik se váš provoz liší, ne na tom, jak chytrý je router.

## Co udělat dál?

Nyní znáte dvě otázky, které odlišují router, který bude fungovat, od routeru, který dobře vypadá v demu: jaký je jeho poměr optimálního výběru a co se stane, když se změní typ úlohy.

Začněte prvním krokem. Přidejte do logů požadavků vstupní tokeny z mezipaměti a typ úlohy a nechte sběr běžet týden. Právě tento jediný údaj rozhoduje o tom, zda znáte skutečnou hodnotu f, nebo ji jen odhadujete.

## Často kladené otázky

### Co je LLM router?

LLM router je rozhodovací vrstva mezi vaší aplikací a skupinou modelů, která každý požadavek odešle modelu, u něhož je největší pravděpodobnost, že ho uspokojivě vyřeší za nejnižší cenu. Routery před generováním rozhodují pouze na základě promptu; kaskádové routery nejprve nechají odpovědět levný model a požadavek eskalují, pokud hodnoticí model odpověď odmítne. Většina produkčních systémů dnes kombinuje oba přístupy.

### Šetří LLM routery skutečně peníze?

Ano, ale mnohem méně, než naznačují titulkové údaje, a výše úspor závisí na vašem provozu, nikoli na routeru. Než uvěříte jakémukoli údaji dodavatele, spočítejte S = f x (1 - r) z vlastních logů.

### Jaký je rozdíl mezi LLM routerem a AI gateway?

Gateway poskytuje jeden endpoint, přepnutí při selhání, správu klíčů, rozpočty a observabilitu napříč mnoha poskytovateli. Router rozhoduje, který model obslouží konkrétní požadavek. Většina gatewayí dnes obsahuje router, ale tyto dvě schopnosti jsou nezávislé.

### Mohu si místo nákupu postavit vlastní LLM router?

Můžete, ale měřicí práce je v obou případech stejná, takže nejprve proveďte první až třetí krok výše uvedeného postupu. Pokud router stavíte, začněte vyhledávací tabulkou podle typu úlohy. Naučený klasifikátor přidejte teprve tehdy, až tato základní varianta prokazatelně přestane stačit.

### Naruší přepínání modelů cachování promptů?

Přechod na jiný model vás stojí zápis do jeho mezipaměti, účtovaný jako 1.25x základní ceny vstupu při TTL pěti minut, zatímco čtení z opuštěné mezipaměti stojí 0.1x. Výsledek závisí na délce prefixu a četnosti návratů, proto ho měřte na vlastním provozu.

## Uveďte tohoto průvodce do praxe s Ailoot

Propojte modely AI se svými aplikacemi, agenty a automatizacemi prostřednictvím jediného rozhraní API Ailoot. Vyberte model, který odpovídá vaší úloze, a začněte podle [dokumentace Ailoot](https://ailoot.ai/docs/).


## Ailoot · Společnost a její portfolio projektů

Ailoot staví na dlouhodobých provozních zkušenostech, široké klientské základně, stabilních službách a průběžném sledování KPI.

Společnost a její portfolio projektů: miliony zákazníků; měsíční tržby v miliardách.

Ailoot využívá tyto provozní zkušenosti k poskytování přístupu přes API k funkcím AI v produktech zákazníků, agentech, aplikacích a automatizacích.
