Blog

Čo je smerovanie modelov?

Markdown

Definuje smerovanie modelov a uvádza kritériá na hodnotenie pravidiel smerovania, aliasov, distribúcie poskytovateľov, správania pri opakovaní a záložnom prepnutí, vyvažovania záťaže a kompromisov medzi nákladmi a latenciou.

Smerovanie modelov je proces priradenia prichádzajúcej požiadavky LLM ku konkrétnemu poskytovateľovi, identifikátoru modelu a kľúču API v čase požiadavky, a to na základe pravidiel, nie kódu aplikácie. Smerovač modelov vyhodnocuje kontext požiadavky (hlavičky, tenant, stav rozpočtu, zložitosť promptu) a stav poskytovateľa (miera chýb, latencia, dostupná kapacita v rámci limitov požiadaviek), potom pred volaním poskytovateľa prepíše cieľ. Vrstva smerovania modelov, ktorá znižuje náklady na tokeny LLM, je zvyčajne miesto, kde tímy prvýkrát zaznamenajú návratnosť.

Tento pojem zahŕňa tri mechanizmy, ktoré sa často zamieňajú:

  • Statické smerovanie priraďuje názov modelu k poskytovateľom s pevne stanovenými váhami.
  • Podmienené smerovanie vyhodnocuje výraz pri každej požiadavke (hlavička úrovne, tím, spotrebovaný rozpočet, úroveň zložitosti) a pri zhode prepíše cieľ.
  • Adaptívne smerovanie priebežne upravuje váhy poskytovateľov a kľúčov podľa pozorovanej miery chýb a latencie.

Produkčný smerovač LLM potrebuje všetky tri mechanizmy; nástroj, ktorý ponúka iba jeden, ponecháva zvyšné dva v kóde aplikácie. Sprievodca inteligentným smerovaním LLM, ktorý sa venuje výberu optimálneho modelu pre každú požiadavku, podrobne rozoberá druhý mechanizmus.

Ako hodnotiť smerovač LLM

KritériumČo skontrolovať
Jazyk pravidiel smerovaniaDokáže pravidlo čítať hlavičky, tenant, využitie rozpočtu a typ požiadavky pri definovanej priorite?
Aliasy modelovMôže sa best-model bez zmeny kódu preložiť na rôzne identifikátory podľa kľúča, tímu alebo prostredia?
Vážená distribúciaUplatňujú sa váhy na úrovni poskytovateľa a kľúča API a normalizujú sa pre každý model?
Sémantika záložného prepnutia a opakovaniaMá každé záložné prepnutie vlastný rozpočet opakovaní? Zaobchádza sa s 429 inak než s 401?
Adaptívne vyvažovanie záťažePrepočítavajú sa váhy podľa aktuálnej miery chýb a latencie a ako rýchlo sa obnovená trasa vráti?
Zohľadnenie nákladovSynchronizujú sa údaje o cenách a možno ich upravovať a dokáže pravidlo reagovať na spotrebovaný rozpočet?
Režijné náklady a nasadenieNameraná latencia pri dlhodobo udržateľnej priepustnosti; vlastné hostovanie, hostovaná služba alebo iba knižnica?

Rozdiel medzi opakovaním a záložným prepnutím je kritérium, ktoré v porovnaniach dodávateľov najčastejšie chýba: pri opakovaní sa znovu skúša ten istý poskytovateľ, záložné prepnutie presunie požiadavku k inému a smerovač, ktorý tieto mechanizmy zlúči, im nedokáže nastaviť samostatné rozpočty.

Bežné výzvy pri používaní nástrojov na smerovanie modelov

Väčšina zlyhaní smerovania modelov v produkcii vyplýva z niekoľkých opakujúcich sa nedostatkov, pričom každý z nich má riešenie na úrovni konfigurácie.

  • Stav smerovania je uložený v kóde aplikácie. Názvy modelov, preferencie poskytovateľov a zoznamy záložných možností vložené do služieb nemožno meniť bez nasadenia; konfigurácia virtuálnych kľúčov a pravidlá smerovania umožňujú ich auditovanie.
  • Opakovania, ktoré ignorujú triedu chyby. Opakovanie požiadavky 401 s oneskorením mrhá sekundami a nikdy nevedie k úspechu; smerovač by mal označiť poverenie za neplatné a okamžite ho vymeniť..
  • Chýba záznam o rozhodnutí pri smerovaní. Správanie poskytovateľov pri limitoch požiadaviek, ako sú viacúrovňové limity RPM a TPM spoločnosti OpenAI, sa oveľa ľahšie analyzuje, keď brána zaznamenáva, ktorý modul vybral trasu a ktorý kľúč narazil na limit.

Často kladené otázky

Čo je smerovač LLM?

Smerovač LLM je komponent, ktorý pri každej požiadavke vyberá poskytovateľa, model a poverenie na základe nakonfigurovaných pravidiel, statických váh alebo aktuálnych metrík výkonu. Nachádza sa medzi aplikáciou a poskytovateľmi, pred volaním prepíše cieľ požiadavky a pri zlyhaní trasy spracuje opakovania a záložné prepnutia.

Aký je rozdiel medzi smerovačom modelov a bránou AI?

Smerovač modelov rozhoduje, kam sa požiadavka odošle. Brána AI požiadavku vykoná a spravuje aj poverenia, rozpočty, limity požiadaviek, ochranné mechanizmy a protokolovanie.

Ako smerovanie modelov znižuje náklady na LLM?

Smerovanie modelov znižuje náklady tým, že každú požiadavku odošle najlacnejšiemu modelu, ktorý spĺňa požadovanú úroveň kvality, a presúva prevádzku od poskytovateľov, ktorí sa blížia k rozpočtovému limitu alebo limitu požiadaviek.

Aký je rozdiel medzi opakovaniami a záložnými prepnutiami?

Po dočasnom zlyhaní, napríklad 5xx alebo 429, sa pri opakovaní znovu skúša ten istý poskytovateľ, prípadne s iným kľúčom API. Záložné prepnutie presunie požiadavku k inému poskytovateľovi a modelu po tom, ako primárny poskytovateľ vyčerpá počet opakovaní.

Čo je adaptívne vyvažovanie záťaže v smerovači LLM?

Adaptívne vyvažovanie záťaže prepočítava váhy trás na základe pozorovaných metrík namiesto statickej konfigurácie.

Využite tohto sprievodcu s Ailoot

Pripojte modely AI k svojim aplikáciám, agentom a automatizáciám prostredníctvom jedného rozhrania API Ailoot. Vyberte model, ktorý vyhovuje vašej úlohe, a začnite podľa dokumentácie Ailoot.