Blog

Ako hodnotiť LLM smerovač pre produkciu

Markdown

Sprievodca založený na zdrojoch na hodnotenie rozhodnutí o smerovaní, zmien úloh, účinkov ukladania promptov do vyrovnávacej pamäte, pozorovateľnosti, prihlasovacích údajov a nasadenia do produkcie.

Ako si vybrať smerovač pre vlastnú pracovnú záťaž?

1. Zaznamenávajte polia, ktoré rozhodujú o všetkom: Pri každom volaní: model, vstupné tokeny, tokeny vstupu načítané z vyrovnávacej pamäte, tokeny zapísané do vyrovnávacej pamäte, výstupné tokeny, latencia, typ úlohy a informácia, či bol výsledok prijatý alebo sa volanie zopakovalo. Pole s tokenmi vstupu načítanými z vyrovnávacej pamäte tímy vynechávajú najčastejšie, pritom práve ono rozhoduje o tom, či vám smerovanie vôbec môže pomôcť. Týždeň takéhoto zaznamenávania vás bude stáť jedno popoludnie práce na inštrumentácii.

2. Vypočítajte si hornú hranicu úspor skôr, než začnete hľadať: Maximálna úspora je S = f x (1 - r), kde f je podiel volaní, ktoré možno presunúť z najvýkonnejšieho modelu, a r je cena lacného modelu ako podiel ceny najvýkonnejšieho modelu. Obe hodnoty získate v prvom kroku. Čas radšej venujte ukladaniu promptov do vyrovnávacej pamäte, dávkovým koncovým bodom a úsiliu pri uvažovaní.

3. Vytvorte z vlastnej prevádzky zlatú testovaciu množinu pre každú triedu úloh: Päťdesiat až dvesto skutočných požiadaviek so známymi dobrými výsledkami, vybraných zo svojich záznamov, nie napísaných ručne. Tento artefakt zabezpečí, že každá ďalšia diskusia s dodávateľom bude konkrétna. Bez neho porovnávate marketingové tvrdenia.

4. Otestujte dve podmienky, ktoré predpovedajú správanie v produkcii: Najprv spustite smerovač v režime tieňového testovania na živej prevádzke a porovnajte náklady na smerované požiadavky so základným scenárom, v ktorom všetky požiadavky obsluhuje najvýkonnejší model a náklady sa počítajú s rozohriatou vyrovnávacou pamäťou; to je jediné férové porovnanie. Po druhé, a tento krok nerobí nikto, vynechajte triedu úloh, ktorú smerovač ešte nevidel, a zmerajte jeho výkon na nej. Práve preto je dôležitá 2. časť. Smerovač, ktorý na kalibračnej množine vyzerá dobre, no zlyhá v novej oblasti funkcií, vás na to neupozorní.

5. Podmieňte nasadenie výsledkom evaluácie a pokračujte v jej spúšťaní: Vyžadujte, aby lacný model dosiahol stanovenú hranicu pre každú triedu úloh predtým, než sa táto trieda začne smerovať. Potom evaluáciu spúšťajte priebežne, pretože verzie modelov sa menia a smerovač kalibrovaný v marci opisuje zostavu modelov, ktorá už neexistuje.

Čím sa produkčný LLM smerovač líši od ukážky?

1. Optimálnosť, nie úspora v titulku

Údaj o úspore bez údaja o kvalite je len polovica vety.

Optimálnosť je metrika, ktorú nikto nepropaguje, a pritom práve ona rozhoduje o vašom účte. Vyjadruje, ako často smerovač vybral najlacnejší model, ktorý ešte stále odpovedal správne. Smerovač môže dosahovať dobrú presnosť a zároveň míňať peniaze.

Požiadajte každého dodávateľa o pomer optimálneho výberu. Ak ho nedokáže uviesť, nemeral to, čo kupujete.

2. Odolnosť pri zmene typu úlohy

Kúpte si smerovač, ktorý spracovával prevádzku podobnú tej vašej, a trvajte na tom, aby vám ukázali výsledok na rozdelení, na ktorom nebol ladený.

3. Čo sa deje, keď je vyrovnávacia pamäť rozohriata

Smerovač je len taký dobrý ako mechanizmus, ktorý ho poháňa.

Anthropic zverejňuje násobitele: čítanie z vyrovnávacej pamäte stojí 0.1x základnej ceny vstupu, päťminútový zápis do vyrovnávacej pamäte stojí 1.25x a hodinový zápis stojí 2x. Prechod na iný model teda stojí približne dvanásťkrát viac než zotrvanie pri rovnakom modeli pre rovnaký prefix a náklady sa vrátia iba vtedy, ak nový model udrží reláciu.

Tieto údaje sa dajú zosúladiť. Poskytovateľ udržiava opustený prefix v teplej vyrovnávacej pamäti, takže návrat je lacný; nákladný je zápis do vyrovnávacej pamäte modelu, na ktorý ste prešli. To, či sa tento kompromis oplatí, závisí od dĺžky vašich prefixov a od toho, ako často sa vraciate. Nikto na to nemôže odpovedať za vás, a práve o to ide.

4. Kde leží hranica smerovania

Smerovač, ktorý sa rozhoduje nanovo pri každom kroku, robí rozhodnutie bez potrebných informácií a zakaždým, keď zmení názor, platí za zápis do vyrovnávacej pamäte.

Dobré hranice smerovania sú také, cez ktoré sa relácia nevracia späť: celá čiastková úloha, samostatná fáza, úloha na pozadí.

5. Či rozhodnutie vidíte a môžete ho prepísať

Keď kvalita výstupu klesne, inžinier musí rýchlo odpovedať na jednu otázku: zmenil sa model, alebo ja? Smerovač, ktorý zaznamenáva, ktorý model vybral, prečo ho vybral a koľko to stálo, sa dá ladiť. Smerovač, ktorý to nerobí, je zdrojom záhadných regresií.

Trvajte na poli modelu pre každú požiadavku, poli nákladov pre každú požiadavku a možnosti prepísať rozhodnutie.

6. Dosah škôd, pretože smerovač má vaše kľúče

Smerovač je už svojou konštrukciou súčasťou cesty prihlasovacích údajov. Má kľúče poskytovateľov a pri vlastnom hostovaní môže mať aj cloudové prihlasovacie údaje. Je preto závislosťou s vysokou hodnotou. Pri hodnotení smerovača sa pýtajte, ako sa distribuuje, či sú vydania podpísané, či sa pri nasadení pripínajú závislosti ku konkrétnym verziám a k čomu má prístup na hostiteľskom systéme. Vlastné hostovanie nie je automaticky bezpečnejšie než spravované riešenie; vystavuje vás iným rizikám.

7. Kto zaň bude zodpovedať o osemnásť mesiacov

Preto sa na hodnotiacom stretnutí pýtajte, aký je plán ďalšieho vývoja pod súčasným vlastníkom a aký je postup migrácie, ak sa vývoj zastaví.

Kedy by ste LLM smerovač nemali používať?

Keď je vaša prevádzka rovnomerne náročná: Úspory zo smerovania závisia od toho, nakoľko je vaša prevádzka nerovnomerná, nie od toho, aký inteligentný je smerovač.

Čo urobiť ďalej?

Teraz poznáte dve otázky, ktoré odlišujú smerovač, ktorý bude fungovať, od takého, ktorý sa dobre predvedie: aký je jeho pomer optimálneho výberu a čo sa stane, keď sa zmení typ úlohy.

Začnite prvým krokom. Pridajte do záznamov požiadaviek počet tokenov vstupu načítaných z vyrovnávacej pamäte a typ úlohy a nechajte ich zaznamenávať týždeň. Práve toto jedno pole rozhoduje o tom, či máte skutočnú hodnotu f, alebo iba odhad.

Často kladené otázky

Čo je LLM smerovač?

LLM smerovač je rozhodovacia vrstva medzi vašou aplikáciou a skupinou modelov, ktorá každú požiadavku odošle modelu, pri ktorom je najväčšia pravdepodobnosť, že ju prijateľne vyrieši za najnižšie náklady. Smerovače pred generovaním sa rozhodujú len na základe promptu; kaskádové smerovače najprv umožnia odpovedať lacnému modelu a požiadavku presunú ďalej, keď hodnotiaci systém odpoveď zamietne. Väčšina produkčných systémov dnes kombinuje oba prístupy.

Šetria LLM smerovače skutočne peniaze?

Áno, ale oveľa menej, než naznačujú údaje v titulkoch, a výška úspor závisí od vašej prevádzky, nie od smerovača. Vypočítajte S = f x (1 - r) na základe vlastných záznamov skôr, než uveríte údajom ktoréhokoľvek dodávateľa.

Aký je rozdiel medzi LLM smerovačom a AI bránou?

Brána vám poskytne jeden koncový bod, prepnutie pri zlyhaní, správu kľúčov, rozpočty a pozorovateľnosť naprieč viacerými poskytovateľmi. Smerovač rozhoduje, ktorý model spracuje konkrétnu požiadavku. Väčšina brán dnes obsahuje smerovač, ale tieto dve možnosti sú nezávislé.

Môžem si namiesto kúpy vytvoriť vlastný LLM smerovač?

Môžete a práca spojená s meraním je v oboch prípadoch rovnaká, preto najprv vykonajte prvé tri kroky vyššie uvedeného postupu. Ak si ho vytvoríte, začnite vyhľadávacou tabuľkou podľa typu úlohy. Naučený klasifikátor pridajte až vtedy, keď sa preukáže, že táto základná verzia nestačí.

Preruší prepínanie modelov ukladanie promptov do vyrovnávacej pamäte?

Prechod na iný model vás stojí zápis do vyrovnávacej pamäte nového modelu, účtovaný ako 1.25x základnej ceny vstupu pri päťminútovom TTL, v porovnaní s 0.1x za čítanie z opustenej vyrovnávacej pamäte. Kompromis závisí od dĺžky prefixu a od toho, ako často sa vraciate, preto ho zmerajte na vlastnej prevádzke.

Využite tohto sprievodcu s Ailoot

Prepojte modely AI so svojimi aplikáciami, agentmi a automatizáciami prostredníctvom jediného API Ailoot. Vyberte model vhodný pre svoju úlohu a začnite podľa dokumentácie Ailoot.