Kako oceniti usmerjevalnik LLM za produkcijo
MarkdownVodnik, ki temelji na virih, za ocenjevanje odločitev o usmerjanju, sprememb nalog, učinkov predpomnilnika pozivov, opazljivosti, poverilnic in uvedbe v produkcijo.
Kako izbrati usmerjevalnik za svojo delovno obremenitev?
1. Beležite polja, ki odločajo o vsem: Pri vsakem klicu: model, vhodne tokene, predpomnjene vhodne tokene, tokene za zapis v predpomnilnik, izhodne tokene, zakasnitev, vrsto naloge in podatek, ali je bil rezultat sprejet ali pa je bil klic ponovljen. Polje za predpomnjene vhodne tokene ekipe pogosto izpustijo, vendar prav ono odloča, ali vam lahko usmerjanje sploh pomaga. En teden beleženja stane popoldneva za instrumentacijo.
2. Preden začnete iskati, izračunajte zgornjo mejo: Največji prihranek je S = f x (1 - r), kjer je f delež klicev, ki lahko zapustijo najzmogljivejši model, r pa strošek cenejšega modela kot delež stroška najzmogljivejšega modela. Obe vrednosti dobite v prvem koraku. Čas raje namenite predpomnjenju pozivov, paketnim končnim točkam in naporu sklepanja.
3. Iz lastnega prometa sestavite zlati nabor za vsako vrsto naloge: Petdeset do dvesto resničnih zahtev z znanimi dobrimi rezultati, vzorčenih iz vaših dnevnikov, ne ročno sestavljenih. Ta artefakt omogoča, da so vsi poznejši pogovori s ponudnikom konkretni. Brez njega primerjate trženjske obljube.
4. Preizkusite pogoja, ki napovedujeta vedenje v produkciji: Najprej usmerjevalnik preizkusite v senci na živem prometu in primerjajte strošek usmerjenih zahtev z izhodiščnim stroškom uporabe najzmogljivejšega modela za vse zahteve, izračunanim s toplim predpomnilnikom, saj je to edina poštena primerjava. Drugič, in to je korak, ki ga nihče ne naredi: izločite vrsto naloge, ki je usmerjevalnik še ni videl, in tam izmerite njegovo uspešnost. Zato je pomembno 2. poglavje. Usmerjevalnik, ki je videti dober na kalibracijskem naboru, a odpove na novem področju funkcionalnosti, se ne bo sam oglasil.
5. Uvedbo pogojujte z evalvacijo in jo izvajajte še naprej: Preden določena vrsta naloge postane primerna za usmerjanje, zahtevajte, da cenejši model doseže določen prag za to vrsto naloge. Nato evalvacijo izvajajte neprekinjeno, saj se različice modelov spreminjajo, usmerjevalnik, kalibriran marca, pa opisuje nabor modelov, ki ne obstaja več.
Kaj loči produkcijski usmerjevalnik LLM od predstavitve?
1. Optimalnost, ne izpostavljeni prihranek
Podatek o prihranku brez podatka o kakovosti je le polovica povedi.
Optimalnost je merilo, ki ga nihče ne oglašuje, a prav ono odloča o vašem računu. Pove, kako pogosto je usmerjevalnik izbral najcenejši model, ki je še vedno pravilno odgovoril. Usmerjevalnik lahko doseže dobro natančnost, medtem ko zapravlja denar.
Vsakega ponudnika vprašajte po deležu optimalnih izbir. Če ga ne more navesti, ni meril tega, kar kupujete.
2. Odpornost ob spremembi vrste naloge
Kupite usmerjevalnik, ki je videl promet, podoben vašemu, in zahtevajte prikaz rezultatov na porazdelitvi, na kateri ni bil nastavljen.
3. Kaj se zgodi, ko je predpomnilnik topel
Usmerjevalnik je dober le toliko, kolikor je dober mehanizem pod njim.
Anthropic objavlja množitelje: branje iz predpomnilnika stane 0.1x osnovnega vhoda, petminutni zapis v predpomnilnik stane 1.25x, enourni zapis pa 2x. Prehod v drugi model torej stane približno dvanajstkrat toliko kot nadaljevanje v istem modelu za isti predponski del, povrne pa se le, če novi model obdrži sejo.
To je mogoče uskladiti. Ponudnik ohrani vaš opuščeni predponski del v toplem predpomnilniku, zato je vrnitev poceni; drag je zapis v predpomnilnik pri modelu, h kateremu ste prešli. Ali se ta kompromis izplača, je odvisno od dolžine vaših predponskih delov in pogostosti vračanja. Tega nihče ne more odgovoriti namesto vas, in prav v tem je bistvo.
4. Kje je meja usmerjanja
Usmerjevalnik, ki se znova odloča pri vsakem koraku, sprejema odločitev brez potrebnih informacij in ob vsaki spremembi mnenja plača zapis v predpomnilnik.
Dobre meje usmerjanja so tiste, čez katere seja ne gre nazaj: celotna podnaloga, ločena faza, opravilo v ozadju.
5. Ali lahko odločitev vidite in jo preglasite
Ko kakovost izhoda pade, mora inženir hitro odgovoriti na eno vprašanje: ali se je spremenil model ali jaz? Usmerjevalnik, ki beleži, kateri model je izbral, zakaj ga je izbral in koliko je to stalo, je mogoče razhroščiti. Tisti, ki tega ne počne, je vir skrivnostnih regresij.
Zahtevajte polje za model, polje za strošek in možnost preglasitve za vsako zahtevo.
6. Obseg posledic, saj ima usmerjevalnik vaše ključe
Usmerjevalnik je že po zasnovi del poti poverilnic. Ima ključe ponudnikov, pri samostojno gostovani uvedbi pa lahko tudi poverilnice za oblak. Zato je dragocena odvisnost. Pri ocenjevanju usmerjevalnika vprašajte, kako se distribuira, ali so izdaje podpisane, ali so odvisnosti na poti uvedbe zaklenjene na določene različice in do česa lahko dostopa na gostitelju. Samostojno gostovanje ni samodejno varnejše od upravljanega; izpostavljeno je drugačnim tveganjem.
7. Kdo bo zanj odgovoren čez osemnajst mesecev
To je razlog, da med evalvacijskim pogovorom vprašate, kakšen je načrt razvoja pod trenutnim lastništvom in kakšna je pot selitve, če se razvoj ustavi.
Kdaj ne bi smeli uporabljati usmerjevalnika LLM?
Ko je vaš promet enakomerno zahteven: Prihranki pri usmerjanju so odvisni od neenakomernosti prometa, ne od bistrosti usmerjevalnika.
Kaj storiti v nadaljevanju?
Zdaj poznate dve vprašanji, ki ločita usmerjevalnik, ki bo deloval, od tistega, ki bo dobro deloval na predstavitvi: kakšen je njegov delež optimalnih izbir in kaj se zgodi ob spremembi vrste naloge.
Začnite s prvim korakom. V dnevnikom zahtev dodajte število predpomnjenih vhodnih tokenov in vrsto naloge ter beleženje pustite teči en teden. Prav to polje loči resnično vrednost za f od ugibanja.
Pogosta vprašanja
Kaj je usmerjevalnik LLM?
Usmerjevalnik LLM je odločitvena plast med vašo aplikacijo in naborom modelov, ki vsako zahtevo pošlje modelu, za katerega je najverjetneje, da jo bo sprejemljivo opravil z najnižjim stroškom. Usmerjevalniki pred generiranjem se odločijo samo na podlagi poziva; kaskadni usmerjevalniki najprej dovolijo odgovor cenejšemu modelu in zahtevo preusmerijo na zmogljivejši model, kadar ocenjevalnik odgovor zavrne. Večina produkcijskih sistemov zdaj združuje oboje.
Ali usmerjevalniki LLM res prihranijo denar?
Da, vendar precej manj, kot nakazujejo izpostavljene številke, prihranek pa je odvisen od vašega prometa, ne od usmerjevalnika. Preden verjamete številkam katerega koli ponudnika, izračunajte S = f x (1 - r) na podlagi lastnih dnevnikov.
Kakšna je razlika med usmerjevalnikom LLM in prehodom AI?
Prehod vam zagotavlja eno končno točko, preklop ob odpovedi, upravljanje ključev, proračune in opazljivost za več ponudnikov. Usmerjevalnik odloča, kateri model bo obravnaval določeno zahtevo. Večina prehodov zdaj vključuje usmerjevalnik, vendar sta ti dve zmožnosti neodvisni.
Ali lahko namesto nakupa izdelam svoj usmerjevalnik LLM?
Lahko, merilno delo pa je v obeh primerih enako, zato najprej izvedite prve tri korake zgornjega zaporedja. Če ga izdelate, začnite z iskalno tabelo po vrsti naloge. Naučeni klasifikator dodajte šele, ko se izkaže, da ta osnovna rešitev ne zadostuje.
Ali preklop modela prekine predpomnjenje pozivov?
Prehod na drug model vas stane zapis v njegov predpomnilnik, obračunan po 1.25x osnovnega vhoda pri petminutnem TTL, v primerjavi z 0.1x za branje iz opuščenega predpomnilnika. Kompromis je odvisen od dolžine predponskega dela in pogostosti vračanja, zato ga izmerite na lastnem prometu.
Uporabite ta vodnik z Ailoot
Povežite modele AI s svojimi aplikacijami, agenti in avtomatizacijami prek enega API-ja Ailoot. Izberite model, ki ustreza vaši nalogi, in za začetek sledite dokumentaciji Ailoot.