Blog

Sådan evaluerer du en LLM-router til produktion

Markdown

En kildebaseret guide til evaluering af routningsbeslutninger, ændringer i opgavetyper, effekter af promptcache, observerbarhed, legitimationsoplysninger og udrulning i produktion.

Hvordan vælger du en til din egen arbejdsbelastning?

1. Log de felter, der afgør alt: For hvert kald: model, inputtokens, cachelagrede inputtokens, cache-skrivetokens, outputtokens, latenstid, opgavetype, og om resultatet blev accepteret eller forsøgt igen. Feltet for cachelagret input er det, teams springer over, og det afgør, om routing overhovedet kan hjælpe dig. En uges dataindsamling koster en eftermiddag med instrumentering.

2. Beregn dit loft, før du begynder at sammenligne: Den maksimale besparelse er S = f x (1 - r), hvor f er andelen af kald, der kan flyttes væk fra frontier-modellen, og r er den billige models pris som en andel af frontier-modellens pris. Begge værdier får du fra trin et. Brug i stedet tiden på promptcaching, batchendpoints og ræsonneringsindsats.

3. Opret et golden set ud fra din egen trafik for hver opgaveklasse: Halvtreds til to hundrede faktiske anmodninger med kendte gode resultater, udvalgt fra dine logfiler i stedet for skrevet i hånden. Det er den artefakt, der gør alle senere samtaler med en leverandør konkrete. Uden den sammenligner du markedsføring.

4. Test de to forhold, der forudsiger adfærden i produktion: Kør først routeren i skyggetilstand på live-trafik, og sammenlign den routede udgift med en baseline, der kun bruger frontier-modellen, beregnet med en varm cache – den eneste retfærdige sammenligning. For det andet – og det er det trin, ingen tager – skal du holde en opgaveklasse tilbage, som routeren aldrig har set, og måle den dér. Afsnit 2 forklarer hvorfor. En router, der ser fin ud på dit kalibreringssæt, men bryder sammen på et nyt funktionsområde, giver dig ikke besked.

5. Gør udrulningen afhængig af evalueringen, og bliv ved med at køre den: Kræv, at den billige model opfylder en fastsat grænse for hver opgaveklasse, før den klasse kan routes. Lad derefter jobbet fortsætte, for modelversionerne ændrer sig undervejs, og en router, der blev kalibreret i marts, beskriver en modelportefølje, som ikke længere findes.

Hvad adskiller en LLM-router til produktion fra en demo?

1. Optimalitet, ikke den opsigtsvækkende besparelse

Et besparelsestal uden et kvalitetstal ved siden af er kun en halv sætning.

Optimalitet er den dimension, ingen markedsfører, og det er den, der afgør din regning. Den viser, hvor ofte routeren valgte den billigste model, der stadig svarede korrekt. En router kan vise et godt præcisionstal, mens den bruger penge unødigt.

Bed enhver leverandør om deres andel af optimale valg. Hvis de ikke kan oplyse den, har de ikke målt det, du køber.

2. Robusthed, når opgavetypen ændrer sig

Køb den router, der har set trafik, som ligner din, og kræv at få vist et resultat på en fordeling, den ikke er blevet tunet til.

3. Hvad den gør, når cachen er varm

En router er kun så god som den mekanisme, den bygger på.

Anthropic offentliggør multiplikatorerne: En cachelæsning koster 0.1x basisinput, en cache-skrivning med fem minutters varighed koster 1.25x, og en skrivning med en times varighed koster 2x. Et skift under en tur koster altså omtrent tolv gange så meget, som det ville have kostet at blive på samme præfiks, og investeringen tjenes kun hjem, hvis den nye model fastholder sessionen.

Det hænger sammen. Udbyderen holder dit forladte præfiks varmt, så det er billigt at vende tilbage; den dyre del er skrivningen på den model, du skiftede til. Om den afvejning kan betale sig, afhænger af, hvor lange dine præfikser er, og hvor ofte du vender tilbage. Ingen kan svare på det for dig, og det er pointen.

4. Hvor routinggrænsen ligger

En router, der træffer en ny beslutning ved hver tur, træffer en beslutning uden at have de nødvendige oplysninger og betaler for en cache-skrivning, hver gang den skifter mening.

Gode routinggrænser er dem, en session ikke krydser tilbage over: en hel underopgave, en særskilt fase eller et baggrundsjob.

5. Om du kan se og tilsidesætte beslutningen

Når kvaliteten af output falder, skal en ingeniør hurtigt kunne svare på ét spørgsmål: Ændrede modellen sig, eller ændrede jeg den? En router, der logger, hvilken model den valgte, hvorfor den valgte den, og hvad den kostede, kan fejlsøges. En router, der ikke gør det, er en kilde til mystiske regressioner.

Kræv et modelfelt for hver anmodning, et omkostningsfelt for hver anmodning og en mulighed for at tilsidesætte valget.

6. Konsekvensradius, fordi routeren har dine nøgler

En router ligger af natur på legitimationsoplysningernes vej. Den har leverandørnøgler, og i en selvhostet udrulning kan den også have cloud-legitimationsoplysninger. Det gør den til en afhængighed af høj værdi. Når du evaluerer en router, så spørg, hvordan den distribueres, om udgivelser er signerede, om udrulningsprocessen fastlåser afhængigheder, og hvad den kan læse på værten. Selvhosting er ikke automatisk sikrere end en administreret løsning; den er eksponeret på en anden måde.

7. Hvem der har ansvaret for den om atten måneder

Det er en grund til at spørge under evalueringssamtalen, hvordan køreplanen ser ud under det nuværende ejerskab, og hvad migrationsvejen er, hvis produktet stopper.

Hvornår bør du ikke bruge en LLM-router?

Når din trafik er ensartet svær: Besparelserne ved routing afhænger af, hvor ujævn din trafik er, ikke af hvor intelligent routeren er.

Hvad skal du gøre nu?

Nu har du de to spørgsmål, der adskiller en router, der vil fungere, fra en, der vil klare sig godt i en demo: Hvad er dens andel af optimale valg, og hvad sker der, når opgavetypen ændrer sig?

Start med trin et. Føj cachelagrede inputtokens og opgavetype til dine anmodningslogfiler, og lad logningen køre i en uge. Det ene felt er forskellen mellem en reel værdi for f og et gæt.

Ofte stillede spørgsmål

Hvad er en LLM-router?

En LLM-router er et beslutningslag mellem din applikation og en samling modeller, som sender hver anmodning til den model, der med størst sandsynlighed kan løse den tilfredsstillende til den laveste pris. Routere før generering træffer beslutninger alene ud fra prompten; kaskaderende routere lader først en billig model svare og eskalerer, når en bedømmer afviser svaret. De fleste produktionssystemer kombinerer nu begge dele.

Sparer LLM-routere rent faktisk penge?

Ja, men langt mindre, end de opsigtsvækkende tal antyder, og beløbet afhænger af din trafik snarere end af routeren. Beregn S = f x (1 - r) ud fra dine egne logfiler, før du tror på et tal fra en leverandør.

Hvad er forskellen på en LLM-router og en AI-gateway?

En gateway giver dig ét endpoint, failover, nøgleadministration, budgetter og observerbarhed på tværs af mange leverandører. En router beslutter, hvilken model der skal håndtere en given anmodning. De fleste gateways leveres nu med en router, men de to funktioner er uafhængige.

Kan jeg bygge min egen LLM-router i stedet for at købe en?

Det kan du, og målearbejdet er identisk uanset hvad, så gennemfør først trin et til tre i rækkefølgen ovenfor. Hvis du bygger en selv, så start med en opslagstabel pr. opgavetype. Tilføj først en indlært klassifikator, når den baseline tydeligt ikke slår til.

Ødelægger et modelskift promptcaching?

Et skift koster en cache-skrivning på den nye model, faktureret til 1.25x basisinput for en TTL på fem minutter sammenlignet med 0.1x for den læsning, du opgav. Afvejningen afhænger af præfikslængden, og hvor ofte du vender tilbage, så mål den på din egen trafik.

Brug denne guide med Ailoot

Forbind AI-modeller med dine applikationer, agenter og automatiseringer via ét Ailoot-API. Vælg den model, der passer til din opgave, og følg Ailoot-dokumentationen for at komme i gang.