Blogg

Så utvärderar du en LLM-router för produktion

Markdown

En källbaserad guide för att utvärdera routningsbeslut, förändringar i uppgifter, effekter av promptcache, observerbarhet, autentiseringsuppgifter och produktionsutrullning.

Hur väljer du en för din egen arbetsbelastning?

1. Logga fälten som avgör allt: Per anrop: modell, indatatoken, cachade indatatoken, cache-skrivtoken, utdatatoken, latens, uppgiftstyp och om resultatet godkändes eller försöktes igen. Fältet för cachad indata är det som teamen hoppar över och som avgör om routning över huvud taget kan hjälpa dig. En vecka med detta kostar en eftermiddag i instrumentering.

2. Beräkna ditt tak innan du börjar jämföra alternativ: Den maximala besparingen är S = f x (1 - r), där f är andelen anrop som kan flyttas bort från frontier-modellen och r är kostnaden för den billiga modellen som andel av frontier-modellens kostnad. Båda värdena kommer från steg ett. Lägg i stället tiden på promptcache, batchendpoints och resonemangsnivå.

3. Skapa en golden set från din egen trafik, per uppgiftsklass: Femtio till tvåhundra verkliga förfrågningar med kända bra resultat, samplade från dina loggar i stället för att skrivas för hand. Det här är artefakten som gör alla senare samtal med en leverantör konkreta. Utan den jämför du marknadsföring.

4. Testa de två villkor som förutsäger beteendet i produktion: Skuggkör först routern på live-trafik och jämför den routade kostnaden med en baslinje där enbart frontier-modellen används, beräknad med en varm cache, vilket är den enda rättvisa jämförelsen. För det andra, och det här steget gör ingen, håll undan en uppgiftsklass som routern aldrig har sett och mät den där. Avsnitt 2 förklarar varför. En router som verkar fungera bra med din kalibreringsmängd men fallerar inom ett nytt funktionsområde kommer inte att tala om det för dig.

5. Villkora utrullningen med utvärderingen och fortsätt köra den: Kräv att den billiga modellen klarar en angiven gräns för varje uppgiftsklass innan den klassen kan routas. Fortsätt sedan köra jobbet, eftersom modellversionerna förändras under dig och en router som kalibrerades i mars beskriver en modelluppsättning som inte längre finns.

Vad skiljer en LLM-router för produktion från en demo?

1. Optimalitet, inte den stora besparingssiffran

En besparingssiffra utan en kvalitetssiffra bredvid är en halv mening.

Optimalitet är den dimension som ingen marknadsför, och det är den som avgör din faktura. Den visar hur ofta routern valde den billigaste modellen som ändå svarade rätt. En router kan visa en bra träffsäkerhetssiffra samtidigt som den slösar pengar.

Be alla leverantörer om kvoten för optimala val. Om de inte kan ta fram den har de inte mätt det du köper.

2. Tålighet när uppgiftstypen förändras

Köp routern som har sett trafik som liknar din, och kräv att få se ett resultat på en fördelning som den inte har finjusterats för.

3. Vad den gör när cachen är varm

En router är bara så bra som mekanismen under den.

Anthropic publicerar multiplikatorerna: en cachad läsning kostar 0.1x basindatan, en cacheskrivning med fem minuters giltighetstid kostar 1.25x och en skrivning med en timmes giltighetstid kostar 2x. Ett modellbyte under en tur kostar alltså ungefär tolv gånger så mycket som det skulle ha kostat att stanna kvar med samma prefix, och det lönar sig bara om den nya modellen behåller sessionen.

Det här går ihop. Leverantören håller ditt övergivna prefix varmt, så det är billigt att återvända; den dyra delen är skrivningen på modellen du bytte till. Om den avvägningen lönar sig beror på hur långa dina prefix är och hur ofta du återvänder. Ingen kan svara på det åt dig, och det är poängen.

4. Var routningsgränsen går

En router som fattar ett nytt beslut vid varje tur fattar ett beslut utan att ha den information som behövs, och betalar för en cacheskrivning varje gång den ändrar sig.

Bra routningsgränser är sådana som en session inte går tillbaka över: en hel deluppgift, en avgränsad fas eller ett bakgrundsjobb.

5. Om du kan se och åsidosätta beslutet

När kvaliteten på utdata sjunker behöver en ingenjör snabbt kunna svara på en fråga: ändrades modellen, eller ändrade jag den? En router som loggar vilken modell den valde, varför den valde den och vad den kostade går att felsöka. En som inte gör det är en källa till mystiska regressioner.

Kräv ett modelfält per förfrågan, ett kostnadsfält per förfrågan och en möjlighet att åsidosätta valet.

6. Konsekvensradie, eftersom routern har dina nycklar

En router ligger per konstruktion på vägen för autentiseringsuppgifterna. Den har leverantörsnycklar och kan även ha molnuppgifter vid en självhostad driftsättning. Det gör den till ett beroende med högt värde. När du utvärderar en router, fråga hur den distribueras, om versionerna är signerade, om driftsättningsvägen låser beroenden och vad den kan läsa på värden. Självhostad är inte automatiskt säkrare än hanterad; den har en annan exponering.

7. Vem som ansvarar för den om arton månader

Det är ett skäl att fråga under utvärderingssamtalet hur färdplanen ser ut med nuvarande ägare och vilken migreringsvägen är om produkten upphör.

När bör du inte använda en LLM-router?

När din trafik är jämnt svår: Besparingarna från routning följer hur ojämn din trafik är, inte hur smart routern är.

Vad bör du göra härnäst?

Nu har du de två frågorna som skiljer en router som kommer att fungera från en som kommer att göra bra ifrån sig i en demo: vad är dess kvot för optimala val, och vad händer när uppgiftstypen förändras?

Börja med steg ett. Lägg till cachade indatatoken och uppgiftstyp i dina förfrågningsloggar och låt loggningen pågå i en vecka. Det enda fältet är skillnaden mellan ett faktiskt värde för f och en gissning.

Vanliga frågor

Vad är en LLM-router?

En LLM-router är ett beslutsled mellan din applikation och en grupp modeller. Den skickar varje förfrågan till den modell som mest sannolikt kan slutföra den på ett godtagbart sätt till lägsta kostnad. Router före generering väljer utifrån enbart prompten; kaskadroutrar låter en billig modell svara först och eskalerar när en bedömare underkänner svaret. De flesta produktionssystem kombinerar numera båda.

Sparar LLM-routrar faktiskt pengar?

Ja, men mycket mindre än de stora besparingssiffrorna antyder, och beloppet beror på din trafik snarare än på routern. Beräkna S = f x (1 - r) från dina egna loggar innan du tror på någon leverantörssiffra.

Vad är skillnaden mellan en LLM-router och en AI-gateway?

En gateway ger dig en endpoint, failover, nyckelhantering, budgetar och observerbarhet för många leverantörer. En router avgör vilken modell som hanterar en viss förfrågan. De flesta gateways innehåller numera en router, men funktionerna är fristående.

Kan jag bygga en egen LLM-router i stället för att köpa en?

Det kan du, och mätarbetet är identiskt oavsett vilket, så gör först steg ett till tre i sekvensen ovan. Om du bygger en själv kan du börja med en uppslagstabell per uppgiftstyp. Lägg till en inlärd klassificerare först när den baslinjen bevisligen inte räcker.

Förstör ett modellbyte promptcachen?

Att byta modell kostar en cacheskrivning på den nya modellen, debiterad till 1.25x basindatan för en TTL på fem minuter, jämfört med 0.1x för läsningen du övergav. Avvägningen beror på prefixets längd och hur ofta du återvänder, så mät den på din egen trafik.

Använd den här guiden med Ailoot

Anslut AI-modeller till dina applikationer, agenter och automatiseringar via ett enda Ailoot-API. Välj den modell som passar din uppgift och följ Ailoots dokumentation för att komma igång.