# Kas yra modelių maršrutizavimas?

> Apibrėžia modelių maršrutizavimą ir išdėsto kriterijus, pagal kuriuos vertinamos maršrutizavimo taisyklės, pseudonimai, srautų paskirstymas tarp teikėjų, pakartotinio bandymo ir atsarginio maršruto elgsena, apkrovos balansavimas bei sąnaudų ir delsos kompromisai.

Source: https://ailoot.ai/blog/lt/what-is-model-routing/
Canonical: https://ailoot.ai/blog/lt/what-is-model-routing/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-e53d4ebeb228f02045cb5228c2d1c08776b667639dbacd816e9d6ac29edf8c4e


Modelių maršrutizavimas – tai procesas, kai gaunama LLM užklausa jos pateikimo metu pagal politiką, o ne programos kodą, susiejama su konkrečiu teikėju, modelio identifikatoriumi ir API raktu. Modelių maršrutizatorius įvertina užklausos kontekstą (antraštes, klientą, biudžeto būseną, raginimo sudėtingumą) ir teikėjo būseną (klaidų dažnį, delsą, likusią užklausų limito atsargą), tada prieš iškviesdamas teikėją perrašo tikslą. Modelių maršrutizavimo sluoksnis, mažinantis LLM žetonų sąnaudas, paprastai yra pirmoji vieta, kur komandos pamato grąžą.

Šis terminas apima tris mechanizmus, kurie dažnai painiojami:

- **Statinis maršrutizavimas** susieja modelio pavadinimą su teikėjais pagal fiksuotus svorius.
- **Sąlyginis maršrutizavimas** įvertina kiekvienos užklausos išraišką (pakopos antraštę, komandą, sunaudotą biudžetą, sudėtingumo pakopą) ir, jai sutapus, pakeičia tikslą.
- **Adaptyvusis maršrutizavimas** nuolat perskaičiuoja teikėjų ir raktų svorius pagal stebimus klaidų dažnius ir delsą.

Gamybinėje aplinkoje veikiančiam LLM maršrutizatoriui reikia visų trijų mechanizmų; įrankis, siūlantis vieną, kitus du palieka programos kodui. Išsamiau apie antrąjį mechanizmą rašoma išmaniojo LLM maršrutizavimo vadove apie tinkamiausio modelio parinkimą kiekvienai užklausai.

## Kaip įvertinti LLM maršrutizatorių

| Kriterijus | Ką patikrinti |
|----|----|
| Maršrutizavimo taisyklių kalba | Ar taisyklė gali nuskaityti antraštes, klientą, biudžeto naudojimą ir užklausos tipą, kai pirmenybės tvarka yra apibrėžta? |
| Modelių pseudonimai | Ar `best-model` gali būti susietas su skirtingais identifikatoriais pagal raktą, komandą ar aplinką, nekeičiant kodo? |
| Svertinis paskirstymas | Ar svoriai taikomi teikėjo ir API rakto lygmeniu bei normalizuojami kiekvienam modeliui? |
| Atsarginio maršruto ir pakartotinio bandymo semantika | Ar kiekvienas atsarginis maršrutas turi atskirą pakartotinių bandymų biudžetą? Ar `429` apdorojamas kitaip nei `401`? |
| Adaptyvusis apkrovos balansavimas | Ar svoriai perskaičiuojami pagal realiuoju laiku stebimą klaidų dažnį ir delsą, ir kaip greitai atkurtas maršrutas vėl pradedamas naudoti? |
| Sąnaudų įvertinimas | Ar kainodaros duomenys sinchronizuojami ir gali būti pakeisti, ir ar taisyklė gali reaguoti į sunaudotą biudžetą? |
| Papildoma delsa ir diegimas | Išmatuota delsa esant ilgalaikiam pralaidumui; savarankiškai talpinamas, talpinamas paslaugos teikėjo ar tik biblioteka? |

Pakartotinio bandymo ir atsarginio maršruto skirtis yra kriterijus, kurio tiekėjų palyginimuose dažniausiai trūksta: pakartotinis bandymas dar kartą kreipiasi į tą patį teikėją, atsarginis maršrutas perkelia užklausą kitam teikėjui, o maršrutizatorius, kuris juos sujungia, negali jiems nustatyti atskirų biudžetų.

## Dažniausi modelių maršrutizavimo įrankių iššūkiai

Daugelį gamybinių modelių maršrutizavimo sutrikimų lemia kelios pasikartojančios spragos, kurių kiekvienai yra konfigūracijos lygmens sprendimas.

- **Maršrutizavimo būsena saugoma programos kode.** Paslaugose įrašytų modelių pavadinimų, teikėjų prioritetų ir atsarginių maršrutų sąrašų negalima keisti be naujo diegimo; virtualiųjų raktų konfigūracija ir maršrutizavimo taisyklės leidžia juos audituoti.
- **Pakartotiniai bandymai neatsižvelgia į klaidos klasę.** Dar kartą bandyti po `401` klaidos su laukimo intervalais – tai švaistyti sekundes ir vis tiek nepasiekti sėkmės; maršrutizatorius turėtų pažymėti kredencialą kaip neveikiantį ir iškart jį pakeisti..
- **Nėra maršrutizavimo sprendimo įrašo.** Teikėjo užklausų limito elgseną, pavyzdžiui, OpenAI pakopinius RPM ir TPM limitus, daug lengviau suprasti, kai šliuzas registruoja, kuris variklis parinko maršrutą ir kuris raktas pasiekė limitą.

## Dažnai užduodami klausimai

### Kas yra LLM maršrutizatorius?

LLM maršrutizatorius – tai komponentas, kuris pagal sukonfigūruotas taisykles, statinius svorius arba tiesioginius našumo rodiklius kiekvienai užklausai parenka teikėją, modelį ir kredencialą. Jis veikia tarp programos ir teikėjų, prieš iškvietimą perrašo užklausos tikslą, o maršrutui nepavykus tvarko pakartotinius bandymus ir atsarginius maršrutus.

### Kuo skiriasi modelių maršrutizatorius ir AI šliuzas?

Modelių maršrutizatorius nusprendžia, kur keliaus užklausa. AI šliuzas vykdo užklausą ir taip pat tvarko kredencialus, biudžetus, užklausų limitus, apsaugos priemones ir žurnalus.

### Kaip modelių maršrutizavimas sumažina LLM sąnaudas?

Modelių maršrutizavimas mažina sąnaudas, nes kiekvieną užklausą siunčia pigiausiam jos kokybės reikalavimus atitinkančiam modeliui ir nukreipia srautą nuo teikėjų, kurie artėja prie biudžeto arba užklausų limito ribos.

### Kuo skiriasi pakartotiniai bandymai ir atsarginiai maršrutai?

Po laikino sutrikimo, pavyzdžiui, `5xx` arba `429`, pakartotinai bandoma kreiptis į tą patį teikėją, pasirinktinai naudojant kitą API raktą. Atsarginis maršrutas perkelia užklausą kitam teikėjui ir modeliui, kai pirminiam maršrutui skirtas pakartotinių bandymų skaičius išnaudotas.

### Kas yra adaptyvusis apkrovos balansavimas LLM maršrutizatoriuje?

Adaptyvusis apkrovos balansavimas perskaičiuoja maršrutų svorius pagal stebimus rodiklius, o ne pagal statinę konfigūraciją.

## Pritaikykite šį vadovą su Ailoot

Prijunkite AI modelius prie savo programų, agentų ir automatizavimo procesų naudodami vieną Ailoot API. Pasirinkite jūsų užduočiai tinkamą modelį ir pradėkite vadovaudamiesi [Ailoot dokumentacija](https://ailoot.ai/docs/).


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.
