# AI modelių maršrutizavimas: paaiškinimas

> Paaiškinama, ką daro modelių maršrutizavimas, kaip priimami maršrutizavimo sprendimai, kaip audituoti maršrutizavimo steką ir į kokius veiksnius atsižvelgti renkantis maršrutizavimo būdą.

Source: https://ailoot.ai/blog/lt/ai-model-routing-explained/
Canonical: https://ailoot.ai/blog/lt/ai-model-routing-explained/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100070
Revision: sha256-9c5a3617e509dfe300701590fc2b1c94524c0d7934165707f424c8000680579d


AI modelių maršrutizavimas leidžia siųsti raginimus skirtingiems dideliems kalbos modeliams per vieną API. LLM maršrutizatorius parenka, kuris modelis apdoros kiekvieną užklausą, atsižvelgdamas į kainą, greitį arba pajėgumus. Tai skamba paprastai, tačiau dauguma komandų nesuvokia, kur iš tikrųjų keliauja jų duomenys.

## Kas yra AI modelių maršrutizavimas?

AI modelių maršrutizavimas – tai raginimų siuntimas skirtingiems LLM per vieną vieningą sąsają. Užuot tiesiogiai susiejusi programą su vienu modeliu, jūsų programa siunčia kiekvieną užklausą į maršrutizavimo sluoksnį. Maršrutizatorius nusprendžia, kuris modelis apdoros kiekvieną raginimą.

Įsivaizduokite tai kaip kalbos modelių apkrovos balansavimo priemonę. Žiniatinklio apkrovos balansavimo priemonė paskirsto srautą tarp serverių. LLM maršrutizatorius paskirsto raginimus tarp skirtingų tiekėjų modelių.

Maršrutizatorius gali rinktis modelius pagal kainą, delsą, konteksto ilgį arba pajėgumus. Kai kurie maršrutizatoriai leidžia nustatyti taisykles. Kiti naudoja algoritmus, kad parinktų pigiausią modelį, kuris pasiekia nustatytą kokybės ribą.

- Vienas API galinis taškas pakeičia kelias tiekėjų integracijas
- Maršrutizatorius parenka modelį pagal jūsų nustatytas taisykles arba savo pasirinktus numatytuosius nustatymus
- Atsarginis maršrutizavimas siunčia raginimą atsarginiam modeliui, jei pirmasis neveikia
- Kaina pagrįstas maršrutizavimas parenka pigiausią modelį, atitinkantį kokybės slenkstį
- Dauguma maršrutizatorių suvienodina API formatą, todėl modelius galima keisti nekeičiant kodo

LLM maršrutizatorius suteikia lankstumo, tačiau be patikros galite nežinoti, kuris modelis apdorojo konkrečią užklausą.

<div id="why-companies-use-routers" class="section">

## Kodėl įmonės naudoja LLM maršrutizatorius

Įmonės LLM maršrutizatorius naudoja dėl trijų pagrindinių priežasčių: išlaidų mažinimo, perjungimo sutrikus tiekimui ir eksperimentavimo. Kiekviena priežastis pagrįsta. Problema ta, kad dauguma komandų tuo apsiriboja ir niekada nepaklausia, kur iš tikrųjų atsiduria jų duomenys.

Kaina yra pagrindinis veiksnys. Skirtingų modelių vieno žetono kainos skiriasi. Maršrutizatorius, kuris paprastoms užduotims parenka pigiausią modelį, o sudėtingoms palieka brangius modelius, gali sumažinti išlaidas žetonams .

Perjungimas sutrikus tiekimui yra antroji priežastis. Jei tiekėjas nustoja veikti, maršrutizatorius gali siųsti raginimus kitam tiekėjui. Jūsų programa toliau veikia be rankinio įsikišimo.

Eksperimentavimas – trečioji priežastis. Komandos nori išbandyti naujus modelius nekeisdamos gamybinio kodo. Maršrutizatorius leidžia išbandyti modelius A/B būdu per stabilią API.

- Išlaidų mažinimas: paprastas užduotis maršrutizuokite pigiems modeliams, sudėtingas – brangiems
- Perjungimas sutrikus tiekimui: automatinis perjungimas, kai tiekėjas patiria veiklos sutrikimą
- Lankstumas renkantis tiekėją: išbandykite naujus modelius neperrašydami integracijos kodo
- Vieningi žurnalai: viena vieta, kurioje matomas visas modelių naudojimas pas skirtingus tiekėjus
- Užklausų dažnio ribojimų valdymas: paskirstykite srautą tarp tiekėjų, kad išvengtumėte apribojimų

Išlaidų mažinimas ir perjungimas sutrikus tiekimui yra tikra nauda, tačiau ji nepateisina duomenų srauto vietos ignoravimo.

<div id="routing-tool-landscape" class="section">

## Visa AI maršrutizavimo įrankių rinka

Maršrutizavimo įrankių rinka skirstoma į tris kategorijas: talpinamas prekyvietes, atvirojo kodo tarpinius serverius ir debesijos tiekėjų šliuzus. Kiekviena kategorija duomenų buvimo vietą ir modelio parinkimą tvarko skirtingai.

## Kaip priimami maršrutizavimo sprendimai

Maršrutizavimo sprendimai priimami vienu iš keturių būdų: rankiniu parinkimu, taisyklėmis pagrįstu maršrutizavimu, išlaidų optimizavimu arba kokybe pagrįstu maršrutizavimu. Įrankio naudojamas metodas lemia, ar galite kontroliuoti, kur keliauja duomenys.

Rankinis parinkimas reiškia, kad kiekvienai užklausai modelį pasirenkate patys. Dauguma įrankių šią galimybę palaiko kaip atsarginį variantą.

Taisyklėmis pagrįstas maršrutizavimas leidžia nustatyti sąlygas. Pavyzdžiui, programavimo užduotis siųskite tinkamam modeliui, o paprastus klausimus – pigiam modeliui. Taisyklės yra aiškios, todėl galite neįtraukti konkrečių tiekėjų ar modelių.

Išlaidų optimizavimas nukreipia užklausą į pigiausią modelį, atitinkantį pajėgumų slenkstį.

- Rankinis: kiekviename API iškvietime nurodote modelį
- Pagrįstas taisyklėmis: apibrėžiate sąlygas, pagal kurias užduočių tipai susiejami su modeliais
- Optimizuojantis išlaidas: maršrutizatorius automatiškai parenka pigiausią tinkamą modelį
- Pagrįstas kokybe: maršrutizatorius įvertina modelius pagal testus ir užduočiai parenka aukščiausią įvertinimą gavusį modelį
- Atsarginių variantų grandinės: maršrutizatorius paeiliui bando modelius, kol vienas suveikia

<div id="compliance-blind-spot" class="section">

## Kaip audituoti savo AI maršrutizavimo steką

Auditas prasideda vienu klausimu: kuriems modeliams jūsų maršrutizavimo įrankis šiuo metu gali siųsti duomenis? Jei negalite į jį atsakyti, turite spragą.

Pirmas žingsnis: išvardykite visus modelių galinius taškus, kuriuos sukonfigūruota naudoti jūsų maršrutizatoriuje.

Antras žingsnis: kiekvienam modeliui nustatykite talpinimo tiekėją ir duomenų apdorojimo vietą.

Trečias žingsnis: palyginkite duomenų apdorojimo vietas su jūsų atitikties reikalavimais.

Ketvirtas žingsnis: užblokuokite arba pašalinkite visus jūsų reikalavimų neatitinkančius modelius. Tada nustatykite stebėseną, kad aptiktumėte konfigūracijos pokyčius.

- Išvardykite visus modelių galinius taškus, kuriuos gali pasiekti jūsų maršrutizatorius
- Nustatykite kiekvieno modelio duomenų apdorojimo vietą
- Užblokuokite reikalavimų neatitinkančius modelius ir dokumentuokite sprendimą
- Stebėkite konfigūracijos pokyčius, kad užblokuoti modeliai nebūtų vėl įtraukti

<div id="choosing-the-right-routing-tool" class="section">

## Kaip pasirinkti tinkamą maršrutizavimo įrankį

Tinkamas įrankis priklauso nuo jūsų atitikties reikalavimų, inžinerinių pajėgumų ir to, kiek kontrolės reikia duomenų srautui. Vieno geriausio atsakymo nėra.

Jei dirbate reguliuojamoje pramonės šakoje, pradėkite nuo įrankių, kurie iš karto suteikia duomenų buvimo vietos kontrolės priemones.

Jei jums reikia maksimalaus lankstumo ir turite stiprią DevOps komandą, savarankiškai talpinamas maršrutizavimo sluoksnis suteikia visišką kontrolę, nes patys talpinate ir konfigūruojate kiekvieną galinį tašką. Tačiau ši kontrolė priklauso nuo to, kaip drausmingai valdote konfigūraciją.

## Dažnai užduodami klausimai

## Pritaikykite šį vadovą su Ailoot

Sujunkite AI modelius su savo programomis, agentais ir automatizacijomis per vieną Ailoot API. Pasirinkite jūsų užduočiai tinkamą modelį ir pradėkite vadovaudamiesi [Ailoot dokumentacija](https://ailoot.ai/docs/).


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.
