# Kas yra LLM maršrutizavimas?

> Kaip LLM maršrutizavimas parenka modelius pagal užklausos reikalavimus, kainą, kokybę, delsą, kontekstą ir politiką.

Source: https://ailoot.ai/blog/lt/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/lt/what-is-llm-routing/
Language: lt
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-d94f6f1df87d9d9b5ea99a8c9165fcb361c06ca831e677150713011cf53d030a


**LLM maršrutizavimas** – tai praktika, kai kiekviena AI užklausa siunčiama modeliui ir teikėjui, kurie jai tinkamiausi, užuot kiekvieną kreipinį tiesiogiai susiejus su vienu modeliu. Maršrutizatorius įvertina užklausą pagal jūsų tikslus, kainą, kokybę, delsą, konteksto ilgį ir politiką, tada nukreipia ją į geriausiai tinkančią parinktį.

Dauguma komandų pradeda susiedamos savo programą tiesiogiai su vienu teikėju, dažniausiai „OpenAI“. Tai veikia, kol nebeveikia: pigesnis modelis galėtų taip pat gerai apdoroti 60 % jūsų srauto, teikėją ištinka sutrikimas, užklausai reikia ilgesnio konteksto lango arba reguliuojamų reikalavimų darbo krūvis negali palikti jurisdikcijos. Maršrutizatorius visa tai išsprendžia per vieną galinį tašką.

## Kaip veikia LLM maršrutizavimas

Nukreipkite esamą su „OpenAI“ suderinamą SDK į maršrutizatorių, o ne į teikėją. Kiekvienai užklausai maršrutizatorius:

1.  **Sukuria kandidatų rinkinį** iš modelių, galinčių apdoroti užklausą (tinkamos galimybės, konteksto langas ir prieinamumas).
2.  **Įvertina kandidatus** pagal jūsų tikslą, pavyzdžiui, „pigiausia parinktis, viršijanti kokybės ribą“ arba „mažiausia išmatuota delsa“.
3.  **Taiko apribojimus**, pavyzdžiui, biudžetus, leidžiamus teikėjus, duomenų vietos reikalavimus ir kiekvienam raktui taikomus leidžiamų modelių sąrašus.
4.  **Nukreipia užklausą ir pasitelkia atsarginę parinktį**: jei pirmasis pasirinkimas pateikia klaidą arba baigiasi jo laukimo laikas, maršrutizatorius automatiškai bando kitą geriausią kandidatą.

## Kodėl komandos renkasi maršrutizavimą, o ne tiesioginį susiejimą

- **Kaina.** Paprastas užklausas nukreipkite į pigius modelius, o aukščiausios klasės modelius pasilikite toms, kurioms jų reikia.
- **Patikimumas.** Automatinis perjungimas tarp teikėjų reiškia, kad vieno tiekėjo sutrikimas nesustabdys jūsų produkto.
- **Lankstumas.** Keiskite modelius arba pridėkite naujų nepublikuodami kodo, nes maršrutizavimas apibrėžiamas politikoje, o ne programoje.
- **Valdymas.** Centralizuotai užtikrinkite biudžetų, duomenų vietos reikalavimų ir kokybės ribų laikymąsi, o ne atskirose paslaugose.

## Maršrutizavimas ir paprastas atsarginis variantas

Atsarginis variantas („jei „OpenAI“ neveikia, bandykite „Anthropic““) yra paprasčiausia maršrutizavimo forma, tačiau tikrasis maršrutizavimas optimizuoja **kiekvieną** užklausą, o ne tik atvejus, kai kas nors neveikia: geriausia parinktis parenkama iš anksto pagal kainą ir kokybę, o ne tik sutrikus veikimui.

## Pritaikykite šį vadovą su Ailoot

Prijunkite AI modelius prie savo programų, agentų ir automatizavimo priemonių per vieną Ailoot API. Pasirinkite užduočiai tinkamą modelį ir pradėkite vadovaudamiesi [Ailoot dokumentacija](https://ailoot.ai/docs/).


## Ailoot · Įmonė ir jos projektų portfelis

Ailoot remiasi sukaupta veiklos patirtimi, plačia klientų baze, stabiliomis paslaugomis ir nuolatine KPI kontrole.

Įmonė ir jos projektų portfelis: milijonai klientų; mėnesio pardavimai siekia milijardus.

Ailoot šią veiklos patirtį pritaiko teikdama API prieigą prie DI funkcijų klientų produktuose, agentuose, programose ir automatizavimo sprendimuose.
