# Kaj je usmerjanje LLM?

> Kako usmerjanje LLM izbira modele glede na zahteve zahtevka, stroške, kakovost, zakasnitev, kontekst in pravilnik.

Source: https://ailoot.ai/blog/sl/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/sl/what-is-llm-routing/
Language: sl
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-ab9490734599e6d6b8cb233aa3227e0d29baa685dd4e7bf8b3849dcea52a2a38


**Usmerjanje LLM** je praksa pošiljanja vsakega zahtevka AI modelu in ponudniku, ki sta zanj najprimernejša, namesto da bi vsak klic trdo kodirali na en sam model. Usmerjevalnik ovrednoti zahtevek glede na vaše cilje, stroške, kakovost, zakasnitev, dolžino konteksta in pravilnik ter ga posreduje možnosti, ki mu najbolj ustreza.

Večina ekip začne tako, da svojo aplikacijo poveže neposredno z enim ponudnikom, običajno z OpenAI. To deluje, dokler ne preneha: cenejši model bi lahko enako dobro obravnaval 60 % vašega prometa, ponudnik doživi izpad, zahtevek potrebuje daljše kontekstno okno ali regulirana delovna obremenitev ne sme zapustiti jurisdikcije. Usmerjevalnik vse to reši prek ene končne točke.

## Kako deluje usmerjanje LLM

Obstoječi SDK, združljiv z OpenAI, usmerite na usmerjevalnik namesto na ponudnika. Za vsak zahtevek usmerjevalnik:

1.  **Sestavi nabor kandidatov** modelov, ki lahko obravnavajo zahtevek (ustrezne zmogljivosti, kontekstno okno in razpoložljivost).
2.  **Točkuje kandidate** glede na vaš cilj, na primer »najcenejša možnost nad pragom kakovosti« ali »najnižja izmerjena zakasnitev«.
3.  **Uveljavi omejitve**, kot so proračuni, dovoljeni ponudniki, lokacija podatkov in seznami dovoljenih modelov za posamezen ključ.
4.  **Izvede posredovanje in preklop**: če pri prvi izbiri pride do napake ali poteče časovna omejitev, samodejno poskusi z naslednjim najboljšim kandidatom.

## Zakaj ekipe uporabljajo usmerjanje namesto trdega kodiranja

- **Stroški.** Preproste zahtevke usmerite k poceni modelom, zmogljivejše modele pa prihranite za tiste, ki jih potrebujejo.
- **Zanesljivost.** Samodejni preklop med ponudniki pomeni, da izpad enega ponudnika ne ustavi vašega izdelka.
- **Prilagodljivost.** Zamenjajte ali dodajte modele brez izdaje nove kode, saj usmerjanje temelji na pravilniku, ne na vaši aplikaciji.
- **Upravljanje.** Proračune, lokacijo podatkov in minimalno kakovost uveljavite centralno, ne za vsako storitev posebej.

## Usmerjanje v primerjavi s preprostim rezervnim načinom

Rezervni način (»če OpenAI odpove, poskusi z Anthropic«) je najosnovnejša oblika usmerjanja, vendar pravo usmerjanje optimizira **vsak** zahtevek, ne le tistih, pri katerih pride do napak: vnaprej izbere najboljšo možnost glede na stroške in kakovost, ne samo takrat, ko gre kaj narobe.

## Uporabite ta vodnik z Ailoot

Povežite modele AI s svojimi aplikacijami, agenti in avtomatizacijami prek enega API-ja Ailoot. Izberite model, ki ustreza vaši nalogi, in za začetek upoštevajte [dokumentacijo Ailoot](https://ailoot.ai/docs/).


## Ailoot · Podjetje in njegov portfelj projektov

Ailoot temelji na pridobljenih operativnih izkušnjah, široki bazi strank, stabilni storitvi in stalnem spremljanju KPI.

Podjetje in njegov portfelj projektov: milijoni strank; mesečna prodaja v milijardah.

Ailoot te operativne izkušnje uporablja za dostop prek API do funkcij umetne inteligence v izdelkih strank, agentih, aplikacijah in avtomatizacijah.
