# Mi az a modellirányítás?

> Meghatározza a modellirányítást, és ismerteti az útválasztási szabályok, aliasok, szolgáltatók közötti elosztás, újrapróbálkozási és tartalékútvonal-viselkedés, terheléselosztás, valamint a költség és a késleltetés közötti kompromisszumok értékelésének szempontjait.

Source: https://ailoot.ai/blog/hu/what-is-model-routing/
Canonical: https://ailoot.ai/blog/hu/what-is-model-routing/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-7c5dba56fb0469844f684a3d1169696ae1068d1ced03591e9d0afb11cbbaf29d


A modellirányítás az a folyamat, amelynek során egy beérkező LLM-kérést a kérés pillanatában egy adott szolgáltatóhoz, modellazonosítóhoz és API-kulcshoz rendelünk, az alkalmazáskód helyett szabályzat alapján. A modellirányító kiértékeli a kérés kontextusát (fejlécek, bérlő, költségkeret állapota, prompt összetettsége) és a szolgáltató állapotát (hibaarány, késleltetés, a sebességkorlátig rendelkezésre álló tartalék), majd a szolgáltató hívása előtt átírja a célpontot. Az LLM-tokenköltségeket csökkentő modellirányítási rétegen látják a csapatok általában először a megtérülést.

A kifejezés három olyan mechanizmust foglal magában, amelyeket gyakran összekevernek:

- **A statikus irányítás** rögzített súlyokkal rendel szolgáltatókat a modellnevekhez.
- **A feltételes irányítás** minden kérésnél kiértékel egy kifejezést (szintet jelző fejléc, csapat, felhasznált költségkeret, összetettségi szint), és egyezés esetén felülírja a célpontot.
- **Az adaptív irányítás** a megfigyelt hibaarányok és késleltetés alapján folyamatosan újrasúlyozza a szolgáltatókat és a kulcsokat.

Egy éles környezetben használt LLM-irányítónak mindháromra szüksége van; az a megoldás, amely csak egyet kínál, a másik kettőt visszaterheli az alkalmazáskódra. Az intelligens LLM-irányításról és az egyes kérésekhez optimális modellt kiválasztásáról szóló útmutató részletesen tárgyalja a második mechanizmust.

## LLM-irányító értékelése

| Szempont | Mit érdemes ellenőrizni? |
|----|----|
| Az útválasztási szabályok nyelve | A szabály hozzáférhet a fejlécekhez, a bérlőhöz, a költségkeret felhasználásához és a kérés típusához, meghatározott prioritással? |
| Modellaliasok | A `best-model` kódmódosítás nélkül feloldható különböző azonosítókra kulcs, csapat vagy környezet szerint? |
| Súlyozott elosztás | A súlyok szolgáltató- és API-kulcsszinten is érvényesülnek, modellenként normalizálva? |
| Tartalék útvonal és újrapróbálkozás szemantikája | Minden tartalék útvonal saját újrapróbálkozási keretet kap? A `429` kezelése eltér a `401` kezelésétől? |
| Adaptív terheléselosztás | A rendszer az élő hibaarány és késleltetés alapján számítja újra a súlyokat, és milyen gyorsan tér vissza egy helyreállt útvonal? |
| Költségtudatosság | Szinkronizálható és felülbírálható az árazási adat, és reagálhat a szabály a felhasznált költségkeretre? |
| Többletterhelés és telepítés | Mekkora a mért késleltetés tartós adatátviteli sebesség mellett; saját üzemeltetésű, hosztolt megoldás vagy csak könyvtár? |

Az újrapróbálkozás és a tartalék útvonal közötti különbség az a szempont, amely a leggyakrabban hiányzik a szolgáltatók összehasonlításából: az újrapróbálkozás ugyanannál a szolgáltatónál próbálkozik újra, a tartalék útvonal másik szolgáltatóhoz vált, az ezeket összevonó irányító pedig nem tud külön keretet szabni nekik.

## Gyakori kihívások a modellirányítási eszközökkel

Az éles környezetben előforduló modellirányítási hibák többsége néhány visszatérő hiányosságra vezethető vissza, amelyek mindegyikére konfigurációs szinten adható megoldás.

- **Az útválasztási állapot az alkalmazáskódban él.** A szolgáltatásokba beágyazott modellnevek, szolgáltatói preferenciák és tartaléklisták telepítés nélkül nem módosíthatók; a virtuáliskulcs-konfiguráció és az útválasztási szabályok ellenőrizhetővé teszik őket.
- **Az újrapróbálkozások figyelmen kívül hagyják a hibaosztályt.** A `401` újbóli próbálása növekvő várakozási idővel másodperceket pazarol, és soha nem jár sikerrel; az irányítónak érvénytelenként kell megjelölnie a hitelesítő adatot, és azonnal kulcsot kell váltania..
- **Nincs nyoma az útválasztási döntésnek.** A szolgáltatók sebességkorlátozási viselkedését, például az OpenAI többszintű RPM- és TPM-korlátait sokkal könnyebb megérteni, ha az átjáró naplózza, melyik motor választotta ki az útvonalat, és melyik kulcs érte el a korlátot.

## Gyakran ismételt kérdések

### Mi az az LLM-irányító?

Az LLM-irányító olyan összetevő, amely konfigurált szabályok, statikus súlyok vagy élő teljesítménymutatók alapján minden kéréshez kiválasztja a szolgáltatót, a modellt és a hitelesítési adatokat. Az alkalmazás és a szolgáltatók között helyezkedik el, a hívás előtt átírja a kérés célpontját, és kezeli az újrapróbálkozásokat, valamint a tartalék útvonalakat, ha az útvonal hibát jelez.

### Mi a különbség a modellirányító és az AI-átjáró között?

A modellirányító dönti el, hová kerül a kérés. Az AI-átjáró végrehajtja a kérést, és emellett kezeli a hitelesítő adatokat, a költségkereteket, a sebességkorlátokat, a védőkorlátokat és a naplózást.

### Hogyan csökkenti a modellirányítás az LLM-költségeket?

A modellirányítás úgy csökkenti a költségeket, hogy minden kérést a minőségi követelményeket teljesítő legolcsóbb modellhez küld, és eltereli a forgalmat a költségkeret- vagy sebességkorlátjukhoz közelítő szolgáltatóktól.

### Mi a különbség az újrapróbálkozás és a tartalék útvonal között?

Újrapróbálkozáskor a rendszer ugyanannál a szolgáltatónál küldi el ismét a kérést, esetleg egy másik API-kulccsal, egy átmeneti hiba, például `5xx` vagy `429` után. Tartalék útvonalra váltáskor a rendszer másik szolgáltatóhoz és modellhez irányít, miután az elsődleges útvonalon elfogytak az újrapróbálkozások.

### Mi az adaptív terheléselosztás egy LLM-irányítóban?

Az adaptív terheléselosztás statikus konfiguráció helyett a megfigyelt mutatók alapján számítja újra az útvonalak súlyait.

## Hasznosítsa ezt az útmutatót az Ailoot segítségével

Kapcsolja össze az AI-modelleket alkalmazásaival, ügynökeivel és automatizálásaival egyetlen Ailoot API-n keresztül. Válassza ki a feladatának megfelelő modellt, és a kezdéshez kövesse az [Ailoot dokumentációját](https://ailoot.ai/docs/).


## Ailoot · A vállalat és projektportfóliója

Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.

A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.

Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.
