# Mi az LLM-útválasztás?

> Hogyan választja ki az LLM-útválasztás a modelleket a kérés követelményei, a költség, a minőség, a késleltetés, a kontextus és a szabályzat alapján.

Source: https://ailoot.ai/blog/hu/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/hu/what-is-llm-routing/
Language: hu
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-907dc88c7166082754d6268affa662f0fc3b2731595e033241b6253b3947215a


**Az LLM-útválasztás** azt jelenti, hogy minden AI-kérést az ahhoz leginkább megfelelő modellhez és szolgáltatóhoz irányítunk, ahelyett, hogy minden hívást egyetlen modellhez kötnénk. Az útválasztó a céljai, a költség, a minőség, a késleltetés, a kontextus hossza és a szabályzat alapján értékeli a kérést, majd a legmegfelelőbb lehetőséghez továbbítja.

A legtöbb csapat úgy kezdi, hogy az alkalmazását közvetlenül egy szolgáltatóhoz, általában az OpenAI-hoz csatlakoztatja. Ez addig működik, amíg valami meg nem változik: egy olcsóbb modell ugyanilyen jól kezelné a forgalom 60%-át, egy szolgáltatónál üzemzavar lép fel, egy kéréshez hosszabb kontextusablak szükséges, vagy egy szabályozott munkaterhelés nem hagyhatja el az adott joghatóságot. Az útválasztó mindezt egyetlen végpont mögött oldja meg.

## Hogyan működik az LLM-útválasztás

A meglévő, OpenAI-kompatibilis SDK-t a szolgáltató helyett az útválasztóhoz irányítja. Minden kérésnél az útválasztó:

1. **Összeállítja a jelöltek listáját** azokból a modellekből, amelyek képesek kiszolgálni a kérést (megfelelő képességek, kontextusablak és rendelkezésre állás).
2. **Pontozza a jelölteket** a célkitűzése alapján, például „a legolcsóbb lehetőség, amely meghaladja a minőségi küszöböt” vagy „a legalacsonyabb mért késleltetés”.
3. **Érvényesíti a korlátozásokat**, például a költségkereteket, az engedélyezett szolgáltatókat, az adatok tartózkodási helyét és az egyes kulcsokhoz tartozó engedélyezett modellek listáját.
4. **Továbbítja a kérést, és tartalék lehetőségre vált**: ha az első választás hibát jelez vagy túllépi az időkorlátot, automatikusan megpróbálja a következő legjobb jelöltet.

## Miért választják a csapatok az útválasztást az egyetlen modellhez kötés helyett

- **Költség.** Az egyszerű kéréseket olcsó modellekhez irányíthatja, a prémium modelleket pedig azokra az esetekre tartogathatja, amelyekhez szükség van rájuk.
- **Megbízhatóság.** A szolgáltatók közötti automatikus átállásnak köszönhetően egyetlen szolgáltató üzemzavara nem állítja le a termékét.
- **Rugalmasság.** Kódkiadás nélkül cserélhet vagy adhat hozzá modelleket, mert az útválasztást egy szabályzat, nem pedig az alkalmazás kezeli.
- **Irányítás.** A költségkereteket, az adatok tartózkodási helyére vonatkozó szabályokat és a minőségi küszöböket központilag, nem szolgáltatásonként érvényesítheti.

## Útválasztás és egyszerű tartalék megoldás

A tartalék megoldás („ha az OpenAI hibázik, próbáld meg az Anthropicot”) az útválasztás legegyszerűbb formája, a valódi útválasztás azonban **minden** kérést optimalizál, nem csak a sikerteleneket: előre választja ki a legjobb lehetőséget a költség és a minőség alapján, nem csupán akkor, amikor valami elromlik.

## Használja ezt az útmutatót az Ailoot segítségével

Egyetlen Ailoot API-n keresztül csatlakoztassa az AI-modelleket az alkalmazásaihoz, ügynökeihez és automatizmusaihoz. Válassza ki a feladatához illő modellt, és kezdésként kövesse az [Ailoot dokumentációját](https://ailoot.ai/docs/).


## Ailoot · A vállalat és projektportfóliója

Az Ailoot felhalmozott működési tapasztalatra, széles ügyfélkörre, stabil szolgáltatásra és folyamatos KPI-ellenőrzésre épít.

A vállalat és projektportfóliója: ügyfelek milliói; havi értékesítés milliárdos nagyságrendben.

Az Ailoot ezt a működési tapasztalatot használja az ügyfelek termékeiben, ágenseiben, alkalmazásaiban és automatizálásaiban elérhető AI-funkciók API-hozzáféréséhez.
