# Модель маршрутизациясы дегеніміз не?

> Модель маршрутизациясын анықтайды және маршруттау ережелерін, бүркеншік атауларды, провайдерлер арасында таратуды, қайталау мен резервтік бағытқа ауысу әрекетін, жүктемені теңгеруді, сондай-ақ шығын мен кідіріс арасындағы ымыраларды бағалау өлшемдерін сипаттайды.

Source: https://ailoot.ai/blog/kk/what-is-model-routing/
Canonical: https://ailoot.ai/blog/kk/what-is-model-routing/
Language: kk
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-6765624db3517d464dfdb9a44d2a1ef19ad9efac82f20a6c4f922b44546a33f8


Модель маршрутизациясы — кіріс LLM сұрауын сұрау кезінде қолданба кодына емес, саясатқа сүйене отырып, белгілі бір провайдерге, модель идентификаторына және API кілтіне бағыттау процесі. Модель маршрутизаторы сұрау контекстін (тақырыптар, тенант, бюджет күйі, промпт күрделілігі) және провайдер күйін (қателер жиілігі, кідіріс, rate limit бойынша қалған қор) бағалап, провайдерге қоңырау шалмас бұрын нысананы қайта жазады. LLM токен шығындарын азайтатын модель маршрутизациясы қабаты — әдетте командалар нәтижесін алғаш көретін орын.

Бұл термин жиі шатастырылатын үш механизмді қамтиды:

- **Статикалық маршрутизация** модель атауын провайдерлермен бекітілген салмақтар арқылы байланыстырады.
- **Шартты маршрутизация** әр сұрау үшін өрнекті (деңгей тақырыбы, команда, жұмсалған бюджет, күрделілік деңгейі) бағалап, шарт сәйкес келгенде нысананы өзгертеді.
- **Адаптивті маршрутизация** байқалған қателер жиілігі мен кідіріс негізінде провайдерлер мен кілттердің салмақтарын үздіксіз қайта бөледі.

Өндірістік LLM маршрутизаторына үшеуі де қажет; олардың біреуін ғана ұсынатын құрал қалған екеуін қолданба кодына ысырады. Әр сұрауға оңтайлы модель таңдауға арналған смарт LLM маршрутизациясы нұсқаулығында екінші механизм егжей-тегжейлі қарастырылады.

## LLM маршрутизаторын қалай бағалау керек

| Өлшем | Нені тексеру керек |
|----|----|
| Маршруттау ережелерінің тілі | Ереже басымдығы анықталған жағдайда тақырыптарды, тенантты, бюджет пайдаланылуын және сұрау түрін оқи ала ма? |
| Модель бүркеншік атаулары | `best-model` кодты өзгертпей-ақ кілтке, командаға немесе ортаға қарай әртүрлі идентификаторларға бағыттала ала ма? |
| Салмақталған бөлу | Салмақтар провайдер және API кілті деңгейінде қолданылып, әр модель үшін нормалана ма? |
| Резервтік бағыт пен қайталау семантикасы | Әр резервтік бағыттың қайталау бюджеті жеке ме? `429` қатесі `401` қатесінен өзгеше өңделе ме? |
| Адаптивті жүктеме теңгерімі | Салмақтар нақты уақыттағы қателер жиілігі мен кідіріс бойынша қайта есептеле ме және қалпына келген бағыт қаншалықты жылдам қайта қосылады? |
| Шығындарды ескеру | Баға деректері синхрондалып, оларды қайта анықтауға бола ма және ереже жұмсалған бюджетке жауап бере ала ма? |
| Қосымша жүктеме мен орналастыру | Тұрақты өткізу қабілеті кезіндегі өлшенген кідіріс; өздігінен хостинг, хостингтегі қызмет әлде тек кітапхана ма? |

Қайталау мен резервтік бағыттың айырмашылығы — жеткізушілерді салыстыруда жиі ескерілмейтін өлшем: қайталау сол провайдерге қайта сұрау жібереді, резервтік бағыт басқа провайдерге ауысады, ал екеуін біріктіретін маршрутизатор олардың бюджетін бөлек есептей алмайды.

## Модель маршрутизациясы құралдарындағы жиі кездесетін қиындықтар

Өндірістегі модель маршрутизациясы ақауларының көбі қайталанатын бірнеше олқылықтан туындайды; олардың әрқайсысын конфигурация деңгейінде шешуге болады.

- **Маршруттау күйі қолданба кодында сақталады.** Қызметтерге енгізілген модель атауларын, провайдер таңдауларын және резервтік бағыттар тізімін жаңа орналастырусыз өзгерту мүмкін емес; виртуалды кілт конфигурациясы мен маршруттау ережелері оларды аудиттеуге мүмкіндік береді.
- **Қайталаулар қате санатын ескермейді.** `401` қатесінен кейін экспоненциалды кідіріспен қайталап көру секундтарды босқа жұмсап, бәрібір нәтиже бермейді; маршрутизатор тіркелгі деректерін жарамсыз деп белгілеп, бірден басқа деректерге ауысуы керек..
- **Маршруттау шешімінің жазбасы жоқ.** OpenAI-дің деңгейлер бойынша бөлінген RPM және TPM шектеулері сияқты провайдердің rate limit әрекетін шлюз бағытты қай қозғалтқыш таңдағанын және қай кілт шектеуге жеткенін журналға жазғанда түсіну әлдеқайда оңай.

## Жиі қойылатын сұрақтар

### LLM маршрутизаторы дегеніміз не?

LLM маршрутизаторы — конфигурацияланған ережелер, статикалық салмақтар немесе нақты уақыттағы өнімділік көрсеткіштері негізінде әр сұрауға провайдерді, модельді және тіркелгі деректерін таңдайтын компонент. Ол қолданба мен провайдерлердің арасында орналасып, қоңырау шалмас бұрын сұраудың нысанасын қайта жазады және бағыт істен шыққанда қайталаулар мен резервтік бағыттарды басқарады.

### Модель маршрутизаторы мен AI шлюзінің айырмашылығы неде?

Модель маршрутизаторы сұраудың қайда бағытталатынын шешеді. AI шлюзі сұрауды орындайды әрі тіркелгі деректерін, бюджеттерді, rate limit шектеулерін, қорғаныс тетіктерін және журнал жүргізуді де басқарады.

### Модель маршрутизациясы LLM шығындарын қалай азайтады?

Модель маршрутизациясы әр сұрауды оның сапа талаптарына сай келетін ең арзан модельге жіберіп, бюджет немесе rate limit шегіне жақындаған провайдерлерден трафикті басқа жаққа бұру арқылы шығындарды азайтады.

### Қайталаулар мен резервтік бағыттардың айырмашылығы неде?

`5xx` немесе `429` сияқты уақытша ақаудан кейін қайталау сол провайдерге қайта сұрау жібереді, қажет болса басқа API кілтін пайдаланады. Негізгі бағыттағы қайталау саны таусылған соң резервтік бағыт басқа провайдер мен модельге ауысады.

### LLM маршрутизаторындағы адаптивті жүктеме теңгерімі дегеніміз не?

Адаптивті жүктеме теңгерімі бағыт салмақтарын статикалық конфигурацияның орнына бақыланған көрсеткіштер негізінде қайта есептейді.

## Осы нұсқаулықты Ailoot арқылы қолданыңыз

AI модельдерін қолданбаларыңызға, агенттеріңізге және автоматтандыру процестеріңізге бір Ailoot API арқылы қосыңыз. Тапсырмаңызға сай модельді таңдап, бастау үшін [Ailoot құжаттамасын](https://ailoot.ai/docs/) қараңыз.


## Ailoot · Компания және оның жобалар портфелі

Ailoot жинақталған жұмыс тәжірибесіне, кең клиенттік базаға, тұрақты қызметке және KPI көрсеткіштерін үздіксіз бақылауға сүйенеді.

Компания және оның жобалар портфелі: миллиондаған клиент; ай сайынғы сату көлемі миллиардтармен есептеледі.

Ailoot осы тәжірибені клиенттердің өнімдерінде, агенттерінде, қолданбаларында және автоматтандыруларында жасанды интеллект мүмкіндіктеріне API арқылы қол жеткізуді қамтамасыз етуге пайдаланады.
