# Что такое маршрутизация моделей?

> Определяет маршрутизацию моделей и описывает критерии оценки правил маршрутизации, псевдонимов, распределения запросов между провайдерами, повторных попыток и резервных вариантов, балансировки нагрузки, а также компромиссов между стоимостью и задержкой.

Source: https://ailoot.ai/blog/ru/what-is-model-routing/
Canonical: https://ailoot.ai/blog/ru/what-is-model-routing/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100045
Revision: sha256-ea351f59345bdd5cfd9502843566a8aa8a03dee53850b12d943a081e3caa5196


Маршрутизация моделей — это процесс сопоставления входящего запроса LLM с конкретным провайдером, идентификатором модели и API-ключом во время обработки запроса согласно политике, а не коду приложения. Маршрутизатор моделей оценивает контекст запроса (заголовки, арендатора, состояние бюджета, сложность промпта) и состояние провайдера (частоту ошибок, задержку, запас до лимита запросов), а затем переписывает целевой адрес перед вызовом провайдера. Слой маршрутизации моделей, который сокращает расходы на токены LLM, обычно приносит командам первую отдачу.

Этот термин охватывает три механизма, которые часто смешивают:

- **Статическая маршрутизация** сопоставляет имя модели с провайдерами, используя фиксированные веса.
- **Условная маршрутизация** оценивает выражение для каждого запроса (заголовок уровня, команда, израсходованный бюджет, уровень сложности) и при совпадении переопределяет целевой адрес.
- **Адаптивная маршрутизация** непрерывно перераспределяет веса провайдеров и ключей на основе наблюдаемых частоты ошибок и задержки.

Для производственного маршрутизатора LLM нужны все три механизма; инструмент, предлагающий только один, оставляет остальные два в коде приложения. Руководство по интеллектуальной маршрутизации LLM, посвящённое выбору оптимальной модели для каждого запроса, подробно рассматривает второй механизм.

## Как оценить маршрутизатор LLM

| Критерий | Что проверить |
|----|----|
| Язык правил маршрутизации | Может ли правило считывать заголовки, арендатора, использование бюджета и тип запроса с определённым порядком приоритетов? |
| Псевдонимы моделей | Может ли `best-model` разрешаться в разные идентификаторы для каждого ключа, команды или среды без изменения кода? |
| Распределение с весами | Применяются ли веса на уровне провайдера и API-ключа с нормализацией для каждой модели? |
| Семантика резервирования и повторных попыток | Есть ли у каждого резервного варианта собственный бюджет повторных попыток? Обрабатывается ли `429` иначе, чем `401`? |
| Адаптивная балансировка нагрузки | Пересчитываются ли веса на основе текущей частоты ошибок и задержки, и как быстро восстановленный маршрут возвращается в работу? |
| Учет стоимости | Синхронизируются ли данные о ценах, можно ли их переопределить и может ли правило реагировать на израсходованный бюджет? |
| Накладные расходы и развертывание | Измеренная задержка при устойчивой пропускной способности; только самостоятельное размещение, хостинг или библиотека? |

Различие между повторной попыткой и резервным вариантом — критерий, который чаще всего отсутствует в сравнениях поставщиков: повторная попытка обращается к тому же провайдеру ещё раз, резервный вариант переключает запрос на другого, а маршрутизатор, объединяющий эти механизмы, не может отдельно распределять для них бюджеты.

## Типичные проблемы инструментов маршрутизации моделей

Большинство сбоев маршрутизации моделей в production связаны с несколькими повторяющимися пробелами, для каждого из которых есть решение на уровне конфигурации.

- **Состояние маршрутизации хранится в коде приложения.** Имена моделей, предпочтения по провайдерам и списки резервных вариантов, встроенные в сервисы, нельзя изменить без развертывания; настройки виртуальных ключей и правила маршрутизации позволяют проводить аудит.
- **Повторные попытки без учета класса ошибки.** Повторный запрос с увеличивающейся задержкой после `401` тратит секунды и никогда не succeeds; маршрутизатор должен пометить учетные данные как недействительные и немедленно переключить ключ..
- **Нет записи о решении маршрутизации.** Поведение провайдера при ограничении частоты запросов, например ограничения OpenAI по RPM и TPM с разными уровнями, гораздо проще анализировать, когда шлюз записывает, какой движок выбрал маршрут и какой ключ достиг лимита.

## Часто задаваемые вопросы

### Что такое маршрутизатор LLM?

Маршрутизатор LLM — это компонент, который выбирает провайдера, модель и учетные данные для каждого запроса на основе настроенных правил, статических весов или текущих метрик производительности. Он находится между приложением и провайдерами, переписывает целевой адрес запроса перед вызовом и обрабатывает повторные попытки и резервные варианты, если маршрут не срабатывает.

### В чем разница между маршрутизатором моделей и AI-шлюзом?

Маршрутизатор моделей определяет, куда направляется запрос. AI-шлюз выполняет запрос, а также управляет учетными данными, бюджетами, ограничениями частоты запросов, защитными правилами и журналированием.

### Как маршрутизация моделей сокращает расходы на LLM?

Маршрутизация моделей сокращает расходы, направляя каждый запрос к наименее дорогой модели, которая соответствует требованиям к качеству, и перенаправляя трафик от провайдеров, приближающихся к исчерпанию бюджета или достижению лимита запросов.

### В чем разница между повторными попытками и резервными вариантами?

После временного сбоя, например `5xx` или `429`, повторная попытка снова обращается к тому же провайдеру, при необходимости используя другой API-ключ. Резервный вариант переключает запрос на другого провайдера и модель после того, как исчерпаны повторные попытки для основного маршрута.

### Что такое адаптивная балансировка нагрузки в маршрутизаторе LLM?

Адаптивная балансировка нагрузки пересчитывает веса маршрутов на основе наблюдаемых метрик, а не статической конфигурации.

## Примените это руководство на практике с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя [документации Ailoot](https://ailoot.ai/docs/).


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
