# Что такое маршрутизация LLM?

> Как маршрутизация LLM выбирает модели с учётом требований запроса, стоимости, качества, задержки, контекста и политик.

Source: https://ailoot.ai/blog/ru/what-is-llm-routing/
Canonical: https://ailoot.ai/blog/ru/what-is-llm-routing/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100040
Revision: sha256-93c4c29ea713979972f47a7e84652fd443f3735068a99f027fca25410cf23002


**Маршрутизация LLM** — это практика отправки каждого запроса к ИИ той модели и тому провайдеру, которые лучше всего ему подходят, вместо жёсткой привязки каждого вызова к одной модели. Маршрутизатор оценивает запрос с учётом ваших целей, стоимости, качества, задержки, длины контекста и политик, а затем направляет его к наиболее подходящему варианту.

Большинство команд начинают с прямого подключения приложения к одному провайдеру, обычно OpenAI. Это работает, пока не перестаёт: более дешёвая модель могла бы так же хорошо обрабатывать 60% вашего трафика, у провайдера происходит сбой, запросу требуется более длинное окно контекста или регламентированную рабочую нагрузку нельзя выносить за пределы юрисдикции. Маршрутизатор решает всё это через одну конечную точку.

## Как работает маршрутизация LLM

Направьте существующий SDK, совместимый с OpenAI, на маршрутизатор вместо провайдера. Для каждого запроса маршрутизатор:

1.  **Формирует набор кандидатов** из моделей, способных обработать запрос (с нужными возможностями, окном контекста и доступностью).
2.  **Оценивает кандидатов** в соответствии с вашей целью, например: «самый дешёвый вариант выше заданного порога качества» или «минимальная измеренная задержка».
3.  **Применяет ограничения**, такие как бюджеты, разрешённые провайдеры, локализация данных и списки разрешённых моделей для каждого ключа.
4.  **Отправляет запрос и переключается на запасной вариант**: если первый выбор выдаёт ошибку или превышает время ожидания, маршрутизатор автоматически пробует следующего по рейтингу кандидата.

## Почему команды используют маршрутизацию вместо жёсткой привязки

- **Стоимость.** Направляйте простые запросы к дешёвым моделям, а премиальные модели оставляйте для тех запросов, которым они необходимы.
- **Надёжность.** Автоматическое переключение между провайдерами позволяет избежать сбоев продукта из-за отказа одного поставщика.
- **Гибкость.** Меняйте модели или добавляйте новые без выпуска новой версии кода: маршрутизация задаётся политикой, а не приложением.
- **Управление.** Централизованно применяйте бюджеты, требования к локализации данных и минимальные уровни качества, а не настраивайте их отдельно для каждой службы.

## Маршрутизация и простой резервный вариант

Резервный вариант («если OpenAI не работает, попробуй Anthropic») — самая простая форма маршрутизации, но настоящая маршрутизация оптимизирует **каждый** запрос, а не только запросы после сбоя: она заранее выбирает лучший вариант по стоимости и качеству, а не только когда что-то ломается.

## Используйте это руководство с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель для своей задачи и следуйте [документации Ailoot](https://ailoot.ai/docs/), чтобы начать работу.


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
