Блог

Что такое маршрутизация моделей?

Markdown

Определяет маршрутизацию моделей и описывает критерии оценки правил маршрутизации, псевдонимов, распределения запросов между провайдерами, повторных попыток и резервных вариантов, балансировки нагрузки, а также компромиссов между стоимостью и задержкой.

Маршрутизация моделей — это процесс сопоставления входящего запроса LLM с конкретным провайдером, идентификатором модели и API-ключом во время обработки запроса согласно политике, а не коду приложения. Маршрутизатор моделей оценивает контекст запроса (заголовки, арендатора, состояние бюджета, сложность промпта) и состояние провайдера (частоту ошибок, задержку, запас до лимита запросов), а затем переписывает целевой адрес перед вызовом провайдера. Слой маршрутизации моделей, который сокращает расходы на токены LLM, обычно приносит командам первую отдачу.

Этот термин охватывает три механизма, которые часто смешивают:

  • Статическая маршрутизация сопоставляет имя модели с провайдерами, используя фиксированные веса.
  • Условная маршрутизация оценивает выражение для каждого запроса (заголовок уровня, команда, израсходованный бюджет, уровень сложности) и при совпадении переопределяет целевой адрес.
  • Адаптивная маршрутизация непрерывно перераспределяет веса провайдеров и ключей на основе наблюдаемых частоты ошибок и задержки.

Для производственного маршрутизатора LLM нужны все три механизма; инструмент, предлагающий только один, оставляет остальные два в коде приложения. Руководство по интеллектуальной маршрутизации LLM, посвящённое выбору оптимальной модели для каждого запроса, подробно рассматривает второй механизм.

Как оценить маршрутизатор LLM

КритерийЧто проверить
Язык правил маршрутизацииМожет ли правило считывать заголовки, арендатора, использование бюджета и тип запроса с определённым порядком приоритетов?
Псевдонимы моделейМожет ли best-model разрешаться в разные идентификаторы для каждого ключа, команды или среды без изменения кода?
Распределение с весамиПрименяются ли веса на уровне провайдера и API-ключа с нормализацией для каждой модели?
Семантика резервирования и повторных попытокЕсть ли у каждого резервного варианта собственный бюджет повторных попыток? Обрабатывается ли 429 иначе, чем 401?
Адаптивная балансировка нагрузкиПересчитываются ли веса на основе текущей частоты ошибок и задержки, и как быстро восстановленный маршрут возвращается в работу?
Учет стоимостиСинхронизируются ли данные о ценах, можно ли их переопределить и может ли правило реагировать на израсходованный бюджет?
Накладные расходы и развертываниеИзмеренная задержка при устойчивой пропускной способности; только самостоятельное размещение, хостинг или библиотека?

Различие между повторной попыткой и резервным вариантом — критерий, который чаще всего отсутствует в сравнениях поставщиков: повторная попытка обращается к тому же провайдеру ещё раз, резервный вариант переключает запрос на другого, а маршрутизатор, объединяющий эти механизмы, не может отдельно распределять для них бюджеты.

Типичные проблемы инструментов маршрутизации моделей

Большинство сбоев маршрутизации моделей в production связаны с несколькими повторяющимися пробелами, для каждого из которых есть решение на уровне конфигурации.

  • Состояние маршрутизации хранится в коде приложения. Имена моделей, предпочтения по провайдерам и списки резервных вариантов, встроенные в сервисы, нельзя изменить без развертывания; настройки виртуальных ключей и правила маршрутизации позволяют проводить аудит.
  • Повторные попытки без учета класса ошибки. Повторный запрос с увеличивающейся задержкой после 401 тратит секунды и никогда не succeeds; маршрутизатор должен пометить учетные данные как недействительные и немедленно переключить ключ..
  • Нет записи о решении маршрутизации. Поведение провайдера при ограничении частоты запросов, например ограничения OpenAI по RPM и TPM с разными уровнями, гораздо проще анализировать, когда шлюз записывает, какой движок выбрал маршрут и какой ключ достиг лимита.

Часто задаваемые вопросы

Что такое маршрутизатор LLM?

Маршрутизатор LLM — это компонент, который выбирает провайдера, модель и учетные данные для каждого запроса на основе настроенных правил, статических весов или текущих метрик производительности. Он находится между приложением и провайдерами, переписывает целевой адрес запроса перед вызовом и обрабатывает повторные попытки и резервные варианты, если маршрут не срабатывает.

В чем разница между маршрутизатором моделей и AI-шлюзом?

Маршрутизатор моделей определяет, куда направляется запрос. AI-шлюз выполняет запрос, а также управляет учетными данными, бюджетами, ограничениями частоты запросов, защитными правилами и журналированием.

Как маршрутизация моделей сокращает расходы на LLM?

Маршрутизация моделей сокращает расходы, направляя каждый запрос к наименее дорогой модели, которая соответствует требованиям к качеству, и перенаправляя трафик от провайдеров, приближающихся к исчерпанию бюджета или достижению лимита запросов.

В чем разница между повторными попытками и резервными вариантами?

После временного сбоя, например 5xx или 429, повторная попытка снова обращается к тому же провайдеру, при необходимости используя другой API-ключ. Резервный вариант переключает запрос на другого провайдера и модель после того, как исчерпаны повторные попытки для основного маршрута.

Что такое адаптивная балансировка нагрузки в маршрутизаторе LLM?

Адаптивная балансировка нагрузки пересчитывает веса маршрутов на основе наблюдаемых метрик, а не статической конфигурации.

Примените это руководство на практике с Ailoot

Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя документации Ailoot.