Что такое маршрутизация моделей?
MarkdownОпределяет маршрутизацию моделей и описывает критерии оценки правил маршрутизации, псевдонимов, распределения запросов между провайдерами, повторных попыток и резервных вариантов, балансировки нагрузки, а также компромиссов между стоимостью и задержкой.
Маршрутизация моделей — это процесс сопоставления входящего запроса LLM с конкретным провайдером, идентификатором модели и API-ключом во время обработки запроса согласно политике, а не коду приложения. Маршрутизатор моделей оценивает контекст запроса (заголовки, арендатора, состояние бюджета, сложность промпта) и состояние провайдера (частоту ошибок, задержку, запас до лимита запросов), а затем переписывает целевой адрес перед вызовом провайдера. Слой маршрутизации моделей, который сокращает расходы на токены LLM, обычно приносит командам первую отдачу.
Этот термин охватывает три механизма, которые часто смешивают:
- Статическая маршрутизация сопоставляет имя модели с провайдерами, используя фиксированные веса.
- Условная маршрутизация оценивает выражение для каждого запроса (заголовок уровня, команда, израсходованный бюджет, уровень сложности) и при совпадении переопределяет целевой адрес.
- Адаптивная маршрутизация непрерывно перераспределяет веса провайдеров и ключей на основе наблюдаемых частоты ошибок и задержки.
Для производственного маршрутизатора LLM нужны все три механизма; инструмент, предлагающий только один, оставляет остальные два в коде приложения. Руководство по интеллектуальной маршрутизации LLM, посвящённое выбору оптимальной модели для каждого запроса, подробно рассматривает второй механизм.
Как оценить маршрутизатор LLM
| Критерий | Что проверить |
|---|---|
| Язык правил маршрутизации | Может ли правило считывать заголовки, арендатора, использование бюджета и тип запроса с определённым порядком приоритетов? |
| Псевдонимы моделей | Может ли best-model разрешаться в разные идентификаторы для каждого ключа, команды или среды без изменения кода? |
| Распределение с весами | Применяются ли веса на уровне провайдера и API-ключа с нормализацией для каждой модели? |
| Семантика резервирования и повторных попыток | Есть ли у каждого резервного варианта собственный бюджет повторных попыток? Обрабатывается ли 429 иначе, чем 401? |
| Адаптивная балансировка нагрузки | Пересчитываются ли веса на основе текущей частоты ошибок и задержки, и как быстро восстановленный маршрут возвращается в работу? |
| Учет стоимости | Синхронизируются ли данные о ценах, можно ли их переопределить и может ли правило реагировать на израсходованный бюджет? |
| Накладные расходы и развертывание | Измеренная задержка при устойчивой пропускной способности; только самостоятельное размещение, хостинг или библиотека? |
Различие между повторной попыткой и резервным вариантом — критерий, который чаще всего отсутствует в сравнениях поставщиков: повторная попытка обращается к тому же провайдеру ещё раз, резервный вариант переключает запрос на другого, а маршрутизатор, объединяющий эти механизмы, не может отдельно распределять для них бюджеты.
Типичные проблемы инструментов маршрутизации моделей
Большинство сбоев маршрутизации моделей в production связаны с несколькими повторяющимися пробелами, для каждого из которых есть решение на уровне конфигурации.
- Состояние маршрутизации хранится в коде приложения. Имена моделей, предпочтения по провайдерам и списки резервных вариантов, встроенные в сервисы, нельзя изменить без развертывания; настройки виртуальных ключей и правила маршрутизации позволяют проводить аудит.
- Повторные попытки без учета класса ошибки. Повторный запрос с увеличивающейся задержкой после
401тратит секунды и никогда не succeeds; маршрутизатор должен пометить учетные данные как недействительные и немедленно переключить ключ.. - Нет записи о решении маршрутизации. Поведение провайдера при ограничении частоты запросов, например ограничения OpenAI по RPM и TPM с разными уровнями, гораздо проще анализировать, когда шлюз записывает, какой движок выбрал маршрут и какой ключ достиг лимита.
Часто задаваемые вопросы
Что такое маршрутизатор LLM?
Маршрутизатор LLM — это компонент, который выбирает провайдера, модель и учетные данные для каждого запроса на основе настроенных правил, статических весов или текущих метрик производительности. Он находится между приложением и провайдерами, переписывает целевой адрес запроса перед вызовом и обрабатывает повторные попытки и резервные варианты, если маршрут не срабатывает.
В чем разница между маршрутизатором моделей и AI-шлюзом?
Маршрутизатор моделей определяет, куда направляется запрос. AI-шлюз выполняет запрос, а также управляет учетными данными, бюджетами, ограничениями частоты запросов, защитными правилами и журналированием.
Как маршрутизация моделей сокращает расходы на LLM?
Маршрутизация моделей сокращает расходы, направляя каждый запрос к наименее дорогой модели, которая соответствует требованиям к качеству, и перенаправляя трафик от провайдеров, приближающихся к исчерпанию бюджета или достижению лимита запросов.
В чем разница между повторными попытками и резервными вариантами?
После временного сбоя, например 5xx или 429, повторная попытка снова обращается к тому же провайдеру, при необходимости используя другой API-ключ. Резервный вариант переключает запрос на другого провайдера и модель после того, как исчерпаны повторные попытки для основного маршрута.
Что такое адаптивная балансировка нагрузки в маршрутизаторе LLM?
Адаптивная балансировка нагрузки пересчитывает веса маршрутов на основе наблюдаемых метрик, а не статической конфигурации.
Примените это руководство на практике с Ailoot
Подключайте модели ИИ к своим приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя документации Ailoot.