# Как оценить LLM-маршрутизатор для production

> Практическое руководство по оценке решений маршрутизации, изменений типов задач, влияния кэширования промптов, наблюдаемости, учетных данных и развертывания в production на основе исходных данных.

Source: https://ailoot.ai/blog/ru/evaluate-llm-router-production/
Canonical: https://ailoot.ai/blog/ru/evaluate-llm-router-production/
Language: ru
Publisher: Ailoot (https://ailoot.ai/)
Translation: guide-100017
Revision: sha256-b3ddf17166d3fc35624f5cb0628d47c614314f91b957a2709266fe780efd90b7


## Как выбрать маршрутизатор для собственных задач?

**1. Записывайте поля, от которых зависит всё:** Для каждого вызова: модель, входные токены, токены кэшированного ввода, токены записи в кэш, выходные токены, задержка, тип задачи и факт принятия результата или повторной попытки. Поле кэшированного ввода — то, которое команды пропускают, и именно оно определяет, может ли маршрутизация вообще помочь. Неделя таких данных обойдется примерно в один рабочий день на настройку инструментирования.

**2. Рассчитайте верхний предел экономии до того, как начнете выбирать:** Максимальная экономия — S = f x (1 - r), где f — доля вызовов, которые можно перенаправить с передовой модели, а r — стоимость дешевой модели как доля стоимости передовой модели. Оба значения можно получить на первом шаге. Вместо этого лучше потратить время на кэширование промптов, пакетные конечные точки и усилие рассуждения.

**3. Составьте эталонный набор на основе собственного трафика для каждого класса задач:** От пятидесяти до двухсот реальных запросов с известными качественными результатами, взятых из ваших логов, а не написанных вручную. Этот артефакт делает предметным любой последующий разговор с поставщиком. Без него вы сравниваете маркетинговые заявления.

**4. Проверьте два условия, предсказывающих поведение в production:** Во-первых, запустите маршрутизатор в теневом режиме на живом трафике и сравните затраты при маршрутизации с базовым вариантом, в котором все запросы обрабатывает передовая модель и учитывается прогретый кэш: только такое сравнение будет справедливым. Во-вторых, и этого шага никто не делает, отложите класс задач, который маршрутизатор еще не видел, и измерьте результат на нем. Вот почему важен раздел 2. Маршрутизатор, который хорошо выглядит на калибровочном наборе, но проваливается на новой области функций, сам об этом не сообщит.

**5. Свяжите развертывание с результатами оценки и продолжайте ее:** Требуйте, чтобы дешевая модель преодолела установленный порог для каждого класса задач, прежде чем этот класс станет доступен маршрутизации. Затем продолжайте запускать оценку: версии моделей меняются, и маршрутизатор, откалиброванный в марте, описывает набор моделей, которого уже не существует.

## Чем производственный LLM-маршрутизатор отличается от демонстрации?

### 1. Оптимальность, а не громкая цифра экономии

Цифра экономии без показателя качества рядом — это лишь часть утверждения.

Оптимальность — показатель, который никто не рекламирует, хотя именно он определяет ваш счет. Он показывает, как часто маршрутизатор выбирал самую дешевую модель, которая всё же давала правильный ответ. Маршрутизатор может показывать хорошую точность и при этом сжигать деньги.

Попросите любого поставщика назвать долю оптимальных выборов. Если он не может ее предоставить, значит, он не измерял то, за что вы платите.

### 2. Устойчивость при изменении типа задачи

Покупайте маршрутизатор, обученный на трафике, похожем на ваш, и требуйте показать результат на распределении, на котором его не настраивали.

### 3. Поведение при прогретом кэше

Маршрутизатор настолько хорош, насколько хорош механизм, лежащий в его основе.

[Anthropic публикует множители](https://platform.claude.com/docs/en/build-with-claude/prompt-caching): чтение из кэша стоит 0.1x от базовой стоимости ввода, запись в кэш на пять минут стоит 1.25x, а запись на один час — 2x. Таким образом, переключение модели в ходе диалога обходится примерно в двенадцать раз дороже, чем продолжение работы с той же моделью на том же префиксе, и окупается только в том случае, если новая модель сохраняет сессию.

Эти значения согласуются. Провайдер сохраняет ваш оставленный префикс в прогретом состоянии, поэтому возвращение обходится дешево; дорогой частью становится запись в кэш у модели, на которую вы перешли. Окупаемость зависит от длины ваших префиксов и частоты возврата. Никто не может ответить за вас — в этом и смысл.

### 4. Где проходит граница маршрутизации

Маршрутизатор, который заново принимает решение на каждом шаге, принимает решение, для которого ему не хватает информации, и каждый раз, меняя выбор, оплачивает запись в кэш.

Хорошие границы маршрутизации — те, через которые сессия не возвращается: целая подзадача, отдельный этап, фоновая задача.

### 5. Можно ли увидеть решение и переопределить его

Когда качество ответов падает, инженеру нужно быстро ответить на один вопрос: изменилась модель или я? Маршрутизатор, который записывает выбранную модель, причину выбора и его стоимость, можно отлаживать. Если он этого не делает, он становится источником загадочных регрессий.

Требуйте поле модели для каждого запроса, поле стоимости для каждого запроса и возможность переопределить выбор.

### 6. Масштаб последствий, ведь у маршрутизатора есть ваши ключи

Маршрутизатор по своей конструкции находится на пути учетных данных. У него есть ключи провайдеров, а при самостоятельном развертывании могут быть и учетные данные облака. Поэтому это критически важная зависимость. Оценивая маршрутизатор, выясните, как он распространяется, подписаны ли релизы, фиксирует ли путь развертывания зависимости и к чему он может получить доступ на хосте. Самостоятельное развертывание не безопаснее автоматически управляемого сервиса: у него другой профиль рисков.

### 7. Кто будет отвечать за него через восемнадцать месяцев

Это повод спросить во время оценки, как выглядит дорожная карта при нынешнем владельце и каким будет путь миграции, если поддержка прекратится.

## Когда не следует использовать LLM-маршрутизатор?

**Когда ваш трафик равномерно сложный:** Экономия на маршрутизации зависит от неоднородности трафика, а не от того, насколько умен маршрутизатор.

## Что делать дальше?

Теперь вы знаете два вопроса, которые отличают работающий маршрутизатор от того, который хорошо смотрится на демонстрации: какова доля его оптимальных выборов и что происходит при изменении типа задачи.

Начните с первого шага. Добавьте токены кэшированного ввода и тип задачи в логи запросов и оставьте сбор данных на неделю. Это поле — разница между реальным значением f и догадкой.

## Часто задаваемые вопросы

### Что такое LLM-маршрутизатор?

LLM-маршрутизатор — это слой принятия решений между вашим приложением и набором моделей, который отправляет каждый запрос модели, с наибольшей вероятностью способной приемлемо выполнить его с минимальными затратами. Маршрутизаторы, работающие до генерации, принимают решение только по промпту; каскадные маршрутизаторы сначала дают ответ дешевой модели и переходят к более мощной, если оценщик отклоняет ответ. Большинство производственных систем теперь совмещают оба подхода.

### Действительно ли LLM-маршрутизаторы экономят деньги?

Да, но значительно меньше, чем обещают громкие заявления; размер экономии зависит от вашего трафика, а не от маршрутизатора. Прежде чем верить цифрам поставщика, рассчитайте S = f x (1 - r) по собственным логам.

### В чем разница между LLM-маршрутизатором и AI-шлюзом?

Шлюз предоставляет одну конечную точку, переключение при сбоях, управление ключами, бюджеты и наблюдаемость для множества провайдеров. Маршрутизатор решает, какая модель обработает конкретный запрос. Большинство шлюзов теперь поставляются со встроенным маршрутизатором, но эти две функции независимы.

### Можно ли создать собственный LLM-маршрутизатор вместо покупки?

Да. Работа по измерениям в обоих случаях одинакова, поэтому сначала выполните шаги с первого по третий из приведенной выше последовательности. Если будете создавать маршрутизатор, начните с таблицы соответствий «тип задачи — модель». Добавляйте обучаемый классификатор только тогда, когда базовый вариант явно не справляется.

### Нарушает ли переключение моделей кэширование промптов?

Переключение обходится в запись в кэш у новой модели, которая тарифицируется по ставке 1.25x от базовой стоимости ввода при TTL в пять минут, тогда как чтение из оставленного кэша стоило бы 0.1x. Окупаемость зависит от длины префикса и частоты возврата, поэтому измерьте ее на собственном трафике.

## Примените это руководство с Ailoot

Подключайте модели ИИ к приложениям, агентам и автоматизациям через единый API Ailoot. Выберите модель, подходящую для вашей задачи, и начните работу, следуя [документации Ailoot](https://ailoot.ai/docs/).


## Ailoot · Компания и портфель её проектов

Ailoot опирается на накопленный опыт работы, большую клиентскую базу, стабильный сервис и постоянный контроль KPI.

Компания и портфель её проектов: миллионы клиентов; продажи на миллиарды ежемесячно.

Этот опыт Ailoot использует для API-доступа к нейросетям в продуктах клиентов, агентах, приложениях и автоматизациях.
