VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite — редакция серии Rerank 3 от Voyage с приоритетом низкой задержки. Она принимает текстовый запрос и документы-кандидаты, совместно оценивает каждую пару «запрос — документ» и возвращает оценки релевантности в ранжированном порядке. Модель работает на втором этапе поиска: поиск по эмбеддингам или ключевым словам находит кандидатов, а Lite уточняет их порядок. Результат — ранжирование для поиска или процесса генерации с дополнением найденными данными.

Что изменилось в Rerank 3 Lite Разработчик подчёркивает улучшение поиска по длинным документам и коду по сравнению с rerank-2.5-lite. Обе редакции Rerank 3 сохраняют следование инструкциям и один класс контекста 32K, а Lite предназначена для приложений, чувствительных к задержке. Поэтому её стоит рассмотреть для интерактивного поиска по базе знаний, документам поддержки и коду, где пользователям нужны релевантные результаты без долгого ожидания. Выбирайте модель по требованиям реальной коллекции к качеству и времени отклика, не предполагая, что меньшая редакция означает меньшее окно контекста.

Управляйте релевантностью через запрос Вместе с запросом можно передать инструкции на естественном языке, объясняющие, что считать релевантным. Формулируйте вопрос и предпочтения кратко и согласованно. Для поиска по поддержке программного обеспечения можно использовать: «Найди процедуру сброса устройства; отдавай приоритет инструкциям для указанной аппаратной ревизии». Для неоднозначного названия продукта укажите категорию, чтобы посторонние значения не преобладали. Предпочтение в запросе направляет семантическую оценку; для выбора нужного продукта, версии документа или области доступа используйте явные метаданные коллекции до формирования списка кандидатов.

Подготовьте короткий список текстовых кандидатов Входные документы — строки. Извлеките читаемый текст из исходных материалов, сохранив полезные названия, заголовки, идентификаторы и окружающий контекст. Поддерживайте стабильное соответствие каждой входной позиции исходной записи. Для статьи об устранении неполадок включите симптом и нужную процедуру, а не только отдельное предложение. Для поиска по исходному коду включите функцию и соседние сведения, необходимые, чтобы отличить её от функций с похожими именами. Удалите повторяющуюся навигацию или шаблонный текст, если они вытесняют полезный фрагмент.

Реранкер может переупорядочить только полученные документы. Если первый поиск не нашёл нужную статью, этот этап не восстановит отсутствующего кандидата. Когда результат выглядит неверным, изучите и исходный список, и итоговый порядок. Если длинный документ охватывает много тем, разделите его на связные разделы и сохраните ссылки на родительский документ, чтобы выбрать нужный раздел, не теряя его источник.

Контекст и ограничения запроса Текущее руководство разработчика указывает максимум 8000 токенов для запроса и суммарно 32 000 токенов для запроса вместе с каждым отдельным документом. Допускается до 1000 документов-кандидатов и общий бюджет запроса в 600 000 токенов, который рассчитывается как число токенов запроса, умноженное на число документов, плюс все токены документов. Поэтому длинный запрос занимает место в каждой паре и многократно учитывается в общем бюджете. Считайте переданный текст подходящим токенизатором модели, не считая символы, слова и токены взаимозаменяемыми.

Например, запрос на 500 токенов и 100 документов по 4000 токенов каждый дают по этой формуле 450 000 входных токенов. Это иллюстрация расчёта бюджета, а не рекомендуемый размер списка или измеренный результат скорости. Документированная опция усечения включена по умолчанию; слишком длинный текст может сокращаться до оценки. Намеренно подготавливайте важные разделы, чтобы усечение не удалило именно тот фрагмент, который нужно сопоставить.

Читайте и используйте результат Результаты отсортированы по убыванию оценки релевантности. Каждый результат указывает исходную входную позицию документа, позволяя приложению добавить собственное название, идентификатор записи и источник. Настройка top_k определяет число возвращаемых ранжированных кандидатов; без неё возвращаются все. REST-интерфейс разработчика также может вернуть текст документа. Сохраняйте исходные идентификаторы рядом с выбранными результатами при показе поисковой страницы или передаче доказательств на этап генерации ответа.

Оценка релевантности выражает соответствие кандидата запросу; она не устанавливает истинность содержащихся в нём утверждений. Сверяйте первые результаты с фактическим вопросом пользователя, включая исключения и различия версий документов. Даже если все кандидаты нерелевантны, первый результат всё равно существует. Определите реакцию приложения на такой случай с помощью типичных запросов коллекции.

Обновление и выбор редакции Разработчик описывает rerank-3-lite как обновление rerank-2.5-lite с неизменной семантикой API и оценками, откалиброванными под распределение соответствующего предшественника. Сохраните существующее соответствие записей и этап поиска, затем сравните итоговый порядок на значимых запросах, прежде чем полагаться на установленный порог оценки. Используйте Lite для поиска, где важно время отклика; сопоставьте её с ориентированной на качество rerank-3, если важнее релевантность сложных кандидатов.