bge-reranker-v2-m3

BGE Reranker v2 M3 — многоязычная модель оценки релевантности на основе BGE-M3. Она совместно получает запрос и отобранный фрагмент и возвращает оценку их связи. BAAI позиционирует эту версию как эффективный многоязычный реранкер, в том числе для поиска на китайском и английском, когда поисковому приложению нужно уточнить уже имеющийся список кандидатов.

Релевантность пары «запрос — фрагмент»

Кросс-энкодер обрабатывает оба текста совместно, позволяя их содержимому взаимодействовать до формирования оценки релевантности. Это отличается от модели эмбеддингов, которая кодирует тексты независимо для многократного векторного сравнения. Результат реранкера — скалярная оценка конкретной пары, а не вектор документа или письменный ответ.

Используйте модель после первоначального поиска, отобравшего вероятно подходящие фрагменты. Соедините вопрос с каждым кандидатом и упорядочьте кандидатов по полученным оценкам. Так более подробное сравнение применяется к управляемому короткому списку, а не ко всем фрагментам большой коллекции.

Версия v2 M3

Разработчик указывает BGE-M3 как базовую модель и называет многоязычность одной из основных возможностей. В семействе реранкеров v2 M3 — эффективный многоязычный вариант; версии на основе Gemma и варианты с выбором слоёв являются отдельными моделями с другими особенностями реализации. Название M3 здесь не означает, что реранкер возвращает плотные, разреженные и многовекторные эмбеддинги исходной модели эмбеддингов.

Это различие важно при выборе нужного приложению результата. Выбирайте модель эмбеддингов для представления коллекции документов и поиска по ней. Выбирайте этот реранкер, когда тексты кандидатов уже есть и нужно определить, какой фрагмент наиболее релевантен текущему запросу.

Подготовка кандидатов для полезного ранжирования

Передайте реальный вопрос и весь текст кандидата, необходимый для его интерпретации. Сохраняйте заголовки или соседние определения, если они определяют смысл фрагмента. В опубликованном примере Transformers запрос и фрагмент токенизируются вместе с усечением и max_length=512. Это настройка примера, а не общий лимит модели. Размещайте вопрос и необходимые доказательства в выбранном бюджете пары и проверяйте, что удаляется при усечении. Результат, упоминающий тот же продукт, что и запрос, может оставаться нерелевантным, если описывает другую операцию или условие; при оценке качества поиска готовьте примеры, позволяющие различать такие случаи.

В помощнике по документам сохраняйте идентификаторы кандидатов вместе с их текстом, оценивайте пары «вопрос — фрагмент» и передавайте выбранные исходные фрагменты на этап ответа. Тогда отвечающая модель получает доказательства, а не оценку релевантности без источника. Это пример поискового процесса; сам реранкер не ищет во внешней коллекции и не пишет ответ.

Чтение и нормализация оценок

Производитель возвращает необработанные оценки релевантности: более высокое значение означает более близкое соответствие. Документированная необязательная нормализация применяет сигмоидную функцию, переводя оценку в диапазон от 0 до 1. Нормализованная оценка имеет удобный диапазон, но само это преобразование не устанавливает калиброванную вероятность правильности кандидата.

Выбирайте пороги ранжирования или фильтрации на репрезентативных парах «запрос — фрагмент» из своей нагрузки. Включайте фрагменты с общими ключевыми словами, отвечающие на другой вопрос, и релевантные фрагменты с иными формулировками. Тогда выбранный порог будет иметь смысл для коллекции, в которой выполняется поиск.

Для проекта с Ailoot API определите, что должен содержать итоговый контекст и сколько кандидатов можно эффективно проверить. Полезный результат — лучше упорядоченный набор доказательств для следующего шага приложения. Отделяйте оценки релевантности этой версии от эмбеддингов документов, сгенерированного текста и настроек выбора слоёв, документированных для других реранкеров.