Intfloat: Multilingual-E5-Large

Multilingual-E5-Large — многоязычная модель плотных текстовых эмбеддингов intfloat с двадцатью четырьмя слоями и 1024-мерным выходом. Она инициализирована из XLM-RoBERTa Large и дополнительно обучена на многоязычных данных. Карточка модели описывает поддержку ста языков в охвате XLM-R, отмечая более слабое качество для языков с малым объёмом данных. Её векторы представляют текст для поиска, семантического сравнения и задач, использующих числовые признаки.

Сохраняйте роль входа на каждом языке

Обученные префиксы — «query:» и «passage:», в том числе для неанглийского текста. Поисковый запрос и фрагменты его корпуса используют соответствующие роли. Префиксы остаются этими английскими строками, а исходные формулировки сохраняют собственный язык. Для симметричного семантического сходства, поиска перефразировок, поиска параллельных текстов или использования в качестве признаков производитель рекомендует «query:».

Практическая коллекция может содержать документацию на нескольких поддерживаемых языках. Сохраняйте язык каждого фрагмента, исходный текст и местоположение источника вместе с его вектором. Подготовьте реальные поисковые вопросы аудитории вместо предположения, что один английский тест представляет всю коллекцию. Вывод должен возвращать реальный фрагмент и его контекст, чтобы читатель мог оценить его содержание.

Для задачи многоязычного сопоставления ясно определяйте цель сравнения. Кандидатная пара переводов и запрос, ищущий подтверждающий фрагмент, требуют разной подготовки. Рекомендации модели по ролевым префиксам задают конкретную конвенцию для этих задач; пропуск префикса не является документированным эквивалентом, поскольку меняет входной шаблон, использованный при обучении.

Пулинг и сравнение векторов

Пример производителя усредняет представления токенов, используя маску внимания для исключения заполнения, затем нормализует вектор. Скалярные произведения нормализованных векторов дают косинусное сходство. Массив из 1024 компонентов представляет один подготовленный текст. Сохраняйте связь точной модели и подготовки с хранимыми векторами, чтобы последующие запросы использовали соответствующее представление.

Эти векторы могут предоставлять ранжирование кандидатов или признаки для последующего этапа кластеризации либо классификации. Они не переводят источник и не составляют ответ. Возвращайте исходный текст фрагмента, когда результат поиска должен помогать читателю или последующему этапу генерации RAG.

Обучение и языковой охват

Карточка модели документирует контрастивное предобучение со слабым учителем, за которым следует дообучение с учителем. Многоязычная подготовка включает материалы вроде пар «заголовок–фрагмент», разговорных пар и пар переводов, а размеченные данные поиска и понимания языка обеспечивают последующий этап. Это объясняет целевые задачи представления текста, не устанавливая одинаковое качество на каждом языке.

Производитель прямо указывает ухудшение для языков с малым объёмом данных как ограничение. Проверяйте реальные языки и формулировки коллекции, включая сокращения, имена и специальную лексику. Многоязычная метка полезно описывает охват; релевантность возвращённого текста аудитории и задаче всё равно необходимо проверять.

Длина и полезные результаты

Длинный вход обрезается максимум до 512 токенов. Подготовьте длинный документ как связные фрагменты с ролевым префиксом и нужными заголовками. Сохраняйте определения и оговорки рядом с утверждением, на которое они влияют, а идентификатор родительского документа и версию источника храните вне вектора.

Производитель рекомендует сосредоточиться на относительном порядке косинусных оценок вместо трактовки абсолютного значения как универсальной меры уверенности. Полезный результат — набор кандидатных фрагментов, сопоставимые представления текстов или признаки, связанные с исходными записями. Эта конкретная модель остаётся отдельной от англоязычных контрольных точек E5 v2 и вариантов E5, дообученных по инструкциям, даже когда другая модель также возвращает 1024 значения.