Intfloat: E5-Base-v2

E5-Base-v2 — 12-слойная модель эмбеддингов intfloat для английского языка с 768-мерным представлением. Она превращает подготовленный текст в один числовой вектор для поиска, семантического сравнения или использования в качестве признаков другой задачи. Контрольная точка Base v2 отличается от 24-слойного, 1024-мерного издания Large v2 и отдельно обученных многоязычных моделей E5.

Используйте обученные ролевые префиксы

E5 ожидает роль в начале входа. Для поиска фрагментов вопрос начинается с «query:», а его возможный источник с ответом — с «passage:». Производитель рекомендует «query:» с обеих сторон для симметричных задач, таких как семантическое сходство и поиск перефразировок. Он также рекомендует этот префикс, когда векторы будут признаками кластеризации или классификации.

Например, коллекция обратной связи может содержать несколько по-разному сформулированных запросов одного улучшения. Кодируйте эти записи с рекомендованной симметричной подготовкой, затем сравнивайте или кластеризуйте полученные векторы. Храните исходные формулировки и идентификатор записи с каждым представлением, чтобы кластер можно было исследовать как реальные сообщения клиентов, а не необъяснённую группу чисел.

Для поисковой коллекции готовьте вопросы и исходные фрагменты в соответствующих ролях. Полезный запрос — «query: Which setting changes the notification frequency?». Фрагмент корпуса сохраняет объяснение и относящиеся к нему условия. Префикс является частью обученной подготовки модели; производитель отмечает, что его пропуск снижает качество.

Объединяйте и сравнивайте представление

Официальный пример вычисляет среднее представлений токенов с учётом маски внимания, исключая заполнение, затем нормализует полученный вектор. Скалярное произведение нормализованных эмбеддингов даёт косинусное сходство. 768 выходных значений описывают один текст; это не ответ, не метка класса и не попарная оценка реранкера.

В процессе кластеризации другой этап формирует группы из этих векторов. В процессе классификации другой этап использует их как входные признаки. Сохранение этого различия облегчает интерпретацию результата: эмбеддинг представляет запись, а последующая задача определяет группу или метку. Последовательно используйте одну модель и конвенцию подготовки для сравниваемых представлений.

Работайте с английским языком и в пределах 512 токенов

Карточка модели указывает, что это издание работает только для английского языка и обрезает длинный текст максимум до 512 токенов. Готовьте связные фрагменты в этих пределах, включая обязательный ролевой префикс. Длинный отзыв, отчёт или руководство следует делить по смысловым разделам вместо создания эмбеддинга слишком большого входа, конец которого теряется.

Сохраняйте заголовок с предложениями, которые он вводит, и условие или исключение, меняющее смысл правила. Для коротких записей вроде обратной связи сохраняйте всё сообщение, если оно помещается. Идентификатор источника и версия рядом с вектором позволяют последующему обновлению коллекции заменить правильную запись.

Интерпретируйте сходство с учётом задачи

Производитель объясняет, что относительный порядок косинусных оценок важнее абсолютного значения. Порог фильтрации следует оценивать по собственным примерам коллекции, а сходство векторов не является калиброванной вероятностью совпадающей метки или правильного ответа. Рассматривайте близкие записи и известные несовпадения, решая, как использовать векторы.

Полезный результат — англоязычный поисковый индекс, набор семантических сравнений или числовые признаки текста в паре с исходными записями. Этот профиль Base v2 задаёт собственные размерность, пулинг и ролевую подготовку; форма вектора или языковой охват другого издания E5 не устанавливают взаимозаменяемое представление.