Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B — версия 4B для текстовых эмбеддингов в семействе моделей Qwen для эмбеддингов и переранжирования. Построенная на базовой плотной модели Qwen3, она преобразует текстовый фрагмент в числовое представление его смысла. Qwen относит к областям применения поиск текстов, поиск по коду, классификацию, кластеризацию и поиск параллельных текстов. Она полезна, когда приложению нужно находить связанные фрагменты, группировать похожие записи или сопоставлять тексты на разных языках. Результат модели — вектор эмбеддинга, а не ответ в диалоге или переписанный документ.

У этой конкретной версии длина последовательности составляет 32K токенов, а размерность эмбеддинга — до 2 560. Она поддерживает выбор выходной размерности от 32 до 2 560 с помощью Matryoshka Representation Learning. Выбранная длина вектора влияет на хранение и сравнение представления, поэтому используйте одинаковую размерность векторов запросов и документов в одной коллекции. У Qwen3-Embedding-8B другой размер модели и максимальная размерность 4 096; ни этот размер выходного вектора, ни идентичность модели 8B не переносятся на версию 4B. Существующий индекс должен сохранять собственные согласованные настройки представления.

Производитель описывает поддержку более 100 языков, включая языки программирования, с многоязычным и межъязыковым поиском и поиском по коду. Например, поиск по справочному центру может сопоставить вопрос пользователя с фрагментами на нескольких языках, а затем вернуть исходные фрагменты, соответствующие теме. Поиск по коду может сопоставить описание на естественном языке с нужными функциями и их документацией. При подготовке текста сохраняйте значимые заголовки, предметные термины и идентификаторы, а каждый представляемый фрагмент связывайте с его источником, чтобы приложение могло показать соответствующий материал.

Qwen3-Embedding-4B учитывает инструкции. Qwen рекомендует снабжать каждый запрос описанием задачи в одно предложение, адаптированным к нужной связи при поиске, а для многоязычных сценариев рекомендует инструкции на английском. Прямой пример помещает Instruct: перед описанием задачи и Query: перед текстом запроса. Документы для поиска в нём кодируются без этой инструкции для запроса. Практическая оригинальная инструкция может задавать поиск фрагментов документации, объясняющих указанную ошибку, или фрагментов исходного кода, реализующих описанное поведение. Это направляет представление на вопрос приложения, а не просит модель написать ответ.

Официальные примеры кодируют тексты запросов и документов, сравнивают их эмбеддинги с помощью косинусного сходства и демонстрируют пулинг скрытого состояния последнего токена с последующей нормализацией. В этом низкоуровневом примере вход обрезается на выбранном значении 8 192 токена; документированная длина последовательности модели остаётся 32K. Для длинного материала определите, какие фрагменты нужно представить, и убедитесь, что обрезка не удаляет незаметно часть, необходимую для запроса. Храните векторы со стабильными ссылками на источники, сравнивайте подготовленный запрос с коллекцией и возвращайте связанные фрагменты в порядке сходства.

Модель эмбеддингов Qwen использует подход с двойным энкодером, тогда как отдельные модели переранжирования используют кросс-энкодер для оценки пар «запрос–документ». В описании релиза эти модули используются совместно: эмбеддинги находят первоначальных кандидатов, а реранкер затем может уточнить их порядок. Сама Qwen3-Embedding-4B предоставляет представление отдельного текста. Её вектор — не оценка реранкера, не проверенное утверждение и не сгенерированный ответ. Если итоговый процесс отвечает на вопросы по найденному материалу, выбранные фрагменты источников остаются доказательной основой, передаваемой на следующий этап.