Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B est l’édition 4B de plongement textuel de la famille de modèles de plongement et de reclassement de Qwen. Construit sur le modèle de fondation dense Qwen3, il convertit un segment de texte en une représentation numérique de son sens. Qwen cite la recherche de texte, la recherche de code, la classification, le regroupement et l’extraction de textes parallèles parmi les domaines d’application. Il est utile lorsqu’une application doit retrouver des passages liés, regrouper des enregistrements similaires ou comparer des textes entre langues. Le modèle produit un vecteur de plongement, et non une réponse conversationnelle ou un document réécrit.

Cette édition précise dispose d’une longueur de séquence de 32K jetons et d’une dimension de plongement allant jusqu’à 2 560. Elle prend en charge des dimensions de sortie personnalisées de 32 à 2 560 grâce à Matryoshka Representation Learning. La longueur vectorielle choisie influe sur le stockage et la comparaison de la représentation : conservez donc la même pour les vecteurs de requêtes et de documents au sein d’une collection. Qwen3-Embedding-8B possède une taille de modèle différente et une dimension maximale de 4 096; ni cette taille de sortie ni l’identité du modèle 8B ne s’appliquent à cette édition 4B. Un index existant doit conserver ses propres choix de représentation cohérents.

Le fabricant décrit la prise en charge de plus de 100 langues, y compris des langages de programmation, avec des fonctions de recherche multilingue, interlingue et de code. Par exemple, une recherche dans un centre d’aide peut comparer la question d’un utilisateur à des passages rédigés dans plusieurs langues, puis renvoyer les passages d’origine correspondant au sujet. Une recherche de code peut comparer une description en langage naturel à des fonctions pertinentes et à leur documentation. Lors de la préparation du texte, préservez les titres utiles, les termes du domaine et les identifiants, et conservez le lien entre chaque passage représenté et sa source pour que l’application puisse afficher les éléments correspondants.

Qwen3-Embedding-4B tient compte des instructions. Qwen recommande d’accompagner chaque requête d’une description de la tâche en une phrase, adaptée à la relation de recherche souhaitée, et préconise des instructions en anglais pour les scénarios multilingues. L’exemple direct place Instruct: avant la description de la tâche et Query: avant le texte de la requête. Les documents à rechercher sont encodés sans cette instruction de requête. Une instruction pratique originale peut demander de retrouver des passages de documentation expliquant une erreur signalée ou des extraits de code source mettant en œuvre le comportement décrit. Cela oriente la représentation vers la question de l’application, plutôt que de demander au modèle de rédiger une réponse.

Les exemples officiels encodent les textes des requêtes et des documents, comparent leurs plongements par similarité cosinus et montrent l’agrégation de l’état caché du dernier jeton suivie d’une normalisation. Dans cet exemple de plus bas niveau, l’entrée est tronquée selon un réglage choisi de 8 192 jetons; la longueur de séquence documentée du modèle reste de 32K. Pour des contenus longs, choisissez les passages à représenter et vérifiez que la troncature n’élimine pas silencieusement la partie dont la requête a besoin. Stockez les vecteurs avec des références de source stables, comparez la requête préparée à la collection et renvoyez les passages associés par ordre de similarité.

Le modèle de plongement de Qwen utilise une approche à double encodeur, tandis que ses modèles de reclassement distincts utilisent un encodeur croisé pour évaluer les paires requête–document. La publication décrit l’utilisation conjointe de ces modules : les plongements trouvent les premiers candidats, puis un modèle de reclassement peut affiner leur ordre. Qwen3-Embedding-4B fournit lui-même la représentation d’un seul texte. Son vecteur n’est ni un score de reclassement, ni une affirmation vérifiée, ni une réponse générée. Si le processus final répond à des questions à partir des éléments retrouvés, les passages sources sélectionnés restent les preuves transmises à cette étape ultérieure.