Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B est le modèle de plongement textuel 8B de Qwen, construit à partir du modèle de fondation dense Qwen3. Il représente le texte sous forme de vecteurs numériques, plutôt que de générer des réponses conversationnelles. Qwen répertorie la recherche textuelle, la recherche de code, la classification, le regroupement et l’extraction de textes parallèles parmi les domaines d’application pris en charge. Un système de recherche peut utiliser ces vecteurs pour comparer une question à des passages pertinents ; une collection documentaire peut les utiliser pour trouver des matériaux sémantiquement liés ou organiser les enregistrements en groupes.

Le modèle exact prend en charge une longueur de séquence de 32K tokens et des plongements pouvant atteindre 4096 dimensions. Il prend aussi en charge des dimensions de sortie définies par l’utilisateur, de 32 à 4096, grâce à Matryoshka Representation Learning. La longueur vectorielle devient ainsi un choix de conception délibéré : un vecteur plus court modifie la taille de la représentation, tandis que la sortie complète préserve la dimension maximale du modèle. Gardez la dimension choisie cohérente pour les documents et les requêtes comparés dans un même index. Qwen3-Embedding-4B est une édition distincte avec une dimension maximale différente, plutôt qu’une source vectorielle interchangeable pour une collection 8B existante.

Le producteur décrit la prise en charge de plus de 100 langues, y compris des langages de programmation, ainsi que de la recherche multilingue, entre langues et dans le code. Une collection concrète peut contenir des documents en plusieurs langues tandis que les requêtes recherchent le sens pertinent, ou des passages de code source indexés pour une question en langue naturelle. Préservez les identifiants importants, les titres et les termes du domaine dans l’entrée. Pour le code, gardez l’explication entourant la fonction ou le module avec l’extrait lorsque ce contexte fait partie de la question. La sortie reste une représentation vectorielle ; renvoyer le texte documentaire correspondant constitue l’étape suivante de l’application de recherche.

Le modèle tient compte des instructions. Qwen recommande une instruction d’une phrase adaptée à la tâche de recherche et, pour un usage multilingue, recommande de rédiger cette instruction en anglais. Son exemple direct met une requête en forme avec Instruct: suivi de la description de la tâche, puis Query: suivi de la question. Dans cet exemple, les documents de recherche n’ont pas besoin du même préfixe d’instruction. Un cahier des charges original adapté pourrait décrire la recherche de passages techniques expliquant une erreur de l’utilisateur, puis placer la description précise de l’erreur dans la requête. L’instruction décrit le type de relation sémantique que la recherche doit privilégier.

Les exemples de Qwen encodent séparément les requêtes et les documents, comparent leurs vecteurs par similarité cosinus et montrent une procédure de plus bas niveau qui utilise l’état caché du dernier token comme représentation agrégée et normalise le plongement avant une comparaison par produit scalaire. Un processus utile garde le vecteur de chaque passage attaché à son identifiant source, compare une requête préparée aux vecteurs stockés et renvoie les passages correspondants dans l’ordre de similarité. Le réglage de troncature de 8192 tokens de l’exemple est un réglage choisi de traitement d’entrée, distinct de la longueur de séquence documentée de 32K du modèle. Vérifiez ce qui est conservé lorsque vous préparez des entrées longues.

Les modèles de plongement et de reclassement sont des composants différents de la publication de Qwen. Un modèle de plongement représente un segment de texte et permet une recherche initiale par similarité. Un reclasseur distinct évalue la relation entre une requête et des passages candidats et peut affiner leur ordre. Qwen décrit la combinaison des deux modules, mais Qwen3-Embedding-8B renvoie lui-même des plongements, plutôt que le jugement de pertinence d’un reclasseur ou une réponse écrite. Pour une recherche suivie d’une réponse, conservez le texte source correspondant et transmettez ces éléments à l’étape de réponse. Choisissez et gardez un modèle, une dimension et une instruction de requête cohérents pour la collection interrogée.