Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B est le modèle d’embeddings textuels 8B de Qwen, construit à partir du modèle de base dense Qwen3. Il représente le texte sous forme de vecteurs numériques plutôt que de générer des réponses conversationnelles. Qwen cite recherche textuelle, recherche de code, classification, regroupement et exploration de textes parallèles parmi ses applications. Un système de recherche peut utiliser ces vecteurs pour comparer une question à des passages pertinents ; une collection documentaire peut trouver des éléments sémantiquement liés ou organiser des enregistrements en groupes.

Le modèle précis prend en charge une longueur de séquence de 32K tokens et des embeddings comportant jusqu’à 4 096 dimensions. Il accepte aussi des dimensions de sortie définies par l’utilisateur, de 32 à 4 096, grâce à Matryoshka Representation Learning. La longueur du vecteur devient un choix délibéré : un vecteur plus court change la taille de la représentation, tandis que la sortie complète conserve la dimension maximale du modèle. Gardez la dimension choisie cohérente pour les documents et requêtes comparés dans un index. Qwen3-Embedding-4B est une édition distincte avec une dimension maximale différente, pas une source de vecteurs interchangeable pour une collection 8B existante.

Le fabricant décrit la prise en charge de plus de 100 langues, y compris des langages de programmation, ainsi que la recherche multilingue, interlingue et de code. Une collection pratique peut contenir des documents dans plusieurs langues tandis que les requêtes recherchent le sens pertinent, ou des passages sources de code indexés pour une question en langage naturel. Conservez identifiants, titres et termes de domaine importants dans l’entrée. Pour le code, gardez avec l’extrait l’explication entourant la fonction ou le module lorsque ce contexte fait partie de la question. La sortie reste une représentation vectorielle ; renvoyer le texte documentaire correspondant est l’étape suivante de l’application de recherche.

Le modèle tient compte des instructions. Qwen recommande une instruction d’une phrase adaptée à la tâche de recherche et, pour le multilingue, recommande de l’écrire en anglais. Son exemple direct formate la requête avec Instruct: suivi de la description de la tâche et Query: suivi de la question. Les documents à rechercher n’ont pas besoin du même préfixe d’instruction dans cet exemple. Une consigne initiale adaptée peut décrire la recherche de passages techniques expliquant l’erreur d’un utilisateur, puis placer la description précise de cette erreur dans la requête. L’instruction décrit la relation sémantique que la recherche devrait favoriser.

Les exemples Qwen encodent séparément requêtes et documents, comparent leurs vecteurs par similarité cosinus et montrent une procédure de bas niveau utilisant l’état caché du dernier token et normalisant l’embedding avant une comparaison par produit scalaire. Un processus utile conserve le vecteur de chaque passage avec son identifiant source, compare une requête préparée aux vecteurs stockés et renvoie les passages correspondants par ordre de similarité. Le réglage de troncature de 8 192 tokens de l’exemple est un choix de traitement d’entrée, distinct de la longueur de séquence 32K documentée. Vérifiez ce qui est conservé lors de la préparation des longues entrées.

Les modèles d’embedding et de reclassement sont des composants distincts de la version Qwen. Un modèle d’embedding représente un segment de texte et permet une première recherche par similarité. Un reclasseur distinct évalue la relation entre requête et passages candidats et peut affiner leur ordre. Qwen décrit la combinaison des deux modules, mais Qwen3-Embedding-8B renvoie lui-même des embeddings plutôt que le jugement de pertinence d’un reclasseur ou une réponse écrite. Pour une recherche suivie d’une réponse, conservez le texte source correspondant et transmettez ces éléments à l’étape de réponse. Choisissez et gardez un modèle, une dimension et une instruction de requête cohérents pour la collection recherchée.