Intfloat: Multilingual-E5-Large

Multilingual-E5-Large est le modèle multilingue de plongement textuel dense d’intfloat, avec vingt-quatre couches et une sortie de 1024 dimensions. Il est initialisé à partir de XLM-RoBERTa Large, puis entraîné sur des données multilingues. La fiche du modèle décrit la prise en charge des cent langues couvertes par XLM-R, tout en signalant de moins bonnes performances pour les langues peu dotées en ressources. Ses vecteurs représentent le texte pour la recherche d’information, la comparaison sémantique et les tâches utilisant des caractéristiques numériques.

Préserver le rôle de l’entrée dans chaque langue

Les préfixes appris sont « query: » et « passage: », y compris pour les textes dans d’autres langues que l’anglais. Une requête de recherche et les passages de son corpus utilisent leurs rôles respectifs. Les préfixes conservent ces chaînes anglaises, tandis que le texte source reste dans sa propre langue. Pour la similarité sémantique symétrique, la recherche de paraphrases, l’extraction de textes parallèles ou l’utilisation comme caractéristiques, le fabricant recommande « query: ».

Une collection concrète peut contenir de la documentation dans plusieurs langues prises en charge. Conservez la langue, le texte d’origine et l’emplacement source de chaque passage avec son vecteur. Préparez de vraies questions de recherche issues du public visé, au lieu de supposer qu’un test en anglais représente l’ensemble de la collection. La sortie doit renvoyer le passage réel et son contexte, afin que le lecteur puisse apprécier ce qu’il dit.

Pour une tâche de mise en correspondance multilingue, gardez clairement à l’esprit l’objectif de la comparaison. Une paire candidate de traductions et une requête visant à trouver un passage justificatif nécessitent des préparations différentes. Les recommandations du modèle sur les préfixes de rôle fournissent une convention concrète pour ces tâches ; omettre le préfixe n’est pas l’équivalent documenté, car cela modifie le motif d’entrée utilisé à l’entraînement.

Agrégation et comparaison des vecteurs

L’exemple du fabricant calcule la moyenne des représentations des tokens en utilisant un masque d’attention pour exclure le remplissage, puis normalise le vecteur. Les produits scalaires de vecteurs normalisés donnent la similarité cosinus. Le tableau de 1024 dimensions représente un texte préparé. Associez le modèle exact et la préparation aux vecteurs stockés, afin que les requêtes ultérieures utilisent la représentation correspondante.

Ces vecteurs peuvent fournir des classements de candidats ou des caractéristiques pour une étape ultérieure de regroupement ou de classification. Ils ne traduisent pas la source et ne rédigent pas de réponse. Renvoyez le texte du passage sous-jacent lorsqu’un résultat de recherche doit aider un lecteur ou une étape ultérieure de génération RAG.

Entraînement et couverture linguistique

La fiche du modèle documente un préentraînement contrastif faiblement supervisé, suivi d’un ajustement supervisé. La préparation multilingue comprend notamment des paires titre–passage, des paires conversationnelles et des paires de traductions, tandis que des données annotées de recherche d’information et de compréhension linguistique alimentent l’étape ultérieure. Cela explique les tâches de représentation textuelle visées sans établir des performances identiques dans toutes les langues.

Le fabricant indique explicitement la dégradation pour les langues peu dotées en ressources comme une limite. Vérifiez les langues et les formulations réelles de la collection, y compris les abréviations, les noms et le vocabulaire spécialisé. L’appellation multilingue décrit utilement le périmètre ; la pertinence du texte renvoyé doit néanmoins être examinée pour le public et la tâche concernés.

Longueur et résultats utiles

Les entrées longues sont tronquées à un maximum de 512 tokens. Préparez un document volumineux sous forme de passages cohérents, en incluant le préfixe de rôle et les titres pertinents. Gardez les définitions et les réserves près de l’énoncé qu’elles concernent, et conservez un identifiant de document parent ainsi qu’une version de la source en dehors du vecteur.

Le fabricant recommande de se concentrer sur l’ordre relatif des scores cosinus, plutôt que de traiter une valeur absolue comme une mesure universelle de confiance. Un résultat utile est un ensemble de passages candidats, des représentations textuelles comparables ou des caractéristiques liées à leurs enregistrements d’origine. Ce modèle exact reste distinct des versions E5 v2 uniquement anglophones et des variantes E5 ajustées aux instructions, même lorsqu’un autre modèle renvoie lui aussi 1024 valeurs.