Intfloat: E5-Base-v2

E5-Base-v2 est le modèle de plongement anglais à douze couches d’intfloat, avec une représentation de 768 dimensions. Il transforme le texte préparé en un vecteur numérique pour la recherche d’information, la comparaison sémantique ou l’utilisation comme caractéristiques dans une autre tâche. La version Base v2 est distincte de l’édition Large v2 à vingt-quatre couches et 1024 dimensions, ainsi que des modèles E5 multilingues entraînés séparément.

Utiliser les préfixes de rôle appris

E5 attend un rôle au début de l’entrée. Pour la recherche de passages, une question commence par « query: » et sa source susceptible de contenir une réponse par « passage: ». Le fabricant recommande « query: » des deux côtés pour les tâches symétriques, comme la similarité sémantique et la recherche de paraphrases. Il recommande aussi ce préfixe lorsque les vecteurs servent de caractéristiques pour le regroupement ou la classification.

Par exemple, une collection de retours clients peut contenir plusieurs demandes formulées différemment pour une même amélioration. Encodez ces enregistrements avec la préparation symétrique recommandée, puis comparez ou regroupez les vecteurs obtenus. Conservez la formulation d’origine et l’identifiant de l’enregistrement avec chaque représentation, afin de pouvoir examiner un groupe comme des messages clients réels plutôt que comme un ensemble inexpliqué de nombres.

Pour une collection destinée à la recherche, préparez les questions et les passages sources avec leurs rôles respectifs. Une requête utile serait « query: Which setting changes the notification frequency? ». Le passage du corpus conserve l’explication et ses conditions pertinentes. Le préfixe fait partie de la préparation apprise par le modèle ; le fabricant précise que l’omettre réduit les performances.

Agréger et comparer la représentation

L’exemple officiel calcule la moyenne des représentations des tokens en tenant compte du masque d’attention et en excluant le remplissage, puis normalise le vecteur obtenu. Un produit scalaire entre plongements normalisés fournit une similarité cosinus. Les 768 valeurs de sortie décrivent un texte ; elles ne constituent ni une réponse, ni un libellé de classe, ni un score de reclassement par paire.

Dans un processus de regroupement, une autre étape forme des groupes à partir de ces vecteurs. Dans un processus de classification, une autre étape les utilise comme caractéristiques d’entrée. Préserver cette distinction facilite l’interprétation du résultat : le plongement représente l’enregistrement, tandis que la tâche en aval détermine un groupe ou un libellé. Utilisez de manière cohérente un même modèle et une même convention de préparation pour les représentations comparées.

Travailler en anglais dans 512 tokens

La fiche du modèle indique que cette édition fonctionne uniquement en anglais et tronque les textes longs à un maximum de 512 tokens. Préparez des passages cohérents dans cette limite, en incluant le préfixe de rôle requis. Une longue critique, un rapport ou un manuel doivent être divisés autour de sections porteuses de sens, plutôt qu’encodés comme une entrée surdimensionnée dont la fin serait perdue.

Gardez un titre avec les phrases qu’il introduit et préservez la condition ou l’exception qui modifie le sens d’une règle. Pour les enregistrements courts, tels que les retours clients, conservez le message complet lorsqu’il tient dans la fenêtre. Un identifiant de source et une version stockés avec le vecteur permettent à une mise à jour ultérieure de la collection de remplacer le bon enregistrement.

Interpréter la similarité selon la tâche

Le fabricant explique que l’ordre relatif des scores cosinus est plus important qu’une valeur absolue. Un seuil de filtrage doit être évalué sur les exemples propres à la collection, et la similarité vectorielle n’est pas une probabilité calibrée d’obtenir un libellé correspondant ou une réponse correcte. Examinez les enregistrements voisins et les correspondances connues comme incorrectes lorsque vous décidez de l’utilisation des vecteurs.

Le livrable utile est un index de recherche anglais, un ensemble de comparaisons sémantiques ou des caractéristiques numériques du texte associées à leurs enregistrements sources. Ce profil Base v2 possède ses propres dimensions, son agrégation et sa préparation des rôles ; la forme du vecteur ou la couverture linguistique d’une autre édition E5 n’établit pas que les représentations sont interchangeables.