Thenlper: GTE-Base

GTE-base est le modèle de taille base General Text Embeddings entraîné par Alibaba DAMO Academy. Cet encodeur de texte anglais est principalement fondé sur l’architecture BERT et produit des vecteurs denses de 768 dimensions. Son entraînement utilise un grand corpus de paires liées par leur pertinence dans plusieurs domaines, la recherche d’information, la similarité sémantique textuelle et le reclassement de textes fondé sur les plongements figurant parmi les applications annoncées.

Préparer des requêtes et des passages anglais

Utilisez du texte anglais lisible pour le besoin d’information comme pour le matériau à rechercher. Par exemple, une requête sur le remplacement d’un composant usé peut être comparée à de courtes sections de maintenance décrivant les critères de remplacement, les étapes d’inspection et les instructions de commande. Conservez le nom du composant et les conditions qui distinguent ces sections.

L’exemple publié encode directement les questions et le texte candidat, sans instruction de tâche ajoutée. Gardez cette préparation cohérente entre la collection et les requêtes ultérieures. Stockez le passage d’origine et son identifiant avec le vecteur, afin qu’un résultat classé puisse montrer les informations représentées.

Agrégation par moyenne et comparaison

La recette de référence calcule la moyenne des représentations des tokens du modèle au moyen du masque d’attention, en empêchant les positions de remplissage de contribuer au résultat. Elle montre ensuite une normalisation L2 facultative et compare les vecteurs normalisés par leur produit scalaire. Un exemple distinct utilise la similarité cosinus.

Choisissez et conservez une configuration cohérente de normalisation et de comparaison pour l’indexation et la recherche. La sortie contient 768 composantes numériques ; elle ne contient pas de réponse générée. Pour une étape de reclassement des candidats, encodez les passages candidats avec le même modèle et ordonnez-les selon leur similarité à la requête. Cela reste une comparaison fondée sur les plongements, plutôt qu’une affirmation selon laquelle le modèle lirait conjointement chaque paire requête–passage comme un encodeur croisé.

Périmètre anglais et entrées de 512 tokens

La fiche exacte limite ce modèle au texte anglais et indique que les entrées longues sont tronquées à un maximum de 512 tokens. Un long manuel doit donc devenir des sections porteuses de sens avant l’indexation. Gardez un avertissement, une exception ou une précision avec la règle qu’ils modifient dès que ces détails sont nécessaires à l’interprétation du passage.

Pour une requête sur les intervalles de maintenance, une section contenant l’intervalle et la condition de fonctionnement est plus utile qu’un fragment ne contenant qu’un nombre. Préservez le titre ou l’identité de l’équipement lorsqu’ils lèvent une ambiguïté dans l’instruction. Vérifiez la longueur avec le tokenizer, plutôt que de vous fier au nombre visible de mots.

Utiliser les passages sources derrière le score

La recherche renvoie des candidats issus de la collection indexée. Examinez les premiers passages au regard de la tâche exacte et conservez leurs emplacements sources lorsque vous les transmettez à une étape RAG de rédaction de réponse. Un passage lié peut parler d’inspection sans autoriser le remplacement ; cette distinction doit rester visible dans les sources.

GTE-base est distinct de GTE-large, qui produit des vecteurs de 1024 dimensions, ainsi que des éditions GTE multilingues ou à contexte étendu ultérieures. Son identité de modèle publiée définit le périmètre anglais, la représentation de 768 composantes et la limite de 512 tokens. Utilisez ce profil exact avec des requêtes représentatives et des enregistrements sources lorsque vous évaluez une collection de recherche.