BAAI: bge-large-en-v1.5

bge-large-en-v1.5 est l’édition anglaise Large d’embeddings denses de BAAI. Elle transforme un texte en un vecteur à 1024 dimensions pour la recherche de passages et la comparaison sémantique. La version 1.5 est l’évolution du fabricant visant une distribution de similarité plus utile et une meilleure recherche sans consigne. Large reste un checkpoint distinct de Base, Small, des éditions chinoises et du modèle multilingue BGE-M3.

Mettre en place la recherche de passages

Pour une courte requête de recherche portant sur des documents plus longs, le fabricant recommande la consigne de requête « Represent this sentence for searching relevant passages: ». Ajoutez-la du côté de la requête ; les passages du corpus conservent leur texte source sans cette consigne. Pour les autres usages, le texte direct suffit. BAAI documente également la recherche sans préfixe dans la version v1.5 et recommande de choisir la préparation la plus efficace pour la tâche réelle.

Un ensemble de connaissances pratique peut indexer les sections d’un manuel technique anglais. Une question sur le réglage modifiant le format de sortie doit renvoyer la section expliquant ce réglage et ses conditions. Conservez le titre, l’explication pertinente et l’emplacement source avec chaque passage. Le modèle fournit la représentation numérique ; le texte source renvoyé est ce qu’un lecteur ou une étape RAG ultérieure utilise.

Représentation et correspondance

L’exemple d’encodage direct du fabricant utilise le dernier état caché du premier token CLS comme embedding agrégé, puis normalise le vecteur. Comparer des vecteurs normalisés par produit scalaire donne la similarité cosinus. Chaque passage peut donc être préparé une fois et enregistré pour être comparé aux vecteurs des requêtes entrantes, tandis que les sources modifiées reçoivent une représentation mise à jour.

Les 1024 dimensions définissent la longueur du vecteur de sortie. Elles diffèrent de la représentation Base à 768 dimensions et n’établissent pas un espace partagé compatible avec un autre checkpoint. Associez le modèle et la convention de préparation à l’index enregistré. Un changement d’édition d’embeddings nécessite de vérifier ensemble les représentations du corpus et des requêtes.

Faire tenir la source dans la fenêtre

La longueur de séquence documentée est de 512 tokens. Préparez un long manuel sous forme de sections cohérentes plutôt que d’une entrée unique trop volumineuse. Gardez une condition ou exception auprès de la règle qu’elle précise, et incluez assez de contexte pour qu’une section retrouvée soit compréhensible isolément. Une consigne de requête ajoutée occupe elle aussi des tokens d’entrée ; la fenêtre du modèle concerne donc l’entrée préparée complète.

Une délimitation de passage utile peut inclure un titre et les paragraphes répondant à une question utilisateur. Conservez l’identifiant et la version du document parent en dehors du vecteur afin de pouvoir relier un résultat à la bonne source. Pour une comparaison, utilisez les textes réels à comparer plutôt que de les remplacer par des résumés sans rapport qui supprimeraient la distinction recherchée.

Interpréter le score

Le fabricant avertit de ne pas considérer la similarité absolue comme une règle universelle d’équivalence sémantique. L’ordre relatif des scores est central pour la recherche, et un seuil doit être calibré sur la distribution des textes propres à la tâche. Examinez les passages proposés pour des questions dont la réponse est connue et pour celles dont la réponse est absente. Cela révèle si une section renvoyée fournit les informations requises plutôt que de simplement ressembler au sujet.

bge-large-en-v1.5 fournit des vecteurs denses anglais. Un reranker distinct peut affiner l’ordre des propositions, et un modèle linguistique distinct peut composer une réponse à partir des passages sélectionnés. La sortie utile de cette édition est une représentation interrogeable liée à son texte source, avec le choix exact du modèle Large v1.5 et la préparation des entrées conservés.