BAAI: bge-base-en-v1.5

bge-base-en-v1.5 est le modèle anglais de plongement dense de taille base de BAAI. Il convertit chaque texte en une représentation numérique de 768 dimensions pour la recherche d’information et la comparaison sémantique. Le modèle appartient à la gamme BGE v1.5, qui traite la distribution des scores de similarité de la famille antérieure et améliore la recherche lorsqu’aucune instruction n’est fournie. Sa sortie est un vecteur servant à comparer des textes ou à trouver des passages pertinents.

Préparer les requêtes et les passages

Pour une requête courte visant des passages plus longs, BAAI recommande de préfixer la requête par « Represent this sentence for searching relevant passages: ». Les passages du corpus ne reçoivent pas cette instruction. Pour les autres tâches, le texte d’origine peut être encodé directement. Le fabricant précise que la version v1.5 fonctionne aussi sans instruction ; choisissez donc la préparation selon la tâche, plutôt que de considérer le préfixe comme la seule entrée valide.

Une collection de recherche concrète peut contenir des articles d’aide, des explications produit ou des instructions techniques. Une requête telle que « How do I change the export format? » doit retrouver le passage décrivant cette action. Gardez ensemble le titre de la section, les conditions pertinentes et le texte source réel. Stockez l’identifiant et l’emplacement du passage avec son vecteur, afin qu’un résultat de recherche puisse renvoyer quelque chose que l’utilisateur peut lire ou qu’une étape ultérieure de réponse peut citer.

Format vectoriel et comparaison

La représentation documentée utilise l’état caché final du premier token, ou token CLS, comme plongement de la phrase. Les exemples du fabricant normalisent le vecteur et comparent les plongements normalisés avec un produit scalaire, équivalent à la similarité cosinus. Les 768 dimensions correspondent à la taille de la représentation de sortie de ce modèle ; elles ne sont ni une longueur de contexte sélectionnable, ni une allocation de génération de texte.

Utilisez le même modèle et la même convention de préparation pour les vecteurs de requête et de corpus comparés. Une vérification concrète consiste à retrouver des passages connus pour contenir la réponse à un petit ensemble de vraies questions d’utilisateurs, puis à examiner le texte renvoyé. Une forme vectorielle compatible permet à un index de stocker la représentation, tandis que le passage source établit ce que dit réellement le résultat.

Longueur d’entrée et préparation documentaire

La longueur de séquence documentée du modèle est de 512 tokens. Une longue source doit donc être divisée en passages cohérents contenant des réponses avant l’encodage. Gardez les définitions et les exceptions avec l’énoncé qu’elles précisent, et préservez le lien entre chaque passage et son document parent. Le texte à encoder comprend toute instruction ou tout titre ajouté ; une préparation compacte laisse donc davantage de place au contenu source utile.

Pour un rapport ou un manuel, choisissez des limites autour d’une section ou d’un petit groupe de paragraphes liés. Un passage ne contenant qu’un titre ou un fragment sans son sujet peut être difficile à interpréter lorsqu’il est retrouvé. Conservez le texte d’origine et une version de la source, afin qu’une mise à jour de l’index puisse remplacer le matériau correspondant lorsque le document change.

Scores et sortie utile

BAAI souligne que les valeurs absolues de similarité ne sont pas des seuils universels permettant de décider que deux textes signifient la même chose. Le classement relatif compte, et un seuil de filtrage doit être choisi à partir de la distribution sur les données propres à la tâche. Une similarité vectorielle élevée est un signal de recherche, plutôt qu’une vérification du contenu factuel du passage.

Le livrable utile est un index de passages anglais, un ensemble de vecteurs de requêtes ou des caractéristiques numériques pour la comparaison sémantique. Un reclasseur distinct peut affiner les candidats retrouvés, et une étape séparée de génération peut rédiger une réponse à partir de leur texte. Ce modèle exact base anglais v1.5 reste distinct de BGE Large, des éditions chinoises et des profils multilingues et hybrides de recherche de BGE-M3.