bge-reranker-v2-m3

BGE Reranker v2 M3 est un modèle multilingue de pertinence construit sur BGE-M3. Il reçoit ensemble une requête et un passage candidat et renvoie un score de leur relation. BAAI positionne cette édition comme un reclasseur multilingue efficace, notamment pour la recherche en chinois et en anglais, lorsqu’une application doit affiner une liste existante de candidats.

Pertinence d’une paire requête–passage

Un encodeur croisé traite conjointement les deux textes, permettant à leurs contenus d’interagir avant la production du score de pertinence. Cela diffère d’un modèle d’embeddings, qui encode les textes indépendamment pour des comparaisons vectorielles réutilisables. La sortie du reclasseur est un score scalaire pour une paire précise, plutôt qu’un vecteur de document ou une réponse écrite.

Utilisez le modèle après qu’une recherche initiale a sélectionné des passages plausibles. Associez la question à chaque candidat et ordonnez les candidats selon les scores obtenus. Cela concentre la comparaison plus détaillée sur une présélection gérable au lieu de demander à un encodeur croisé d’inspecter chaque passage d’un grand ensemble.

L’édition v2 M3

Le concepteur identifie BGE-M3 comme modèle de base et fait de la prise en charge multilingue une caractéristique principale. Dans sa famille de reclasseurs v2, M3 est l’option multilingue efficace ; les variantes fondées sur Gemma et à sélection de couches sont des modèles distincts, avec des choix d’implémentation différents. Le nom M3 ne signifie pas ici que le reclasseur renvoie les embeddings denses, parcimonieux et multivecteurs du modèle d’embeddings original.

Cette distinction compte pour choisir le résultat nécessaire à votre application. Sélectionnez un modèle d’embeddings pour représenter et parcourir un ensemble de documents. Sélectionnez ce reclasseur lorsque vous disposez déjà de textes candidats et devez déterminer quel passage est le plus pertinent pour la requête actuelle.

Préparer des candidats à classer utilement

Fournissez la question réelle et le texte candidat complet nécessaire à son interprétation. Préservez les titres ou les définitions voisines lorsqu’ils déterminent le sens d’un passage. Dans l’exemple Transformers publié, la requête et le passage sont tokenisés ensemble avec troncature et max_length=512. Il s’agit d’un réglage d’exemple plutôt que d’une limite globale du modèle. Gardez la question et les preuves requises dans le budget de paire sélectionné, et vérifiez ce que la troncature supprime. Un résultat mentionnant le même produit qu’une requête peut rester sans pertinence s’il porte sur la mauvaise opération ou condition ; préparez des exemples qui distinguent ces cas pour évaluer la qualité de récupération.

Pour un assistant documentaire, gardez les identifiants candidats avec leurs textes, attribuez un score aux paires question–passage et transmettez les passages originaux sélectionnés à l’étape de réponse. Le modèle de réponse reçoit alors les preuves plutôt qu’un score de pertinence sans sa source. Il s’agit d’un exemple de flux de récupération ; le reclasseur lui-même ne cherche pas dans une collection externe et ne rédige pas la réponse.

Lire et normaliser les scores

Le fabricant renvoie des scores bruts de pertinence, une valeur supérieure indiquant une correspondance plus forte. Sa normalisation facultative documentée applique une fonction sigmoïde pour placer le score entre 0 et 1. Un score normalisé possède une plage pratique, mais cette transformation seule n’établit pas une probabilité calibrée que le candidat soit correct.

Choisissez les seuils de classement ou de filtrage à partir de paires requête–passage représentatives de votre charge de travail. Incluez des passages partageant des mots-clés mais répondant à une autre question, ainsi que des passages pertinents formulés différemment. Cela donne au seuil sélectionné un sens pour l’ensemble parcouru.

Pour un projet Ailoot API, définissez ce que le contexte final doit contenir et combien de candidats peuvent être examinés efficacement. Le résultat utile est un ensemble de preuves mieux ordonné pour l’étape applicative suivante. Gardez la sortie de pertinence de cette édition séparée des embeddings de documents, de la prose générée et des réglages de sélection de couches documentés pour d’autres reclasseurs.