bge-reranker-v2-m3

BGE Reranker v2 M3 est un modèle de pertinence multilingue construit sur BGE-M3. Il reçoit ensemble une requête et un passage candidat et renvoie un score de leur relation. BAAI positionne cette édition comme un modèle de reclassement multilingue efficace, notamment pour la recherche en chinois et en anglais, lorsqu’une application de recherche doit affiner une liste de candidats existante.

La pertinence d’une paire requête–passage

Un cross-encoder traite les deux textes conjointement, permettant à leurs contenus d’interagir avant la production du score de pertinence. Cela diffère d’un modèle d’embeddings, qui encode les textes indépendamment pour une comparaison vectorielle réutilisable. La sortie du modèle de reclassement est un score scalaire pour une paire particulière, plutôt qu’un vecteur de document ou une réponse écrite.

Utilisez le modèle après qu’une recherche initiale a sélectionné des passages plausibles. Associez la question à chaque candidat et ordonnez les candidats selon les scores obtenus. Cela concentre la comparaison plus détaillée sur une présélection gérable plutôt que de demander à un cross-encoder d’inspecter chaque passage d’une grande collection.

L’édition v2 M3

Le concepteur identifie BGE-M3 comme modèle de base et indique la prise en charge multilingue comme caractéristique principale. Dans sa famille de modèles de reclassement v2, M3 est l’option multilingue efficace ; les variantes fondées sur Gemma et celles à sélection de couches sont des modèles distincts avec des choix d’implémentation différents. Le nom M3 ne signifie pas ici que le modèle de reclassement renvoie les embeddings denses, creux et multivecteurs du modèle d’embeddings d’origine.

Cette distinction compte lors du choix du résultat requis par votre application. Sélectionnez un modèle d’embeddings pour représenter et rechercher une collection de documents. Choisissez ce modèle de reclassement lorsque vous disposez déjà de textes candidats et devez déterminer quel passage est le plus pertinent pour la requête actuelle.

Préparer des candidats qui peuvent être classés utilement

Fournissez la question réelle et le texte candidat complet nécessaire à son interprétation. Préservez les titres ou définitions proches lorsqu’ils déterminent le sens d’un passage. Dans l’exemple Transformers publié, la requête et le passage sont tokenisés ensemble avec troncature et max_length=512. C’est un réglage d’exemple plutôt qu’une limite générale du modèle. Gardez la question et les éléments nécessaires dans le budget choisi pour la paire et vérifiez ce que la troncature supprime. Un résultat mentionnant le même produit qu’une requête peut rester non pertinent s’il traite la mauvaise opération ou condition ; préparez des exemples qui distinguent ces cas lors de l’évaluation de la qualité de récupération.

Pour un assistant documentaire, gardez les identifiants des candidats avec leur texte, évaluez les paires question–passage et transmettez les passages originaux sélectionnés à l’étape de réponse. Le modèle de réponse reçoit alors les éléments de preuve plutôt qu’un score de pertinence sans sa source. Il s’agit d’un exemple de parcours de récupération ; le modèle de reclassement lui-même ne recherche pas dans une collection externe et ne rédige pas la réponse.

Lire et normaliser les scores

Le fabricant renvoie des scores bruts de pertinence, une valeur plus élevée indiquant une correspondance plus étroite. Sa normalisation facultative documentée applique une fonction sigmoïde pour placer le score entre 0 et 1. Un score normalisé présente une plage pratique, mais cette transformation à elle seule n’établit pas une probabilité calibrée que le candidat soit correct.

Choisissez les seuils de classement ou de filtrage à partir de paires requête–passage représentatives de votre charge de travail. Incluez des passages partageant les mots-clés mais répondant à une autre question, ainsi que des passages pertinents avec des formulations différentes. Cela donne au seuil sélectionné un sens pour la collection recherchée.

Pour un projet utilisant l’API Ailoot, définissez ce que le contexte final doit contenir et combien de candidats peuvent être examinés efficacement. Le résultat utile est un ensemble d’éléments mieux ordonné pour l’étape applicative suivante. Gardez la sortie de pertinence de cette édition distincte des embeddings de documents, de la prose générée et des réglages de sélection de couches documentés pour d’autres modèles de reclassement.