VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite est le membre léger de la gamme de reclassement 2.5 de Voyage AI. Le concepteur le décrit comme un modèle généraliste équilibrant latence et qualité de pertinence, avec un suivi des consignes en langage naturel et une prise en charge multilingue. Son entrée est une requête et des textes candidats ; sa sortie est un ordre affiné de ces candidats avec des scores de pertinence.

Une décision légère de pertinence en deuxième étape

Le modèle Lite traite conjointement chaque paire requête-document comme un encodeur croisé. Il peut suivre une première recherche par embeddings ou lexicale et affiner les passages sélectionnés par cette étape. Cela diffère de la préparation d’un index d’embeddings réutilisable : le modèle de reclassement examine ensemble la requête soumise et le texte du document pour la décision de pertinence actuelle.

Pour une recherche d’aide interactive, soumettez les explications candidates susceptibles de répondre à la question de l’utilisateur. Gardez assez de chaque passage pour transmettre le comportement et ses conditions, et préservez l’association entre l’indice d’entrée et l’élément source. Un ensemble de candidats ciblé rend la tâche de reclassement claire tout en gardant les éléments récupérés exploitables pour l’affichage ou une réponse ultérieure.

Les consignes expriment les priorités de l’utilisateur

Comme rerank-2.5, Lite accepte des consignes en langage naturel avant ou après la requête. Les exemples du concepteur les utilisent pour mettre l’accent sur des parties de documents, sélectionner un type de source préféré ou ajouter du contexte à un mot ambigu. Une application peut fournir une préférence permanente de pertinence, ou la question actuelle peut en inclure une plus spécifique.

Un exemple de requête d’assistance peut demander quel passage explique une erreur, avec une consigne de priorité aux étapes de dépannage plutôt qu’aux descriptions générales du produit. Une recherche documentaire peut demander la formulation originale d’une politique plutôt qu’une discussion de celle-ci. Décrivez les éléments attendus et gardez la consigne concise. Les consignes influencent les scores de pertinence ; préparez les éventuelles restrictions strictes de version, de date ou de droits dans la sélection des candidats au lieu de traiter une préférence de pertinence comme un filtre garanti.

Lisez le classement et renvoyez le passage source

La sortie est triée par pertinence décroissante. Chaque résultat comprend l’indice d’origine du document et un score à virgule flottante ; le paramètre facultatif return-documents renvoie aussi le texte d’entrée correspondant. L’option top-k détermine le nombre de premiers résultats renvoyés, tandis que son omission renvoie le classement de tous les candidats soumis.

Utilisez ces indices pour retrouver le passage source et son identifiant. Un candidat reclassé peut devenir un résultat de recherche ou un élément pour l’étape RAG suivante, mais la sortie est un classement du texte fourni et non une réponse réécrite. Évaluez si les premiers passages satisfont à la fois la question et la consigne de pertinence, notamment pour les langues et types de documents réellement présents dans la collection.

Limites et budget pratique de candidats

L’édition 2.5 Lite dispose d’un maximum documenté de 8 000 tokens pour la requête et d’une limite de 32 000 tokens pour la requête et chaque document individuel. Elle se distingue de l’ancien modèle rerank-2-lite et de son contexte plus petit. Au plus 1 000 documents peuvent être soumis, et l’entrée totale est limitée à 600 000 tokens selon la formule : tokens de la requête multipliés par le nombre de candidats, plus la somme des tokens des documents candidats.

Pour les usages sensibles à la latence, la FAQ du concepteur recommande rerank-2.5-lite avec au plus 200 000 tokens totaux par requête. Il s’agit d’un conseil pratique inférieur au maximum annoncé, et non d’une fenêtre différente par document. Une requête ou une consigne plus longue est comptée une fois pour chaque paire candidate ; le nombre de candidats et la longueur de requête influencent donc tous deux le total.

La troncature est activée par défaut et raccourcit les entrées requête/document trop longues pour qu’elles tiennent ; la désactiver renvoie une erreur pour une requête ou une paire trop longue. Préparez délibérément des candidats compacts contenant la réponse afin que les éléments utiles ne restent pas au-delà d’une limite tronquée. Sélectionner moins de résultats de sortie avec top-k ne retire pas les autres candidats fournis du calcul de tokens. Examinez les passages sources renvoyés et affinez la préparation des entrées autour des questions réelles auxquelles l’interface de recherche doit répondre.