VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite est le membre léger de la version 2.5 des modèles de reclassement de Voyage AI. Le fabricant le décrit comme un modèle généraliste équilibrant latence et qualité de pertinence, avec suivi des consignes en langage naturel et prise en charge multilingue. Il reçoit une requête et des textes candidats et retourne un ordre affiné de ces candidats avec des scores de pertinence.

Une décision légère de pertinence en deuxième étape

Le modèle Lite traite conjointement chaque paire requête-document comme encodeur croisé. Il peut suivre une recherche de première étape par plongements ou lexicale et affiner les passages sélectionnés par cette étape. Cela diffère de la préparation d’un index de plongements réutilisable : le modèle de reclassement examine ensemble la requête et le texte du document soumis pour la décision de pertinence actuelle.

Pour une recherche d’aide interactive, soumettez les explications candidates qui pourraient répondre à la question de l’utilisateur. Gardez assez de chaque passage pour transmettre le comportement et ses conditions, et conservez l’association entre l’indice d’entrée et l’élément source. Un ensemble de candidats ciblé aide à clarifier la tâche de reclassement tout en laissant les éléments récupérés utilisables pour l’affichage ou une réponse ultérieure.

Les consignes expriment les priorités de l’utilisateur

Comme rerank-2.5, Lite accepte des consignes en langage naturel avant ou après la requête. Les exemples du fabricant s’en servent pour mettre l’accent sur des composants de documents, choisir un type de source privilégié ou contextualiser un mot ambigu. Une application peut fournir une préférence permanente de pertinence, ou la question actuelle peut en inclure une plus précise.

Une requête illustrative de soutien peut demander quel passage explique une erreur, avec une consigne de privilégier les étapes de dépannage plutôt que les descriptions générales de produits. Une recherche documentaire peut demander la formulation originale d’une politique plutôt qu’une discussion de cette politique. Décrivez les éléments souhaités et gardez la consigne concise. Les consignes influencent les scores de pertinence; appliquez toute restriction stricte de version, de date ou de permission dans la sélection des candidats plutôt que de traiter une préférence de pertinence comme un filtre garanti.

Lire le classement et retourner le passage source

La sortie est triée par pertinence décroissante. Chaque résultat comprend l’indice original du document et un score à virgule flottante; le paramètre facultatif return-documents retourne aussi le texte d’entrée correspondant. L’option top-k détermine le nombre de premiers résultats retournés, tandis que son omission retourne le classement de tous les candidats soumis.

Utilisez ces indices pour retrouver le passage source et son identifiant. Un candidat reclassé peut devenir un résultat de recherche ou un élément pour l’étape RAG suivante, mais la sortie est un ordre des textes fournis plutôt qu’une réponse réécrite. Évaluez si les premiers passages satisfont à la question et à la consigne de pertinence, y compris pour les langues et les types de documents réellement présents dans la collection.

Limites et budget pratique de candidats

L’édition 2.5 Lite possède un maximum documenté de 8 000 jetons pour la requête et une limite de 32 000 jetons pour la requête et chaque document individuel. Elle est distincte du modèle antérieur rerank-2-lite et de son contexte plus petit. Au plus 1 000 documents peuvent être soumis, et l’entrée totale est limitée à 600 000 jetons selon la formule : jetons de la requête multipliés par le nombre de candidats, plus la somme des jetons des documents candidats.

Pour l’utilisation sensible à la latence, la FAQ du fabricant recommande rerank-2.5-lite avec au plus 200 000 jetons au total par requête. C’est une recommandation pratique inférieure au maximum énoncé, et non une fenêtre différente par document. Une requête ou une consigne plus longue est comptée une fois pour chaque paire candidate; le nombre de candidats et la longueur de requête influencent donc tous deux le total.

La troncature est activée par défaut et raccourcit les entrées de requête/document trop longues pour les faire tenir; la désactiver retourne une erreur pour une requête ou une paire trop longue. Préparez délibérément des candidats compacts contenant la réponse afin que les éléments utiles ne restent pas au-delà d’une limite tronquée. Sélectionner moins de résultats de sortie avec top-k ne retire pas les autres candidats fournis du calcul des jetons. Examinez les passages sources retournés et précisez la préparation des entrées selon les véritables questions auxquelles l’interface de recherche doit répondre.