VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite est l’édition de la série Rerank 3 de Voyage centrée sur la latence. Il reçoit une requête textuelle et des documents candidats, évalue conjointement chaque paire requête-document et retourne des scores de pertinence dans l’ordre du classement. Il intervient au deuxième stade de la recherche : un moteur de récupération par embeddings ou par mots-clés trouve les candidats, puis Lite affine leur ordre. Le résultat est un classement utilisable dans la recherche ou dans un processus de génération augmentée par récupération.

Les changements de Rerank 3 Lite Le producteur met l’accent sur une meilleure récupération dans les documents longs et le code par rapport à rerank-2.5-lite. Les deux éditions Rerank 3 conservent le suivi d’instructions et la même classe de contexte de 32K, tandis que Lite est conçu pour les applications sensibles à la latence. C’est donc un candidat pratique pour la recherche interactive dans une base de connaissances, la récupération de documents d’assistance et la recherche de code lorsque les utilisateurs ont besoin rapidement de résultats pertinents. Choisissez-le selon les exigences de qualité et de temps de réponse de la collection réelle, sans supposer qu’une édition plus petite implique une fenêtre de contexte plus petite.

Guider la pertinence avec la requête Des consignes en langage naturel peuvent accompagner la requête pour expliquer ce qui est pertinent. Gardez la question et la préférence de pertinence concises et cohérentes. Pour une recherche d’assistance logicielle, utilisez « Trouvez la procédure de réinitialisation d’un appareil ; privilégiez les instructions pour la révision matérielle indiquée. » Pour un nom de produit ambigu, incluez la catégorie de produit afin que des sens sans rapport ne dominent pas. Une préférence dans la requête guide le score sémantique ; utilisez des métadonnées explicites de la collection pour sélectionner le bon produit, la bonne version de document ou le bon périmètre d’accès avant de construire la liste des candidats.

Préparer une présélection de textes candidats Les documents d’entrée sont des chaînes de caractères. Extrayez le texte lisible du contenu source et conservez les titres, les en-têtes, les identifiants et le contexte environnant utiles. Gardez une correspondance stable entre chaque position d’entrée et l’enregistrement d’origine. Pour un article de dépannage, incluez le symptôme et la procédure pertinente, plutôt qu’une simple phrase isolée. Pour la recherche dans du code source, incluez la fonction et les informations proches nécessaires pour la distinguer de fonctions aux noms similaires. Supprimez la navigation répétitive ou le contenu standard lorsqu’ils prennent la place du passage utile.

Le modèle de reclassement ne peut réordonner que les documents qu’il reçoit. Si la recherche initiale ne récupère jamais l’article pertinent, cette étape ne peut pas retrouver ce candidat manquant. Examinez à la fois la présélection et le classement final lorsqu’un résultat semble erroné. Lorsqu’un long document couvre de nombreux sujets, séparez des sections cohérentes et conservez leurs références au document parent pour pouvoir sélectionner une section pertinente sans perdre sa source.

Contexte et limites de requête Le guide actuel du fabricant indique un maximum de 8 000 tokens pour la requête et un maximum combiné de 32 000 tokens pour la requête et chaque document individuel. Il autorise jusqu’à 1 000 documents candidats et un budget total de requête de 600 000 tokens, calculé comme le nombre de tokens de la requête multiplié par le nombre de documents, plus tous les tokens des documents. Une longue requête consomme donc de l’espace dans chaque paire et contribue plusieurs fois au budget global. Comptez le texte envoyé avec le tokenizer approprié du modèle au lieu de considérer les caractères, les mots et les tokens comme interchangeables.

Par exemple, une requête de 500 tokens avec 100 documents de 4 000 tokens chacun représente 450 000 tokens d’entrée selon cette formule. Cela illustre la budgétisation, et non une taille de présélection recommandée ou un résultat de vitesse mesuré. L’option de troncature documentée est activée par défaut ; un texte trop long peut être raccourci avant l’attribution des scores. Préparez délibérément les sections importantes pour que la troncature ne supprime pas précisément le passage à retrouver.

Lire et utiliser le résultat Les résultats sont triés du score de pertinence le plus élevé au plus faible. Chaque résultat identifie la position d’entrée d’origine du document, ce qui permet à l’application de joindre son titre, son identifiant d’enregistrement et sa source. Le réglage top_k contrôle le nombre de candidats classés retournés ; sans lui, tous les candidats sont retournés. L’interface REST du fabricant peut aussi retourner le texte du document. Conservez les identifiants d’origine avec les résultats sélectionnés lors de l’affichage d’une page de recherche ou de la transmission d’éléments probants à une étape de génération de réponse.

Un score de pertinence exprime à quel point un candidat correspond à la requête ; il n’établit pas que les affirmations du candidat sont correctes. Comparez les éléments les mieux classés à la question réelle de l’utilisateur, y compris les exclusions et les différences de version des documents. Si tous les candidats sont non pertinents, il existe tout de même un élément classé premier. Définissez comment votre application traite ce cas à l’aide de requêtes représentatives de la collection.

Mettre à niveau et choisir l’édition Le fabricant décrit rerank-3-lite comme une mise à niveau de rerank-2.5-lite avec une sémantique API inchangée et des scores calibrés sur la distribution du prédécesseur correspondant. Préservez la correspondance existante des enregistrements et l’étape de récupération, puis comparez l’ordre obtenu sur des requêtes significatives avant de vous fier à un seuil de score établi. Utilisez Lite pour une expérience de recherche où le temps de réponse compte ; utilisez l’édition rerank-3 centrée sur la qualité comme point de comparaison lorsque la pertinence des candidats difficiles est la priorité principale.