VoyageAI by MongoDB: rerank-3

Voyage rerank-3 est un modèle de reclassement textuel conçu pour améliorer la qualité des éléments récupérés. À partir d’une requête et d’une liste de documents candidats, il examine conjointement chaque paire et retourne les candidats classés par pertinence. Les embeddings et la recherche par mots-clés peuvent d’abord réduire une grande collection à une présélection gérable ; rerank-3 applique ensuite une évaluation plus détaillée de la pertinence à cette présélection. Sa sortie est un ensemble d’éléments de recherche assortis de scores, que l’application peut afficher ou transmettre à une étape distincte de génération de réponse.

Rerank 3 centré sur la qualité Le fabricant présente rerank-3 comme l’édition centrée sur l’exactitude et rerank-3-lite comme l’édition destinée aux recherches sensibles à la latence. La troisième génération met à jour l’architecture principale et le mélange d’entraînement, avec des améliorations particulières de la récupération dans les documents longs et le code source par rapport aux prédécesseurs 2.5 correspondants. Le producteur l’évalue sur la documentation technique, le code, les contenus multilingues et d’autres domaines documentaires. Ces résultats étayent son rôle de récupération ; sélectionnez l’édition à partir des questions et des documents candidats importants pour votre propre collection.

Des documents longs avec suffisamment de contexte Un candidat long peut contenir un contexte utile bien au-delà de son premier paragraphe. Fournissez une section ou un document cohérent avec son titre et les éléments environnants pertinents, pour que le modèle puisse évaluer le lien entre la question réelle et le contenu. Pour une recherche de politique produit, conservez les titres et les exceptions autour du passage intéressant. Si plusieurs sections récupérées proviennent de la même source, conservez leurs identifiants de document et de section ; l’application peut ainsi montrer l’origine des éléments sélectionnés.

La fenêtre de contexte est partagée par la requête et chaque candidat. Le guide actuel du fabricant indique 32 000 tokens pour cette paire, dont une requête de 8 000 tokens au maximum. Une requête de 3 000 tokens laisse donc au plus 29 000 tokens pour chaque document. Préparez l’entrée pour que son contenu essentiel tienne dans cette limite, notamment lorsqu’un long préambule ou des passages standard répétés consommeraient sinon la fenêtre. L’option de troncature documentée est activée par défaut et peut raccourcir les requêtes ou les documents trop longs avant leur évaluation. Examinez ce qui est conservé lorsque l’emplacement des passages compte.

Récupération de code et d’informations techniques Pour l’étape de récupération d’un assistant de programmation, les candidats peuvent contenir des implémentations de fonctions, de la documentation API ou des explications techniques sous forme de texte. Incluez les symboles, les signatures et le contexte nécessaires pour distinguer des candidats similaires. Une requête telle que « Trouvez la fonction qui normalise les chemins tout en conservant un séparateur final » donne un comportement concret à rechercher. Ajoutez les contraintes pertinentes de langage, de plateforme ou de version. Après le classement, examinez le code sélectionné et ses dépendances avant de l’utiliser comme contexte ; un score de pertinence ne prouve pas qu’une implémentation satisfait à toutes les exigences énoncées.

Les consignes définissent la pertinence Le modèle conserve la capacité de reclassement suivant des instructions introduite dans Rerank 2.5. Ajoutez une consigne concise avant ou après la requête lorsque l’intention de l’utilisateur doit être précisée. Pour une recherche documentaire, expliquez si l’accent porte sur le titre, une méthode particulière ou un domaine d’application. Pour un catalogue interne, précisez si la demande concerne l’installation, le dépannage ou la compatibilité. Gardez cette consigne cohérente avec la question ; des préférences supplémentaires qui contredisent la demande principale peuvent changer ce que le classement cherche à optimiser.

Préparer les documents candidats et les budgets L’entrée est une liste de chaînes textuelles. Extrayez du texte exploitable des documents sources, préservez les limites de sections significatives et gardez une correspondance ordonnée des enregistrements avec la liste. Le fabricant autorise jusqu’à 1 000 documents dans une requête. Il fixe aussi un plafond global d’entrée de 600 000 tokens : les tokens de la requête multipliés par le nombre de documents, plus la somme des tokens de tous les documents. Cette limite diffère de celle du contexte par paire. Réduire le texte redondant de la requête peut préserver à la fois la capacité des paires et le budget global de la requête.

Comptez les tokens pour le modèle concerné au lieu de supposer qu’un nombre de mots ou de caractères est un nombre de tokens. Pour les grands candidats, sélectionnez des passages cohérents ou divisez le contenu selon des titres utiles tout en conservant les informations de la source parente. Le reclassement est surtout utile lorsque la recherche initiale a déjà fait apparaître des candidats plausibles : il ne peut pas classer une source manquante qui n’est jamais entrée dans la liste.

Résultats classés et utilisation en aval Le résultat contient des scores de pertinence et des indices renvoyant aux documents d’entrée d’origine, triés par pertinence décroissante. L’option top_k limite le nombre de résultats classés retournés ; sinon, tous les candidats d’entrée sont retournés. L’interface REST du fabricant permet aussi d’inclure le texte du document. Utilisez chaque indice d’origine pour retrouver le titre, l’identifiant de source et toute métadonnée nécessaire à l’application, puis présentez les éléments sélectionnés ou intégrez le texte pertinent au contexte probant d’une réponse.

Examinez les premiers résultats par rapport à la question et gardez l’identité des sources visible. Un rang relatif élevé ne vérifie pas l’exactitude factuelle d’un document, et une présélection ne contenant que de mauvais candidats aura quand même un premier élément. Distinguez la sélection par pertinence de la décision de savoir si les éléments sélectionnés suffisent à répondre à l’utilisateur.

Migration d’édition Le fabricant décrit rerank-3 comme un successeur directement substituable à rerank-2.5, avec la même sémantique API et des scores calibrés sur la distribution de son prédécesseur correspondant. Cette compatibilité permet de conserver une étape de récupération et une correspondance d’enregistrements existantes. Comparez les classements significatifs et tout seuil de score sur le corpus actuel avant de vous fier à la migration. Gardez rerank-3 et rerank-3-lite comme des choix distincts : des limites et un suivi d’instructions communs ne rendent pas identiques leurs priorités de qualité et de latence.