VoyageAI by MongoDB: rerank-3

Voyage rerank-3 est un modèle de reclassement textuel conçu pour améliorer la qualité des éléments récupérés. À partir d’une requête et d’une liste de documents candidats, il examine conjointement chaque paire et renvoie les candidats par ordre de pertinence. Les embeddings et la recherche par mots-clés peuvent d’abord réduire une vaste collection à une sélection gérable ; rerank-3 applique ensuite une évaluation plus détaillée de la pertinence à cette sélection. Sa sortie fournit des éléments de recherche notés qu’une application peut afficher ou transmettre à une étape distincte de génération de réponse.

Rerank 3 axé sur la qualité Le concepteur positionne rerank-3 comme l’édition axée sur la précision et rerank-3-lite comme l’édition destinée aux recherches sensibles à la latence. La troisième génération met à jour l’architecture principale et le mélange d’entraînement, avec des améliorations particulières sur la récupération de documents longs et de code source par rapport aux prédécesseurs 2.5 correspondants. Le fournisseur l’évalue sur la documentation technique, le code, les contenus multilingues et d’autres domaines documentaires. Ces résultats soutiennent son rôle de récupération ; choisissez l’édition à partir des questions et documents candidats qui comptent pour votre propre collection.

Des documents longs avec assez de contexte Un candidat long peut contenir du contexte utile bien au-delà de son premier paragraphe. Fournissez une section ou un document cohérent avec son titre et les contenus environnants pertinents, afin que le modèle évalue le rapport entre la question réelle et le contenu. Pour une recherche de politique produit, conservez les titres et exceptions autour du passage d’intérêt. Si plusieurs sections récupérées proviennent de la même source, gardez leurs identifiants de document et de section ; l’application pourra alors montrer l’origine des éléments sélectionnés.

La fenêtre de contexte est partagée entre la requête et chaque candidat. Le guide actuel du concepteur indique 32 000 tokens pour cette paire, avec une requête de 8 000 tokens au maximum. Une requête de 3 000 tokens laisse donc au plus 29 000 tokens pour chaque document. Préparez l’entrée pour que son contenu essentiel tienne dans cette limite, en particulier lorsqu’un long préambule ou des textes standard répétés risquent de consommer la fenêtre. L’option de troncature documentée est activée par défaut et peut raccourcir les textes de requête ou de document trop longs avant la notation. Examinez ce qui est conservé lorsque l’emplacement des passages compte.

Récupération de code et de contenus techniques Pour l’étape de récupération d’un assistant de code, les candidats peuvent contenir des implémentations de fonctions, de la documentation API ou des explications techniques sous forme de texte. Incluez les symboles, les signatures et le contexte nécessaires pour distinguer des candidats similaires. Une requête telle que « Trouvez la fonction qui normalise les chemins tout en conservant un séparateur final » donne un comportement concret à rechercher. Ajoutez toute contrainte pertinente de langage, de plateforme ou de version. Après le classement, examinez le code sélectionné et ses dépendances avant de l’utiliser comme contexte ; un score de pertinence ne prouve pas qu’une implémentation satisfait à toutes les exigences annoncées.

Les consignes définissent la pertinence Le modèle conserve la capacité de reclassement suivant des consignes introduite avec Rerank 2.5. Ajoutez une consigne concise avant ou après la requête lorsque l’intention de l’utilisateur nécessite une clarification. Pour la recherche de documents scientifiques, expliquez si l’accent porte sur le titre, une méthode précise ou un domaine d’application. Pour un catalogue interne, précisez si la demande concerne l’installation, le dépannage ou la compatibilité. Gardez cette consigne alignée sur la question ; des préférences supplémentaires en conflit avec la demande principale peuvent changer ce que le classement cherche à optimiser.

Préparez les documents candidats et les budgets L’entrée est une liste de chaînes de texte. Extrayez du texte exploitable des documents sources, préservez les limites de sections significatives et conservez une table ordonnée de correspondance des dossiers avec la liste. Le concepteur autorise jusqu’à 1 000 documents dans une requête. Il fixe également un plafond global d’entrée de 600 000 tokens : le nombre de tokens de la requête multiplié par le nombre de documents, plus la somme de tous les tokens des documents. Ce plafond diffère de la limite de contexte par paire. Réduire le texte redondant de la requête permet de préserver à la fois la capacité par paire et le budget global de la requête.

Comptez les tokens du modèle concerné au lieu de supposer qu’un nombre de mots ou de caractères équivaut à un nombre de tokens. Pour les candidats volumineux, sélectionnez des passages cohérents ou divisez le contenu selon des titres utiles tout en conservant les informations sur la source parente. Le reclassement est surtout utile lorsque la première recherche a déjà fait ressortir des candidats plausibles : il ne peut pas classer une source manquante qui n’est jamais entrée dans la liste.

Résultats classés et utilisation en aval Le résultat contient des scores de pertinence et des indices renvoyant aux documents d’entrée d’origine, triés par pertinence décroissante. L’option top_k limite le nombre de résultats classés renvoyés ; sinon, tous les candidats d’entrée sont renvoyés. L’interface REST du concepteur permet aussi d’inclure le texte du document. Utilisez chaque indice d’origine pour retrouver le titre, l’identifiant de source et les métadonnées nécessaires à votre application, puis présentez les éléments sélectionnés ou intégrez le texte pertinent au contexte probant d’une réponse.

Examinez les premiers résultats par rapport à la question et gardez l’identité de la source visible. Un rang relatif élevé ne vérifie pas l’exactitude factuelle d’un document, et une sélection composée uniquement de mauvais candidats aura toujours un premier élément. Séparez la sélection par pertinence de la décision de savoir si les éléments retenus suffisent à répondre à l’utilisateur.

Migration d’édition Le concepteur décrit rerank-3 comme un successeur de rerank-2.5 utilisable en remplacement direct, avec la même sémantique API et des scores calibrés sur la distribution du prédécesseur correspondant. Cette compatibilité permet de conserver une étape de récupération et une correspondance de dossiers existantes. Comparez des classements significatifs et les éventuels seuils de score sur le corpus actuel avant de vous fier à la migration. Gardez rerank-3 et rerank-3-lite comme des choix distincts : des limites et un suivi des consignes communs ne rendent pas leurs priorités de qualité et de latence identiques.