Voyage AI: Voyage Context 3

Voyage Context 3 produit des embeddings contextualisés de segments pour la recherche de documents. Chaque segment reçoit son propre vecteur, tandis que le modèle prend également en compte les autres segments fournis du même document. Un système de recherche obtient ainsi une représentation du passage local accompagnée d’un contexte documentaire plus large, par exemple une entité ou un sujet introduit ailleurs dans la source.

Préparez chaque document comme une séquence ordonnée de segments textuels lisibles. Regroupez les segments d’un même document et préservez leur ordre d’origine. Dans le processus contextualisé de l’éditeur, chaque groupe interne contient les segments d’une source, et des groupes distincts représentent des sources distinctes. Ce regroupement fait partie du sens de l’entrée : il indique au modèle quel texte environnant appartient au document représenté.

Un cas utile est celui d’un rapport dont l’introduction identifie l’entreprise, tandis qu’un paragraphe ultérieur explique sa croissance. Une recherche sur la croissance de cette entreprise nécessite à la fois le paragraphe précis et l’identité du document. Conservez le texte original du segment et les métadonnées de son document parent avec le vecteur obtenu, afin que le résultat affiche le passage et propose un lien vers la source complète.

La documentation de référence de l’éditeur prévoit jusqu’à 120 000 tokens pour l’ensemble d’une requête, avec au maximum 1 000 groupes d’entrée et 16 000 segments au total. Le guide du modèle indique séparément une fenêtre de 32 000 tokens par segment. Distinguez ces périmètres lors de la préparation des contenus : une limite portant sur un seul segment et une limite portant sur la requête complète décrivent des tailles d’entrée différentes. Vérifiez le total après avoir découpé la source, au lieu de supposer que chaque segment peut atteindre son maximum dans la même requête.

Pour la recherche de documents, identifiez les passages regroupés comme des entrées documentaires. Préparez chaque question de recherche dans son propre groupe de requête. L’éditeur recommande de fournir des segments de document sans chevauchement, ce qui permet à la représentation contextualisée d’intégrer les informations environnantes sans répéter le texte dans chaque passage. Préservez la correspondance entre le groupe documentaire, la position du segment et le vecteur renvoyé lors de l’écriture de l’index.

Voyage Context 3 prend en charge 2 048, 1 024, 512 et 256 dimensions, avec des sorties à virgule flottante, en entiers sur huit bits et binaires. Choisissez une représentation d’index et évaluez-la sur les mêmes documents sources et questions. Conservez la dimension et le type de données sélectionnés avec l’index pour que la représentation des requêtes et les vecteurs stockés restent cohérents.

Utilisez les vecteurs obtenus pour la recherche de passages, la découverte de documents ou l’étape de recherche d’un assistant travaillant sur des rapports, des articles scientifiques, des contrats ou des manuels techniques. Un résultat peut identifier un passage ciblé, tandis que le lien source donne accès aux définitions et aux réserves présentes ailleurs dans le document. Préservez les versions des documents et les autorisations dans les métadonnées applicatives associées aux vecteurs.

Testez des questions qui nécessitent à la fois un détail local et un contexte à l’échelle du document. Incluez des passages similaires issus de sources différentes, des entités nommées introduites uniquement au début et des questions dont les éléments justificatifs sont répartis sur plusieurs sections. Vérifiez si le segment attendu est retrouvé et si l’application présente suffisamment de texte environnant pour l’interpréter. Lorsqu’une source change, régénérez délibérément le groupe documentaire concerné pour que ses segments contextualisés correspondent à une seule version cohérente.