VoyageAI by MongoDB: voyage-4

voyage-4 est le modèle de plongement textuel de taille intermédiaire de Voyage AI dans la famille Voyage 4. Il convertit le texte des requêtes et des documents en vecteurs numériques pour la recherche généraliste et multilingue. La capacité caractéristique de la famille est un espace de plongement partagé : voyage-4, voyage-4-large, voyage-4-lite et voyage-4-nano produisent des représentations compatibles, permettant aux côtés requête et document d’une tâche de recherche d’utiliser des modèles différents de cette famille.

Espace partagé et recherche asymétrique

Le fabricant appelle recherche asymétrique l’utilisation de modèles différents pour les requêtes et le corpus. Un schéma documenté consiste à préparer le corpus avec voyage-4-large et à l’interroger au moyen de plongements de requêtes voyage-4. Le corpus est encodé une fois ou lorsque ses sources changent, tandis que les vecteurs de requêtes sont créés à l’arrivée des recherches. L’espace partagé permet de changer le modèle du côté des requêtes au sein de la famille sans devoir réencoder le corpus uniquement pour ce changement.

Gardez une dimension de sortie et une représentation compatibles entre les vecteurs comparés. La déclaration d’espace partagé concerne les modèles textuels nommés Voyage 4 ; elle n’est pas établie simplement parce que deux modèles sans rapport renvoient des tableaux de même longueur. Une tâche concrète peut donc utiliser voyage-4 des deux côtés de la recherche ou utiliser ses vecteurs de requêtes avec un index documentaire voyage-4-large existant lorsque leurs réglages de représentation correspondent.

Rôles de requête et de document

Pour la recherche, Voyage recommande d’identifier le texte d’entrée comme une requête ou un document. L’option de rôle d’entrée fournit l’instruction de recherche correspondante avant la vectorisation. Préparez les passages du corpus comme des documents et la formulation de recherche de l’utilisateur comme une requête, en conservant le texte source réel et les identifiants avec chaque vecteur stocké.

Par exemple, une collection de recherche de connaissances peut indexer des instructions techniques et des explications produit. Une requête sur ce qui se passe après un échec d’import doit renvoyer le passage source décrivant ce comportement. Préservez les titres, les conditions pertinentes et l’emplacement source avec le passage, afin que le résultat obtenu puisse être examiné ou utilisé par une étape ultérieure de réponse RAG. Le plongement est la représentation numérique de recherche ; le passage sous-jacent constitue les éléments utilisés à cette étape ultérieure.

Dimensions et types de données de sortie

La fenêtre de contexte documentée par texte est de 32 000 tokens. Les dimensions sélectionnables sont 256, 512, 1024 et 2048, avec 1024 par défaut. L’apprentissage Matryoshka fournit ces tailles de représentation imbriquées. La sortie peut utiliser des nombres à virgule flottante de 32 bits, des entiers signés ou non signés de 8 bits, ou des valeurs binaires compactées, grâce à la préparation de la famille tenant compte de la quantification.

Avec une sortie binaire compactée, chaque octet renvoyé stocke huit bits de plongement ; la longueur de la liste d’octets est donc égale au huitième de la dimension sélectionnée. Le nombre d’octets et la dimension du plongement ont des sens différents. Choisissez une représentation interprétable par votre index de recherche et examinez la pertinence des candidats pour les questions et les langues réellement utilisées par la collection avant de choisir une configuration compressée.

Longueur d’entrée, traitement par lots et troncature

Le guide actuel de plongement textuel du fabricant autorise jusqu’à 1000 chaînes et 320 000 tokens au total dans une requête voyage-4. Le budget par lot est distinct de la fenêtre de 32 000 tokens pour chaque entrée. La troncature est activée par défaut : un texte trop long est raccourci pour tenir dans la fenêtre. Si elle est désactivée, un élément trop long produit une erreur à la place.

Pour un long rapport ou une transcription, préparez délibérément des passages contenant des réponses, plutôt que de compter sur une coupure à la limite d’entrée. Gardez chaque passage lié à son document parent et à la version de la source. Les entrées ordinaires de plongement voyage-4 sont des textes individuels ; le traitement contextualisé de groupes de segments relève des modèles de plongement contextuel documentés séparément.

Utiliser le résultat de recherche

Stockez les vecteurs avec le texte des passages et des identifiants sources stables, comparez chaque vecteur de requête aux vecteurs documentaires compatibles et renvoyez des passages candidats. La publication de la famille évalue la recherche sur des matériaux comprenant des documents techniques, des conversations, de longs documents, du code, du droit, de la finance et du texte web. Un reclasseur distinct peut affiner les candidats et une étape ultérieure de réponse peut utiliser leur texte. Évaluez ces passages renvoyés au regard de la tâche ; la compatibilité d’espace partagé permet la combinaison de modèles, tandis que l’utilité d’un résultat dépend toujours des sources et de la question.