VoyageAI by MongoDB: voyage-4-large

voyage-4-large est le modèle phare de plongement textuel de Voyage AI dans la famille Voyage 4. Il représente les passages sources et les requêtes sous forme de vecteurs numériques pour la recherche généraliste et multilingue. Ses deux caractéristiques distinctives sont une conception à mélange d’experts et l’espace de plongement partagé utilisé par voyage-4-large, voyage-4, voyage-4-lite et voyage-4-nano.

Espace partagé : des choix séparés pour le corpus et les requêtes

Le fabricant décrit une recherche asymétrique : les documents peuvent être encodés avec voyage-4-large, tandis qu’un autre modèle de la famille Voyage 4 prépare les vecteurs de requêtes. Par exemple, un corpus représenté par Large peut être interrogé avec des requêtes voyage-4. Cela permet aux deux côtés de la recherche de choisir des modèles différents tout en restant dans l’espace compatible documenté.

Une collection concrète peut donc utiliser Large pour préparer des passages documentaires stables et choisir indépendamment le modèle du côté des requêtes. Les documents sont encodés lorsque le corpus est créé ou mis à jour, tandis que les requêtes sont vectorisées au fil des recherches des utilisateurs. L’annonce de la famille décrit le changement de modèle de requête au sein de la famille compatible sans revectoriser le corpus documentaire uniquement pour ce changement. Gardez les vecteurs comparés à des dimensions correspondantes et dans des représentations que le système de recherche peut interpréter ensemble.

Conception du plongement à mélange d’experts

Une couche dense feed-forward traite chaque token au moyen de l’ensemble de ses paramètres. L’approche MoE décrite pour voyage-4-large utilise un routeur et des réseaux feed-forward d’experts, en sélectionnant les experts qui traitent chaque token. Cela sépare la capacité totale du modèle des paramètres actifs pour un token particulier. Voyage rapporte un ratio d’activation de 1/10 pour la conception MoE du modèle, avec un routage top-k.

L’explication technique du fabricant décrit aussi deux choix de développement. La capacité des experts influe sur le fait que des tokens excédentaires contournent une couche d’experts par une voie résiduelle ; l’équipe a choisi le plus grand facteur de capacité réalisable afin d’éviter une perte de qualité de recherche. À l’étape finale d’entraînement, les paramètres du routeur sont gelés avant la fusion des modèles, afin que l’interpolation des modèles sources ne modifie pas le routage appris de sélection des experts. Il s’agit de caractéristiques de préparation du modèle, distinctes des réglages de longueur textuelle ou de troncature utilisés lors de la préparation d’une entrée.

Dimensions et représentation de sortie

Le tableau officiel des modèles spécifie une fenêtre de contexte de 32 000 tokens et des plongements sélectionnables de 256, 512, 1024 et 2048 dimensions, avec 1024 par défaut. La famille utilise l’apprentissage Matryoshka pour des tailles de représentation imbriquées et prend en charge plusieurs choix de quantification : virgule flottante de 32 bits, entiers signés ou non signés de 8 bits et sortie binaire compactée.

Avec une sortie binaire, la longueur de la liste d’octets renvoyée est égale au huitième de la dimension sélectionnée, car chaque octet contient huit bits de plongement. Préservez les choix de dimension et de type de données avec l’index et utilisez une méthode de comparaison prenant en charge cette représentation. Un vecteur plus petit ou compressé modifie la représentation utilisée pour la recherche ; évaluez les passages pertinents renvoyés pour de vraies questions avant de le choisir pour une collection.

Préparer les entrées de documents et de requêtes

Voyage recommande le rôle document pour les passages du corpus et le rôle query pour les formulations de recherche. Son option de rôle ajoute l’instruction de recherche correspondante avant l’encodage. Préservez le titre utile, les conditions et l’emplacement source du passage, puis stockez le vecteur renvoyé avec le texte d’origine et un identifiant stable.

Pour une collection de connaissances techniques, une question sur un mode de défaillance doit mener au passage qui décrit ce mode et ses conditions pertinentes. Pour une collection documentaire multilingue, conservez la langue source et évaluez les questions et la terminologie utilisées lors des recherches. La publication couvre des matériaux de recherche comprenant des documents techniques, des conversations, de longs documents, du code, du droit, de la finance et du texte web. Le plongement trouve des matériaux candidats ; un reclasseur ou une étape de réponse ultérieurs utilisent le texte d’origine.

Limites de contexte, de traitement par lots et de troncature

Le guide actuel du fabricant autorise jusqu’à 1000 chaînes et 120 000 tokens d’entrée au total dans une requête voyage-4-large. Cela diffère du budget par lot indiqué pour voyage-4, tandis que les deux possèdent une fenêtre de 32 000 tokens par texte. La troncature par défaut raccourcit une entrée trop longue pour la faire tenir ; désactiver la troncature renvoie une erreur pour un texte trop long.

Choisissez délibérément les limites des passages contenant des réponses, afin qu’une longue source ne perde pas une précision pertinente dans une fin tronquée. Gardez l’association à la source lors du renvoi des résultats de recherche et examinez le texte candidat réel, plutôt que de traiter la proximité vectorielle comme une vérification de son contenu. La compatibilité d’espace partagé s’applique à la famille textuelle Voyage 4 documentée ; le traitement contextualisé des segments, les plongements d’images ou de vidéos et les éditions ultérieures de modèles restent des processus propres à chaque modèle.