Voyage AI: Voyage 3.5 Lite

Voyage 3.5 Lite transforme le texte en embeddings pour la recherche sémantique d’information. Voyage AI décrit cette édition comme optimisée pour la latence et le coût, ce qui en fait une candidate pour les expériences de recherche qui créent fréquemment des embeddings des questions entrantes ou maintiennent une grande collection de passages interrogeables. La sortie est une représentation numérique du texte fourni, qu’une application de recherche compare aux vecteurs stockés pour ses contenus sources.

Commencez par une collection dont les limites correspondent à la tâche de l’utilisateur. Dans un centre d’aide, un passage peut expliquer une procédure et ses prérequis. Dans des archives de discussions, conservez suffisamment d’une chaîne de réponses pour identifier ce à quoi la réponse se rapporte. Un résultat doit mener à un élément de preuve lisible : stockez donc le texte original, un lien stable vers la source et les métadonnées du document avec chaque embedding.

Rédigez les requêtes de test comme les utilisateurs les formuleraient. « Où puis-je modifier l’adresse sur une facture ? » constitue une vérification de recherche plus utile que la copie du titre de l’article pertinent. Incluez des questions courtes, des reformulations, des abréviations du domaine et des cas mentionnant plusieurs concepts. Examinez les passages renvoyés et déterminez si un résultat manqué provient d’un contenu source absent, d’un mauvais découpage des passages ou d’un choix de recherche.

L’éditeur documente une fenêtre de contexte de 32 000 tokens. Cette capacité autorise des entrées textuelles volumineuses, tandis que la longueur des passages reste un choix de conception de l’expérience de recherche. Conservez une réponse concise avec ses conditions nécessaires ; évitez de séparer une définition du terme qu’elle explique. Extrayez un texte lisible de la source et retirez les éléments de navigation répétés sur chaque page lorsqu’ils masquent les informations recherchées par l’utilisateur.

Voyage 3.5 Lite prend en charge 2 048, 1 024, 512 et 256 dimensions. Les représentations à virgule flottante, en entiers sur huit bits et binaires offrent des choix supplémentaires pour l’index vectoriel. Testez une représentation plus petite ou quantifiée avec les mêmes questions et le même corpus que la référence en pleine précision. Enregistrez le modèle, la dimension et le type de données sélectionnés avec l’index pour que les vecteurs de requête utilisent les paramètres correspondants.

Dans le processus de recherche de l’éditeur, identifiez les passages indexés comme des documents et les recherches entrantes comme des requêtes. Préservez l’association entre chaque vecteur renvoyé et son texte d’entrée lorsque plusieurs passages sont traités ensemble. Une opération d’embedding réussie fournit des vecteurs ; l’application doit encore les placer dans les bons enregistrements et afficher l’extrait source lorsqu’un utilisateur ouvre un résultat.

Utilisez cette édition pour une collection d’assistance interrogeable, un outil de recherche de documents ou l’étape de recherche d’un assistant. Pour des contenus multilingues, évaluez les combinaisons de langues présentes dans votre propre collection au lieu de vous fier à un seul test en anglais. Gardez les autorisations et les métadonnées de variante linguistique accessibles à l’application pour qu’une correspondance pertinente puisse être filtrée et affichée dans le bon contexte.

Pour les collections qui s’enrichissent, mettez à jour les vecteurs des passages modifiés avec les versions de leurs sources. Conservez un ensemble de questions réelles comprenant des correspondances faciles, des reformulations difficiles et des documents similaires apportant des réponses différentes. Mesurez la qualité de la recherche et le comportement du parcours de recherche complet sous la charge attendue. Le positionnement de l’édition Lite par son éditeur aide à choisir une candidate ; la dimension finale, la stratégie de découpage et les paramètres de l’index découlent des résultats obtenus sur vos contenus.