LiquidAI: LFM2.5-Embedding-350M (free)

LFM2.5-Embedding-350M est le bi-encodeur dense de LiquidAI pour la recherche multilingue et entre langues. Il produit un vecteur de 1024 dimensions pour chaque texte et vise la recherche à contexte court dans onze langues. La famille de modèles nommée 350M utilise une adaptation bidirectionnelle de LFM2.5-350M-Base ; le tableau détaillé du modèle indique environ 354 millions de paramètres pour cette édition de plongement.

Une représentation bidirectionnelle pour la recherche

Le fabricant adapte l’architecture de base afin que l’attention et les convolutions locales puissent utiliser le contexte des deux côtés d’un token. Une agrégation de type CLS transforme le texte traité en un seul vecteur dense. Son tableau de modèle décrit dix-sept couches : dix blocs de convolution, six blocs d’attention et une étape d’agrégation. Il s’agit d’un encodeur de recherche avec sa propre préparation et sa propre sortie, plutôt que de la tâche de génération textuelle du modèle de base.

Le modèle nommé séparément LFM2.5-ColBERT-350M conserve des vecteurs par token pour une interaction tardive. Cette représentation nécessite un index et une méthode de comparaison différents. Le modèle Embedding décrit ici fournit un vecteur par document ou requête, avec la similarité cosinus comme comparaison documentée.

Utiliser les bons prompts asymétriques

Préparez les requêtes de recherche avec « query: » et les passages sources avec « document: ». Le fabricant stocke ces prompts dans sa configuration et son processus de référence applique le nom de prompt correspondant. Il recommande spécifiquement le rôle approprié de chaque côté, car le modèle a été entraîné avec ces préfixes. Ce préfixe de document diffère de la convention « passage: » des modèles E5.

Une collection concrète de recherche produit peut contenir des descriptions dans les langues prises en charge. Préparez la formulation de recherche de l’utilisateur comme une requête et chaque description produit comme un document. Stockez le texte d’origine, l’identifiant du produit et la langue avec le vecteur, afin qu’un résultat de recherche puisse renvoyer l’enregistrement correspondant. Pour une collection d’assistance, conservez la règle ou l’instruction pertinente pour la question, plutôt que de la remplacer par un libellé court sans rapport.

Langues et taille des passages

L’ensemble de langues documenté est l’anglais, l’espagnol, l’allemand, le français, l’italien, le portugais, l’arabe, le suédois, le norvégien, le japonais et le coréen. Le fabricant vise explicitement la recherche au sein d’une langue et la recherche entre langues. Préparez de vraies questions issues du public visé et examinez le texte documentaire renvoyé dans ces langues.

La spécification de longueur documentaire est de 512 tokens. Divisez une longue source en passages cohérents préservant le titre, les définitions et les conditions nécessaires à un résultat retrouvé. Le préfixe de rôle et le contexte ajouté appartiennent à l’entrée préparée. Une réponse de FAQ, une explication produit ou une section ciblée d’un document technique sont des unités plus adaptées qu’un manuel entier surdimensionné.

Entraînement et mise en correspondance

Le fabricant décrit trois étapes d’entraînement : un préentraînement contrastif anglais, une distillation multilingue et entre langues, puis un ajustement avec des exemples négatifs difficiles sélectionnés. Le modèle obtenu est destiné aux catalogues produit, aux collections de FAQ et d’assistance, à la recherche de fichiers ou de notes et à la recherche de connaissances en entreprise. Il s’agit de tâches pour les représentations textuelles, plutôt que d’affirmations sur le déploiement d’une application particulière.

L’exemple du producteur normalise les vecteurs de requêtes et de documents et les classe par produit scalaire, équivalent à la similarité cosinus. Précalculez les représentations du corpus lorsque les sources sont préparées, puis encodez une requête de recherche et renvoyez les documents candidats avec leur texte et leurs identifiants. Gardez le modèle sélectionné et la convention de rôle avec l’index, afin que la comparaison numérique utilise des représentations compatibles.

Le résultat utile est un index de recherche dense et compact ou un vecteur de requête qui retrouve des sources dans l’ensemble linguistique documenté. Cette édition exacte LFM2.5 Embedding reste distincte de son modèle compagnon ColBERT, des anciens modèles de recherche LFM2 et des implémentations quantifiées extérieurement. Le texte du passage sélectionné constitue les éléments utilisés par un lecteur ou par une étape ultérieure de réponse RAG.