Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 est un modèle de plongement de Sentence Transformers pour les phrases et les courts paragraphes. Il projette chaque texte dans un espace vectoriel dense de 384 dimensions, la recherche sémantique et le regroupement figurant parmi les tâches annoncées par le fabricant. L’architecture publiée associe un transformer à une agrégation par moyenne ; sa longueur de séquence configurée est de 128 tokens.

Représenter le passage à comparer

Préparez la phrase ou le court paragraphe réel en gardant intacts le sujet et les conditions importantes. Une collection concrète peut contenir des questions formulées différemment ou de brèves descriptions de sujets liés. Encodez chaque enregistrement et conservez sa formulation d’origine et son identifiant, afin qu’une comparaison ultérieure puisse renvoyer le texte lui-même.

Par exemple, plusieurs questions d’aide peuvent décrire la même difficulté avec des termes différents. Une étape de similarité peut rapprocher ces candidats, après quoi leurs formulations peuvent être examinées pour identifier le problème réel. Le plongement est la représentation numérique utilisée dans cette comparaison ; il ne rédige pas de paraphrase et n’attribue pas de lui-même un libellé de groupe définitif.

Agrégation par moyenne et utilisation des vecteurs

L’exemple d’encodage direct du fabricant tient compte du masque d’attention lorsqu’il calcule la moyenne des représentations des tokens, en excluant les positions de remplissage. Son architecture sélectionne explicitement l’agrégation par moyenne et ne sélectionne ni l’agrégation CLS ni l’agrégation par maximum. Gardez cette recette d’agrégation avec le modèle lorsque vous préparez des vecteurs comparables.

Chaque représentation renvoyée possède 384 composantes. Une étape d’indexation ou de regroupement utilise ces vecteurs selon une configuration de similarité choisie, tandis que l’enregistrement source sous-jacent reste disponible pour vérification. Gardez le même modèle, la même préparation d’entrée et les mêmes réglages de comparaison pour les éléments comparés. Un autre modèle renvoyant 384 valeurs n’appartient pas, sur la seule base de cette forme, au même espace de plongement.

Des entrées courtes dans la configuration publiée

La configuration de référence Sentence Transformer utilise une longueur de séquence maximale de 128 tokens. Préparez une longue source en unités courtes et cohérentes, plutôt qu’en un seul paragraphe surdimensionné. Une phrase contenant une règle peut nécessiter l’exception figurant dans la phrase suivante ; conservez cette petite unité ensemble lorsqu’elle tient dans la fenêtre. Un nombre de mots ou de caractères ne permet pas d’établir directement la longueur en tokens.

Pour un ensemble de descriptions courtes, préservez les noms et les propriétés distinctives importantes pour la comparaison. Un enregistrement ne contenant qu’une catégorie vague peut être difficile à distinguer des autres enregistrements de ce type. Stockez l’association à la source en dehors du vecteur, afin qu’un candidat renvoyé puisse être vérifié au regard du matériau d’origine.

Résultats de recherche et de regroupement

En recherche sémantique, représentez la requête et le matériau du corpus avec ce même modèle et renvoyez les enregistrements candidats avec leur texte source. En regroupement, une autre étape forme des groupes à partir des vecteurs. Examinez les enregistrements proches de la frontière d’un groupe avant d’utiliser le regroupement comme décision produit ou comme libellé automatique.

La sortie utile est une représentation compacte du texte court liée à son enregistrement d’origine. Cette version exacte paraphrase-MiniLM-L6-v2 possède sa propre configuration d’agrégation et de séquence. Les variantes all-MiniLM et paraphrase multilingues sont des profils de modèle distincts ; leur entraînement, leur couverture linguistique ou leurs réglages d’entrée ne sont pas impliqués par le seul nom MiniLM partagé.