Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 is een embeddingmodel van Sentence Transformers voor zinnen en korte alinea's. Het zet elke tekst om in een 384-dimensionale dense vectorruimte, met semantisch zoeken en clustering als door de maker genoemde taken. De gepubliceerde architectuur combineert een transformer met mean pooling; de ingestelde sequentielengte is 128 tokens.

Representeer de passage die u wilt vergelijken

Bereid de daadwerkelijke zin of korte alinea voor en behoud het onderwerp en de belangrijke voorwaarden. Een praktische verzameling kan verschillend geformuleerde vragen of korte beschrijvingen van verwante onderwerpen bevatten. Embed elk record en bewaar de oorspronkelijke bewoordingen en identifier, zodat een latere vergelijking de tekst zelf kan teruggeven.

Verschillende hulpvragen kunnen bijvoorbeeld hetzelfde probleem met andere termen beschrijven. Een gelijkenisfase kan die kandidaten samenbrengen, waarna de bewoordingen op het daadwerkelijke probleem kunnen worden onderzocht. De embedding is de numerieke representatie die in die vergelijking wordt gebruikt; hij schrijft zelf geen parafrase en kent niet zelfstandig een definitief clusterlabel toe.

Mean pooling en vectorgebruik

Het rechtstreekse codeervoorbeeld van de maker houdt bij het middelen van tokenrepresentaties rekening met het attention-masker en sluit paddingposities uit. De architectuur selecteert expliciet mean pooling en selecteert geen CLS- of max pooling. Bewaar dat poolingrecept bij het model wanneer u vergelijkbare vectoren voorbereidt.

Elke geretourneerde representatie heeft 384 componenten. Een index- of clusteringfase werkt met die vectoren via een gekozen gelijkenisconfiguratie, terwijl het onderliggende bronrecord beschikbaar blijft voor beoordeling. Houd hetzelfde model, dezelfde invoervoorbereiding en vergelijkingsinstellingen aan voor de items die worden vergeleken. Een ander model dat 384 waarden retourneert heeft niet op basis van die vorm alleen dezelfde embeddingruimte.

Korte invoer in de gepubliceerde configuratie

De referentieconfiguratie van Sentence Transformer gebruikt een maximale sequentielengte van 128 tokens. Bereid een lange bron voor als korte samenhangende eenheden in plaats van één te grote alinea. Een zin met een regel kan de uitzondering in de volgende zin nodig hebben; behoud die kleine eenheid samen wanneer zij past. Een woord- of tekenaantal stelt de tokenlengte niet rechtstreeks vast.

Behoud bij een verzameling korte beschrijvingen namen en onderscheidende eigenschappen die belangrijk zijn voor de vergelijking. Een record met alleen een vage categorie kan moeilijk te scheiden zijn van andere records van dat type. Bewaar de bronkoppeling buiten de vector, zodat een geretourneerde kandidaat aan het oorspronkelijke materiaal kan worden getoetst.

Zoek- en clusteringresultaten

Representeer bij semantisch zoeken de zoekvraag en het corpusmateriaal met hetzelfde model en retourneer kandidaatrecords met hun brontekst. Bij clustering vormt een andere fase groepen uit de vectoren. Onderzoek de records bij een clustergrens voordat u de groepering als productbeslissing of automatisch label gebruikt.

De bruikbare uitvoer is een compacte representatie van korte tekst gekoppeld aan het oorspronkelijke record. Dit exacte paraphrase-MiniLM-L6-v2-checkpoint heeft zijn eigen pooling- en sequentieconfiguratie. De all-MiniLM- en meertalige parafrasevarianten zijn afzonderlijke modelprofielen; hun training, taalbereik of invoerinstellingen worden niet geïmpliceerd door de gedeelde MiniLM-naam.