Sentence Transformers: paraphrase-MiniLM-L6-v2

paraphrase-MiniLM-L6-v2 er en Sentence Transformers-embeddingmodell for setninger og korte avsnitt. Den avbilder hver tekst til et tett vektorrom med 384 dimensjoner, med semantisk søk og klyngedannelse blant produsentens oppgitte oppgaver. Den publiserte arkitekturen kombinerer en transformer med gjennomsnittspooling; den konfigurerte sekvenslengden er 128 tokener.

Representer passasjen du vil sammenligne

Forbered den faktiske setningen eller det korte avsnittet, og behold emnet og viktige betingelser intakte. En praktisk samling kan inneholde ulikt formulerte spørsmål eller korte beskrivelser av relaterte emner. Beregn embeddingvektoren for hver post og behold den opprinnelige ordlyden og identifikatoren, slik at en senere sammenligning kan returnere selve teksten.

Flere hjelpespørsmål kan for eksempel beskrive samme vanskelighet med ulike termer. Et likhetstrinn kan samle disse kandidatene, og deretter kan ordlyden undersøkes for det faktiske problemet. Embeddingvektoren er den numeriske representasjonen som brukes i sammenligningen; den skriver ikke en parafrase eller tildeler en endelig klyngeetikett på egen hånd.

Gjennomsnittspooling og vektorbruk

Produsentens eksempel på direkte koding tar hensyn til attention-masken ved gjennomsnittsberegning av tokenrepresentasjonene og utelukker paddingposisjoner. Arkitekturen velger uttrykkelig gjennomsnittspooling og velger ikke CLS- eller max-pooling. Behold denne poolingoppskriften sammen med modellen når du forbereder sammenlignbare vektorer.

Hver returnerte representasjon har 384 komponenter. En indeks eller et klyngedanningstrinn arbeider med vektorene med en valgt likhetskonfigurasjon, mens den underliggende kildeposten forblir tilgjengelig for gjennomgang. Hold modell, inndataforberedelse og sammenligningsinnstillinger like på tvers av elementene som sammenlignes. En annen modell som returnerer 384 verdier, har ikke samme embeddingrom bare på grunn av denne formen.

Korte inndata i den publiserte konfigurasjonen

Referansekonfigurasjonen for Sentence Transformer bruker en maksimal sekvenslengde på 128 tokener. Forbered en lang kilde som korte, sammenhengende enheter fremfor ett for stort avsnitt. En setning med en regel kan trenge unntaket i neste setning; behold den lille enheten samlet når den får plass. Et antall ord eller tegn fastslår ikke tokenlengden direkte.

For et sett med korte beskrivelser bevarer du navn og egenskaper som skiller dem fra hverandre og har betydning for sammenligningen. En post som bare inneholder en vag kategori, kan være vanskelig å skille fra andre poster av samme type. Lagre kildekoblingen utenfor vektoren, slik at en returnert kandidat kan kontrolleres mot originalmaterialet.

Resultater fra søk og klyngedannelse

I semantisk søk representerer du forespørselen og korpusmaterialet med denne samme modellen og returnerer kandidatposter med kildeteksten. Ved klyngedannelse danner et annet trinn grupper fra vektorene. Undersøk postene nær en klyngegrense før grupperingen brukes som en produktbeslutning eller en automatisk etikett.

Det nyttige resultatet er en kompakt representasjon av kort tekst knyttet til den opprinnelige posten. Dette nøyaktige paraphrase-MiniLM-L6-v2-checkpointet har sin egen pooling- og sekvenskonfigurasjon. all-MiniLM og flerspråklige paraphrase-varianter er separate modellprofiler; treningen, språkomfanget eller inndatainnstillingene deres følger ikke automatisk av det felles MiniLM-navnet.