Sentence Transformers: all-MiniLM-L6-v2

all-MiniLM-L6-v2 er en Sentence Transformers-encoder for setninger og korte avsnitt. Den avbilder hver tekst til en tett vektor med 384 dimensjoner for gjenfinning, klyngedannelse og setningslikhet. Modellen ble finjustert fra MiniLM-L6-H384-uncased-grunnmodellen med kontrastiv læring på en samling med én milliard setningspar.

Forbered korte, meningsfulle poster

Velg setningen eller avsnittet som skal vises i et søkeresultat. I en samling med ofte stilte spørsmål beholder du spørsmålet og den korte forklaringen som skiller emnet fra andre. En passasje om å tilbakestille et glemt passord bør beholde tilbakestillingsprosedyren fremfor å reduseres til et isolert ord som «Konto».

For en lang artikkel indekserer du sammenhengende korte seksjoner og beholder kildeplasseringene. Gjenfinn kandidatseksjoner ved å sammenligne forespørselens vektor med de lagrede representasjonene, og vis deretter originalpassasjene slik at leseren kan undersøke de faktiske instruksjonene.

Utled setningsrepresentasjonen

Produsentens oppskrift på direkte koding beregner gjennomsnittet av tokenrepresentasjonene med attention-masken og utelukker paddingposisjoner fra gjennomsnittet. Deretter brukes L2-normalisering. Disse trinnene produserer setningsembeddingen som brukes til sammenligning; individuelle tokenrepresentasjoner fra den underliggende transformeren har en annen rolle.

Hvert resultat har 384 komponenter. Bruk samme checkpoint, pooling og normalisering når samlingen bygges og senere forespørsler kodes. Cosinuslikhet kan sammenligne de resulterende vektorene. En likhetsverdi er nyttig til å rangere kandidater under dette oppsettet, mens originalteksten avgjør om en kandidat besvarer spørsmålet.

Lengde og utgavegrenser

Den publiserte standarden avkorter inndata som er lengre enn 256 orddeler. Denne tokenizerenheten tilsvarer ikke direkte et vanlig ord eller tegn. Hold viktige betingelser innenfor den indekserte enheten, og del en lang prosedyre ved meningsfulle grenser før den kodes.

Treningssekvensene var begrenset til 128 tokener. Denne treningsinnstillingen er atskilt fra standarden på 256 orddeler som brukes ved koding. For uvanlig lange eller spesialiserte passasjer bruker du representative eksempler på forespørsler og passasjer til å vurdere gjenfinningsadferden, fremfor å anta at inndatagrensen garanterer lik behandling av hver detalj.

Den nøyaktige L6-v2-utgaven er en engelsk embeddingprofil. L12-v2- og paraphrase-MiniLM-utgavene har separate modellidentiteter og konfigurasjoner. Det felles MiniLM-navnet eller resultatet på 384 dimensjoner fastslår ikke at vektorene kan brukes om hverandre.

Søk, likhet og gruppering

Ved gjennomgang av duplikatspørsmål gjenfinner du lignende spørsmål og sammenligner den faktiske ordlyden før poster slås sammen. «Kan jeg tilbakestille passordet mitt?» og «Kan en administrator tilbakestille passordet til en annen bruker?» gjelder relaterte emner, men ulike tillatelser. Bevar dette skillet i den kodede teksten og i gjennomgangstrinnet.

For klyngedannelse bruker du embeddingene som numeriske inndata til en grupperingsprosess og undersøker deretter representative poster før en gruppe navngis. Modellen gir vektorer fremfor skriftlige klyngeetiketter eller et generert FAQ-svar. Det nyttige resultatet er en kompakt representasjon av en kort kildepassasje som fortsatt er knyttet til originalposten.