Sentence Transformers: all-MiniLM-L6-v2

all-MiniLM-L6-v2 er en Sentence Transformers-encoder til sætninger og korte afsnit. Den afbilder hver tekst til en tæt vektor med 384 dimensioner til genfinding, klyngedannelse og sætningslighed. Modellen blev finjusteret fra MiniLM-L6-H384-uncased-grundmodellen med kontrastiv læring på en samling på en milliard sætningspar.

Forbered korte, meningsfulde poster

Vælg den sætning eller det afsnit, der skal fremgå af et søgeresultat. Ved en FAQ-samling skal du bevare spørgsmålet og den korte forklaring, som adskiller dets emne. En passage om nulstilling af en glemt adgangskode bør bevare nulstillingsproceduren frem for at blive reduceret til et isoleret ord såsom »Konto«.

Ved en lang artikel skal du indeksere sammenhængende korte afsnit og gemme deres kildeplaceringer. Genfind kandidatafsnit ved at sammenligne forespørgslens vektor med de lagrede repræsentationer, og vis derefter de oprindelige passager, så læseren kan undersøge de faktiske instruktioner.

Udled sætningsrepræsentationen

Producentens opskrift på direkte kodning beregner gennemsnittet af tokenrepræsentationerne med attention-masken og udelukker paddingpositioner fra gennemsnittet. Derefter anvendes L2-normalisering. Trinnene producerer den sætningsembedding, der bruges til sammenligning; individuelle tokenrepræsentationer fra den underliggende transformer har en anden rolle.

Hvert output har 384 komponenter. Brug samme checkpoint, pooling og normalisering ved opbygning af samlingen og kodning af senere forespørgsler. Cosinuslighed kan sammenligne de resulterende vektorer. En lighedsværdi er nyttig til at rangere kandidater under denne opsætning, mens den oprindelige tekst afgør, om en kandidat besvarer spørgsmålet.

Længde og udgavegrænser

Den offentliggjorte standard afkorter input, som er længere end 256 orddele. Denne tokenizerenhed svarer ikke direkte til et almindeligt ord eller tegn. Hold vigtige betingelser inden for den indekserede enhed, og opdel en lang procedure ved meningsfulde grænser, før den kodes.

Træningssekvenserne var begrænset til 128 tokens. Denne træningsindstilling er adskilt fra standarden på 256 orddele, der bruges ved kodning. Ved usædvanligt lange eller specialiserede passager skal du bruge repræsentative eksempler på forespørgsler og passager til at vurdere genfindingsadfærden frem for at antage, at overholdelse af inputgrænsen garanterer ens behandling af hver detalje.

Den præcise L6-v2-udgave er en engelsksproget embeddingprofil. L12-v2- og paraphrase-MiniLM-udgaverne har særskilte modelidentiteter og konfigurationer. Deres fælles MiniLM-navn eller 384-dimensionale output fastslår ikke udskiftelige vektorer.

Søgning, lighed og gruppering

Ved gennemgang af dubletspørgsmål skal du genfinde lignende spørgsmål og sammenligne den faktiske ordlyd, før poster sammenlægges. »Can I reset my password?« og »Can an administrator reset another user’s password?« vedrører relaterede emner, men forskellige tilladelser. Bevar forskellen i den kodede tekst og i gennemgangstrinnet.

Ved klyngedannelse bruges embeddings som numeriske input til en grupperingsproces, hvorefter repræsentative poster undersøges, før en gruppe navngives. Modellen leverer vektorer frem for skriftlige klyngeetiketter eller et genereret FAQ-svar. Dens nyttige resultat er en kompakt repræsentation af en kort kildepassage, som forbliver knyttet til den oprindelige post.