Intfloat: E5-Large-v2

E5-Large-v2 er intfloats engelsksprogede tekstembeddingmodel med fireogtyve lag og et 1024-dimensionalt output. Den er designet til at repræsentere forespørgsler og passager numerisk til genfinding og andre embeddingopgaver. E5’s forberedelseskonvention er en del af dens træning: Inputteksten har et rollepræfiks, og de kodede tokenrepræsentationer samles ved pooling til én vektor for teksten.

Hold query- og passage-rollerne eksplicitte

Ved asymmetrisk genfinding skal spørgsmålet begynde med »query:« og korpusteksten med »passage:«. Roller adskiller det, brugeren leder efter, fra det materiale, der måske kan besvare det. Ved symmetrisk sammenligning, parafrasesøgning, klyngedannelse eller features til klassifikation anbefaler producenten »query:« til de tekster, der skal embeddes.

En praktisk samling kan indeksere engelske supportforklaringer. Forbered et spørgsmål som »query: What should I check before replacing the connector?«, og par det med kildepassager, som beskriver kontrollerne og undtagelserne. Passageteksten bevarer sit tilsvarende præfiks. Gem kildeidentifikatoren og den oprindelige ordlyd ved siden af hver vektor, så resultatet kan returnere det materiale, brugeren skal læse.

Præfikserne er ikke dekorative etiketter, der kan fjernes fra den ene side af opgaven. Producenten oplyser, at udeladelse af dem forringer genfindingen, fordi modellen blev trænet med denne forberedelse. Anvend den valgte rolle konsekvent både ved opbygning af korpusset og ved senere embedding af en forespørgsel.

Gennemsnitspooling og normaliserede vektorer

Det officielle kodningseksempel beregner gennemsnittet af tokenrepræsentationerne, mens paddingpositioner udelukkes med attention-masken. Derefter normaliseres den resulterende vektor. Et prikprodukt mellem normaliserede forespørgsels- og passagevektorer giver cosinuslighed til at ordne kandidaterne. Denne opskrift på gennemsnitspooling tilhører E5-Large-v2; en opskrift med pooling af første token fra en anden familie er et særskilt valg af forberedelse.

De 1024 outputværdier udgør embeddingvektoren, ikke et skriftligt svar eller en direkte kategorietiket. Et søgetrin sammenligner værdierne med kompatible korpusrepræsentationer, og et senere trin bruger den valgte passagetekst. Hvis vektorerne fungerer som features til klyngedannelse eller en klassifikator, skal tilknytningen mellem hver vektor og den inputpost, hvis features den repræsenterer, bevares.

Engelsk tekst inden for vinduet

Modelkortet angiver udelukkende engelsksproget tekst og afkortning af lange input til højst 512 tokens. Hold hver dokumentpassage sammenhængende inden for vinduet, inklusive rollepræfikset og nyttig kildekontekst. En lang manual bør forberedes som afsnit, hvis titler, betingelser og instruktioner kan forstås, når de genfindes separat.

En klausul, der beskriver en indstilling, kan eksempelvis have brug for indstillingens definition og en undtagelse i næste sætning. Bevar denne lille enhed samlet frem for at opdele rent efter antal tegn. Gem det overordnede dokument og kildeversionen sammen med passagen, så en opdatering erstatter det korrekte materiale.

Læs rangeringen som evidens til genfinding

Producenten forklarer, at rækkefølgen af cosinusscorer har større betydning end deres absolutte værdier. En score bør ikke fortolkes som en kalibreret sandsynlighed for, at en passage besvarer spørgsmålet. Kontrollér kendte passager, der indeholder svaret, og nærliggende irrelevant materiale, når du vælger, hvor mange resultater der skal bevares, eller hvor et kandidatsæt skal filtreres.

Det nyttige output er en korpus- eller forespørgselsrepræsentation, et semantisk sammenligningssignal eller numeriske features til en anden opgave. Dette præcise engelske Large v2-checkpoint er fortsat adskilt fra E5-Base-v2 og Multilingual-E5-Large. Ens dimensioner alene gør ikke deres vektorer til et dokumenteret fælles embeddingrum.