Intfloat: E5-Base-v2

E5-Base-v2 er intfloats engelsksprogede embeddingmodel med tolv lag og en 768-dimensional repræsentation. Den omdanner forberedt tekst til én numerisk vektor til genfinding, semantisk sammenligning eller brug som features i en anden opgave. Base v2-checkpointet adskiller sig fra Large v2-udgaven med fireogtyve lag og 1024 dimensioner og fra de særskilt trænede flersprogede E5-modeller.

Brug de indlærte rollepræfikser

E5 forventer en rolle i begyndelsen af inputtet. Ved passagegenfinding begynder et spørgsmål med »query:«, og dets mulige kilde med et svar begynder med »passage:«. Producenten anbefaler »query:« på begge sider til symmetriske opgaver såsom semantisk lighed og parafrasegenfinding. Den anbefaler også præfikset, når vektorerne skal være features til klyngedannelse eller klassifikation.

En samling af feedback kan eksempelvis indeholde flere forskelligt formulerede anmodninger om samme forbedring. Kod disse poster med den anbefalede symmetriske forberedelse, og sammenlign derefter de resulterende vektorer eller dan klynger ud fra dem. Gem den oprindelige ordlyd og postidentifikatoren sammen med hver repræsentation, så en klynge kan undersøges som faktiske kundebeskeder frem for en uforklaret gruppe tal.

Ved en søgesamling skal spørgsmål og kildepassager forberedes med deres respektive roller. En nyttig forespørgsel er »query: Which setting changes the notification frequency?«. Korpuspassagen bevarer forklaringen og dens relevante betingelser. Præfikset er en del af modellens indlærte forberedelse; producenten bemærker, at udeladelse reducerer ydeevnen.

Pool og sammenlign repræsentationen

Det officielle eksempel beregner et gennemsnit af tokenrepræsentationerne under hensyntagen til attention-masken, udelader padding og normaliserer derefter den resulterende vektor. Et prikprodukt mellem normaliserede embeddings giver cosinuslighed. De 768 outputværdier beskriver én tekst; de er ikke et svar, en klasseetiket eller en parvis rerankerscore.

I en arbejdsgang til klyngedannelse danner et andet trin grupper ud fra disse vektorer. I en klassifikationsarbejdsgang bruger et andet trin dem som inputfeatures. Når denne forskel bevares, bliver resultatet lettere at fortolke: Embeddingvektoren repræsenterer posten, mens den efterfølgende opgave bestemmer en gruppe eller etiket. Brug én model og én forberedelseskonvention konsekvent til de repræsentationer, der sammenlignes.

Arbejd på engelsk og inden for 512 tokens

Modelkortet siger, at denne udgave kun fungerer på engelsk og afkorter lang tekst til højst 512 tokens. Forbered sammenhængende passager inden for dette omfang inklusive det krævede rollepræfiks. En lang anmeldelse, rapport eller manual bør opdeles efter meningsfulde afsnit frem for at blive embeddet som et for stort input, hvis afslutning går tabt.

Hold en overskrift sammen med de sætninger, den introducerer, og bevar den betingelse eller undtagelse, som ændrer en regels betydning. Ved korte poster såsom feedback skal hele beskeden bevares, når den kan være der. En kildeidentifikator og version ved siden af vektoren lader en senere opdatering af samlingen erstatte den korrekte post.

Fortolk lighed i forhold til opgaven

Producenten forklarer, at den relative rækkefølge af cosinusscorer er vigtigere end en absolut værdi. En filtreringstærskel bør vurderes på samlingens egne eksempler, og vektorlighed er ikke en kalibreret sandsynlighed for en matchende etiket eller et korrekt svar. Undersøg nærliggende poster og kendte fejlmatch, når du afgør, hvordan vektorerne skal bruges.

Den nyttige leverance er et engelsksproget søgeindeks, et semantisk sammenligningssæt eller numeriske tekstfeatures parret med deres kildeposter. Denne Base v2-profil leverer sine egne dimensioner, sin pooling og sin rolleforberedelse; en anden E5-udgaves vektorform eller sprogdækning fastslår ikke en udskiftelig repræsentation.