Intfloat: E5-Base-v2

E5-Base-v2 er intfloats engelske embeddingmodell med tolv lag og en 768-dimensjonal representasjon. Den omdanner forberedt tekst til én numerisk vektor for gjenfinning, semantisk sammenligning eller bruk som egenskaper i en annen oppgave. Base v2-checkpointet er forskjellig fra Large v2-utgaven med 24 lag og 1024 dimensjoner og fra de separat trente flerspråklige E5-modellene.

Bruk de innlærte rolleprefiksene

E5 forventer en rolle i starten av inndataene. Ved passasjegjenfinning starter et spørsmål med «query:», og den mulige kilden som inneholder svaret, starter med «passage:». Produsenten anbefaler «query:» på begge sider for symmetriske oppgaver som semantisk likhet og gjenfinning av parafraser. Den anbefaler også dette prefikset når vektorene skal være egenskaper for klyngedannelse eller klassifisering.

En tilbakemeldingssamling kan for eksempel inneholde flere ulikt formulerte ønsker om den samme forbedringen. Kod disse postene med den anbefalte symmetriske forberedelsen, og sammenlign eller grupper deretter de resulterende vektorene. Behold den opprinnelige ordlyden og postidentifikatoren med hver representasjon, slik at en klynge kan undersøkes som faktiske kundemeldinger fremfor en uforklart gruppe tall.

For en søkesamling forbereder du spørsmål og kildepassasjer med de tilsvarende rollene. En nyttig forespørsel er «query: Which setting changes the notification frequency?». Korpuspassasjen beholder forklaringen og de relevante betingelsene. Prefikset er en del av modellens innlærte forberedelse; produsenten påpeker at utelatelse reduserer ytelsen.

Pool og sammenlign representasjonen

Det offisielle eksemplet beregner et gjennomsnitt av tokenrepresentasjonene som tar hensyn til attention-masken og utelukker padding, og normaliserer deretter vektoren. Et prikkprodukt mellom normaliserte embeddinger gir cosinuslikhet. De 768 resultatverdiene beskriver én tekst; de er ikke et svar, en klasseetikett eller en parvis rerankerskår.

I en arbeidsflyt for klyngedannelse danner et annet trinn grupper fra disse vektorene. I en klassifiseringsarbeidsflyt bruker et annet trinn dem som inndataegenskaper. Å bevare dette skillet gjør resultatet lettere å tolke: Embeddingvektoren representerer posten, mens den etterfølgende oppgaven bestemmer en gruppe eller etikett. Bruk én modell og én forberedelseskonvensjon konsekvent for representasjonene som sammenlignes.

Arbeid på engelsk og innenfor 512 tokener

Modellkortet sier at denne utgaven bare fungerer på engelsk og avkorter lang tekst til høyst 512 tokener. Forbered sammenhengende passasjer innenfor dette omfanget, inkludert det påkrevde rolleprefikset. En lang anmeldelse, rapport eller håndbok bør deles etter meningsfulle seksjoner fremfor å embeddes som for store inndata der slutten går tapt.

Hold en overskrift sammen med setningene den introduserer, og bevar betingelsen eller unntaket som endrer en regels betydning. For korte poster som tilbakemeldinger beholder du hele meldingen når den får plass. En kildeidentifikator og versjon ved siden av vektoren gjør at en senere oppdatering av samlingen kan erstatte riktig post.

Tolk likhet for oppgaven

Produsenten forklarer at den relative rekkefølgen av cosinusskårer er viktigere enn en absolutt verdi. En filtreringsterskel bør vurderes på samlingens egne eksempler, og vektorlikhet er ikke en kalibrert sannsynlighet for en samsvarende etikett eller et korrekt svar. Undersøk nærliggende poster og kjente feiltreff når du bestemmer hvordan vektorene skal brukes.

Den nyttige leveransen er en engelsk søkeindeks, et semantisk sammenligningssett eller numeriske tekstegenskaper paret med kildepostene. Denne Base v2-profilen har sine egne dimensjoner, sin pooling og sin rolleforberedelse; vektorformen eller språkdekningen til en annen E5-utgave fastslår ikke at representasjonene kan brukes om hverandre.