Thenlper: GTE-Large

GTE-large er storutgaven av General Text Embeddings-modellen trent av Alibaba DAMO Academy. Den er en engelsk tekstencoder hovedsakelig basert på BERT-rammeverket, med en tett representasjon på 1024 dimensjoner for hver inndatatekst. Produsenten trener GTE-familien på relevanspar av tekst på tvers av domener og oppgir gjenfinning, semantisk tekstlikhet og tekstreranking som etterfølgende bruksområder.

Representer innholdet i en seksjon

Forbered den engelske passasjen som skal sammenlignes med en søkeforespørsel. I en samling tekniske rapporter bevarer du emnet, observasjonen og den relevante betingelsen i en kort seksjon. En rapport som beskriver vibrasjon bare under en bestemt belastning, bør bevare den betingelsen fremfor å etterlate et generelt utsagn om vibrasjon.

Hold kildeidentifikatorer, dokumenttitler og seksjonsplasseringer med de lagrede vektorene. En forespørsel kan gjenfinne kandidatseksjoner, mens originalrapporten fortsatt er tilgjengelig for å kontrollere utstyret, betingelsen og konklusjonen. Embeddingvektoren gir en numerisk representasjon av passasjens innhold.

Pooling, normalisering og vektorbruk

Den publiserte oppskriften bruker gjennomsnittspooling over tokenrepresentasjonene med attention-masken og utelukker padding fra gjennomsnittet. Den viser også valgfri L2-normalisering etterfulgt av en prikkproduktsammenligning av normaliserte vektorer. Sentence Transformers-eksemplet bruker cosinuslikhet.

Behold samme forberedelses-, pooling- og sammenligningsinnstillinger på tvers av samlingen og forespørselssiden. Hver representasjon inneholder 1024 komponenter. Det større komponentantallet er en utgavedetalj; det fastslår ikke at GTE-large-vektorer kan blandes med den 768-dimensjonale GTE-base-representasjonen eller en annen 1024-dimensjonal encoder.

En rerankingarbeidsflyt kan sammenligne en forespørselsembedding med et allerede gjenfunnet sett kandidatembeddinger og omordne postene. Bevar skillet mellom denne vektorsammenligningen og en separat modell som vurderer et forespørsel–passasje-par samlet.

Inndatalengde og begrensning til engelsk

Modellkortet begrenser uttrykkelig denne nøyaktige modellen til engelsk tekst og avkorter lange inndata til høyst 512 tokener. Del en lang teknisk rapport i sammenhengende seksjoner og behold nok lokal kontekst til at hver seksjon kan stå på egne ben. Hvis en setning avhenger av et foregående forbehold, behold forbeholdet i samme indekserte enhet når det får plass.

En tokengrense er forskjellig fra et synlig ordantall. Kontroller lengden på den forberedte seksjonen og sørg for at detaljen det tilsiktede søket trenger, ikke ligger utenfor delen som beholdes etter avkorting.

Undersøk den gjenfunne evidensen

For en rapportsøkeapplikasjon presenterer du kandidatseksjoner med kildeplasseringene og undersøker det faktiske innholdet. Lignende observasjoner kan ha ulike årsaker eller anbefalinger. En vektorskår hjelper med å ordne kandidatene under det valgte sammenligningsoppsettet; den fastslår ikke at en rapportkonklusjon gjelder en ny situasjon.

For RAG bruker du de valgte seksjonene som kildekontekst for svarskrivingstrinnet og beholder dokumentkoblingene. Denne nøyaktige GTE-large-profilen gir engelske tette embeddinger med 1024 dimensjoner og en inndatagrense på 512 tokener. Senere flerspråklige GTE-utgaver og utgaver med utvidet kontekst har separate identiteter, så språkdekningen eller inndatainnstillingene deres følger ikke av modellfamilienavnet til dette checkpointet.