Intfloat: Multilingual-E5-Large

Multilingual-E5-Large er intfloats flerspråklige modell for tette tekstembeddinger, med 24 lag og et 1024-dimensjonalt resultat. Den er initialisert fra XLM-RoBERTa Large og videre trent på flerspråklige data. Modellkortet beskriver støtte for XLM-Rs dekning av hundre språk, samtidig som det påpeker svakere ytelse for språk med få ressurser. Vektorene representerer tekst for gjenfinning, semantisk sammenligning og oppgaver med numeriske egenskaper.

Bevar inndatarollen på alle språk

De innlærte prefiksene er «query:» og «passage:», også for ikke-engelsk tekst. En søkeforespørsel og korpuspassasjene bruker sine respektive roller. Prefiksene forblir disse engelske strengene, mens kildens ordlyd beholder sitt eget språk. For symmetrisk semantisk likhet, gjenfinning av parafraser, utvinning av parallelltekst eller bruk som egenskaper anbefaler produsenten «query:».

En praktisk samling kan inneholde dokumentasjon på flere støttede språk. Behold hver passasjes språk, opprinnelige tekst og kildeplassering sammen med vektoren. Forbered reelle søkespørsmål fra målgruppen i stedet for å anta at én engelsk test representerer hele samlingen. Resultatet bør returnere den faktiske passasjen og konteksten, slik at leseren kan vurdere hva den sier.

For en flerspråklig samsvarsoppgave må formålet med sammenligningen være tydelig. Et mulig oversettelsespar og en forespørsel som leter etter en underbyggende passasje, krever ulik forberedelse. Modellens veiledning om rolleprefikser gir en konkret konvensjon for disse oppgavene; å utelate prefikset er ikke den dokumenterte ekvivalenten, fordi det endrer inndatamønsteret som ble brukt i treningen.

Pooling og vektorsammenligning

Produsentens eksempel beregner gjennomsnittet av tokenrepresentasjonene med en attention-maske som utelukker padding, og normaliserer deretter vektoren. Normaliserte prikkprodukter gir cosinuslikhet. Det 1024-dimensjonale arrayet representerer én forberedt tekst. Behold koblingen mellom den nøyaktige modellen, forberedelsen og de lagrede vektorene, slik at senere forespørsler bruker den tilsvarende representasjonen.

Disse vektorene kan gi kandidatrangeringer eller egenskaper til et senere trinn for klyngedannelse eller klassifisering. De oversetter ikke kilden eller skriver et svar. Returner den underliggende passasjeteksten når et gjenfinningsresultat skal støtte en leser eller et senere genereringstrinn med RAG.

Trening og språkdekning

Modellkortet dokumenterer svakt veiledet kontrastiv forhåndstrening etterfulgt av veiledet finjustering. Den flerspråklige forberedelsen omfatter materiale som tittel–passasje-par, samtalepar og oversettelsespar, mens merkede data for gjenfinning og språkforståelse brukes i det senere trinnet. Dette forklarer de tilsiktede oppgavene for tekstrepresentasjon uten å fastslå lik ytelse på alle språk.

Produsenten angir uttrykkelig svekket ytelse for språk med få ressurser som en begrensning. Kontroller samlingens faktiske språk og ordlyd, inkludert forkortelser, navn og spesialisert ordforråd. Betegnelsen flerspråklig er en nyttig beskrivelse av omfanget; relevansen til den returnerte teksten må fortsatt undersøkes for målgruppen og oppgaven.

Lengde og nyttige resultater

Lange inndata avkortes til høyst 512 tokener. Forbered et langt dokument som sammenhengende passasjer med rolleprefikset og relevante overskrifter inkludert. Bevar definisjoner og forbehold ved siden av utsagnet de påvirker, og oppbevar en identifikator for det overordnede dokumentet og kildeversjonen utenfor vektoren.

Produsenten anbefaler å fokusere på den relative rekkefølgen av cosinusskårer fremfor å behandle en absolutt verdi som et universelt konfidensmål. Et nyttig resultat er et sett kandidatpassasjer, sammenlignbare tekstrepresentasjoner eller egenskaper knyttet til de opprinnelige postene. Denne nøyaktige modellen er fortsatt atskilt fra de rent engelskspråklige E5 v2-checkpointene og fra instruksjonsfinjusterte E5-varianter, selv når en annen modell også returnerer 1024 verdier.