Intfloat: Multilingual-E5-Large

Multilingual-E5-Large je vícejazyčný model intfloat pro husté vektorové reprezentace textu s dvaceti čtyřmi vrstvami a výstupem o 1024 rozměrech. Je inicializován z XLM-RoBERTa Large a dále trénován na vícejazyčných datech. Karta modelu popisuje podporu rozsahu sta jazyků XLM-R a upozorňuje na slabší výkon u jazyků s malým množstvím dostupných dat. Jeho vektory reprezentují text pro vyhledávání, sémantické porovnávání a úlohy s číselnými příznaky.

Zachovejte roli vstupu v každém jazyce

Prefixy používané při trénování jsou „query:“ a „passage:“, a to i pro neanglický text. Vyhledávací dotaz a pasáže jeho korpusu používají odpovídající role. Prefixy zůstávají těmito anglickými řetězci, zatímco zdrojová formulace si ponechává vlastní jazyk. Pro symetrickou sémantickou podobnost, vyhledávání parafrází, dolování dvojjazyčných textových párů nebo použití příznaků výrobce doporučuje „query:“.

Praktická kolekce může obsahovat dokumentaci v několika podporovaných jazycích. S vektorem každé pasáže zachovejte její jazyk, původní text a umístění zdroje. Připravujte skutečné vyhledávací otázky publika, místo předpokladu, že jediný anglický test reprezentuje celou kolekci. Výstup má vracet skutečnou pasáž a její kontext, aby čtenář mohl posoudit její obsah.

U vícejazyčné párovací úlohy udržujte účel porovnání jasný. Kandidátní dvojice překladů a dotaz hledající podpůrnou pasáž představují odlišné přípravy. Pokyny modelu k prefixům rolí poskytují konkrétní konvenci pro tyto úlohy; vynechání prefixu není zdokumentovaný ekvivalent, protože mění vstupní vzor použitý při trénování.

Agregace a porovnávání vektorů

Příklad výrobce průměruje reprezentace tokenů a pomocí masky pozornosti vylučuje výplňové tokeny, poté vektor normalizuje. Skalární součiny normalizovaných vektorů dávají kosinovou podobnost. Pole s 1024 rozměry představuje jeden připravený text. Zachovejte přesný model a přípravu ve spojení s uloženými vektory, aby pozdější dotazy používaly odpovídající reprezentaci.

Tyto vektory mohou poskytovat pořadí kandidátů nebo příznaky pro pozdější fázi shlukování či klasifikace. Nepřekládají zdroj ani nesestavují odpověď. Vracejte podkladový text pasáže, pokud má výsledek vyhledávání podporovat čtenáře nebo pozdější generativní fázi RAG.

Trénování a jazykové pokrytí

Karta modelu dokumentuje slabě supervidované kontrastivní předtrénování následované supervidovaným dolaďováním. Vícejazyčná příprava zahrnuje materiál, jako jsou dvojice název–pasáž, konverzační dvojice a dvojice překladů, zatímco označená data vyhledávání a porozumění jazyku slouží pozdější fázi. To vysvětluje zamýšlené úlohy reprezentace textu, aniž by to dokládalo stejný výkon v každém jazyce.

Výrobce výslovně označuje pokles výkonu u jazyků s malými zdroji dat za omezení. Kontrolujte skutečné jazyky a formulace v kolekci, včetně zkratek, názvů a odborné slovní zásoby. Vícejazyčné označení je užitečným popisem rozsahu; relevanci vráceného textu je stále třeba posoudit podle publika a úlohy.

Délka a užitečné výsledky

Dlouhý vstup se zkracuje nejvýše na 512 tokenů. Připravte dlouhý dokument jako ucelené pasáže s prefixem role a relevantními nadpisy. Definice a upřesnění zachovejte vedle tvrzení, které ovlivňují, a identifikátor nadřazeného dokumentu i verzi zdroje udržujte mimo vektor.

Výrobce doporučuje zaměřit se na relativní pořadí kosinových skóre, místo chápání absolutní hodnoty jako univerzální míry jistoty. Užitečným výsledkem je sada kandidátních pasáží, porovnatelné textové reprezentace nebo příznaky spojené s původními záznamy. Tento přesný model zůstává oddělený od pouze anglických checkpointů E5 v2 a variant E5 doladěných na instrukcích, i když jiný model také vrací 1024 hodnot.