Intfloat: Multilingual-E5-Large

A Multilingual-E5-Large az intfloat többnyelvű, sűrű szövegbeágyazási modellje, 24 réteggel és 1024 dimenziós kimenettel. Az XLM-RoBERTa Large modellből inicializálták, majd többnyelvű adatokon tanították tovább. A modellkártya az XLM-R száz nyelvre kiterjedő hatókörének támogatását írja le, és megjegyzi az alacsony erőforrású nyelveken gyengébb teljesítményt. Vektorai szöveget reprezentálnak információ-visszakereséshez, szemantikai összehasonlításhoz és numerikus jellemzőket használó feladatokhoz.

Minden nyelven őrizze meg a bemenet szerepét

A betanított előtagok a „query:” és a „passage:”, nem angol szövegnél is. A keresési lekérdezés és a korpusz szövegrészletei a nekik megfelelő szerepet használják. Az előtagok ezek az angol karakterláncok maradnak, a forrás megfogalmazása pedig megtartja a saját nyelvét. Szimmetrikus szemantikai hasonlósághoz, parafrázis-visszakereséshez, párhuzamos szövegek bányászatához vagy jellemzőként való használathoz a gyártó a „query:” előtagot ajánlja.

Egy gyakorlati gyűjtemény több támogatott nyelven tartalmazhat dokumentációt. Minden szövegrészlet nyelvét, eredeti szövegét és forráshelyét tartsa meg a vektor mellett. A célközönség tényleges keresési kérdéseit készítse elő, ne feltételezze, hogy egyetlen angol teszt az egész gyűjteményt képviseli. A kimenet adja vissza a tényleges szövegrészletet és kontextusát, hogy az olvasó megítélhesse, mit mond.

Többnyelvű megfeleltetési feladatnál legyen világos az összehasonlítás célja. Egy lehetséges fordításpár és egy alátámasztó szövegrészletet kereső lekérdezés eltérő előkészítést igényel. A modell szerepelőtagokra vonatkozó útmutatása konkrét konvenciót ad e feladatokhoz; az előtag elhagyása nem a dokumentált megfelelője, mert megváltoztatja a tanításban használt bemeneti mintát.

Pooling és vektor-összehasonlítás

A gyártó példája figyelmi maszkkal átlagolja a tokenreprezentációkat, kizárva a kitöltő pozíciókat, majd normalizálja a vektort. A normalizált skalárszorzatok koszinuszhasonlóságot adnak. Az 1024 dimenziós tömb egy előkészített szöveget reprezentál. A pontos modellt és az előkészítést tartsa a tárolt vektorokhoz kapcsolva, hogy a későbbi lekérdezések megfelelő reprezentációt használjanak.

Ezek a vektorok jelöltrangsorokat vagy jellemzőket adhatnak egy későbbi klaszterezési vagy osztályozási lépéshez. Nem fordítják le a forrást, és nem fogalmaznak választ. Az alapul szolgáló szövegrészletet adja vissza, ha a visszakeresési eredmény egy olvasót vagy egy későbbi RAG-generálási lépést hivatott támogatni.

Tanítás és nyelvi lefedettség

A modellkártya gyengén felügyelt kontrasztív előtanítást, majd felügyelt finomhangolást dokumentál. A többnyelvű előkészítés olyan anyagokat tartalmaz, mint cím–szövegrészlet-párok, beszélgetéspárok és fordításpárok, míg a későbbi szakaszt címkézett visszakeresési és nyelvmegértési adatok adják. Ez megmagyarázza a tervezett szövegreprezentációs feladatokat, de nem igazol minden nyelven azonos teljesítményt.

A gyártó kifejezetten korlátként nevezi meg az alacsony erőforrású nyelveken jelentkező teljesítményromlást. Ellenőrizze a gyűjtemény tényleges nyelveit és megfogalmazását, beleértve a rövidítéseket, neveket és szakszókincset. A többnyelvű megjelölés hasznos hatóköri leírás; a visszaadott szöveg relevanciáját továbbra is a közönség és a feladat szempontjából kell megvizsgálni.

Hossz és hasznos eredmények

A hosszú bemenet legfeljebb 512 tokenre csonkul. A hosszú dokumentumot összefüggő szövegrészletekként készítse elő, a szerepelőtaggal és releváns címsorokkal együtt. A definíciókat és megszorításokat az érintett állítás mellett őrizze meg, a szülődokumentum azonosítóját és a forrásverziót pedig a vektoron kívül tartsa.

A gyártó a koszinuszpontszámok relatív sorrendjére összpontosítást ajánlja, nem az abszolút érték általános megbízhatósági mérőszámként kezelését. A hasznos eredmény jelölt szövegrészletek készlete, összehasonlítható szövegreprezentációk vagy eredeti rekordjaikhoz kapcsolt jellemzők. Ez a pontos modell különálló marad a kizárólag angol E5 v2 checkpointoktól és az utasításokra finomhangolt E5-változatoktól, akkor is, ha egy másik modell szintén 1024 értéket ad vissza.