Intfloat: Multilingual-E5-Large

Multilingual-E5-Large to wielojęzyczny model gęstych osadzeń tekstowych intfloat, z dwudziestoma czterema warstwami i wyjściem o 1024 wymiarach. Jest inicjalizowany na podstawie XLM-RoBERTa Large i dalej trenowany na danych wielojęzycznych. Karta modelu opisuje obsługę zakresu stu języków XLM-R, zaznaczając słabsze wyniki dla języków o niewielkich zasobach danych. Jego wektory reprezentują tekst do wyszukiwania, porównania semantycznego i zadań z cechami liczbowymi.

Zachowaj rolę wejścia w każdym języku

Prefiksy używane w treningu to „query:” i „passage:”, również dla tekstu nieangielskiego. Zapytanie wyszukiwawcze i fragmenty jego korpusu korzystają z odpowiadających im ról. Prefiksy pozostają tymi angielskimi ciągami znaków, a źródłowe sformułowania zachowują własny język. Do symetrycznego podobieństwa semantycznego, wyszukiwania parafraz, wydobywania par tekstów dwujęzycznych lub wykorzystania cech producent zaleca „query:”.

Praktyczny zbiór może zawierać dokumentację w kilku obsługiwanych językach. Zachowaj z wektorem każdego fragmentu jego język, oryginalny tekst i lokalizację źródła. Przygotuj rzeczywiste pytania odbiorców, zamiast zakładać, że jeden angielski test reprezentuje cały zbiór. Wyjście powinno zwracać rzeczywisty fragment i jego kontekst, aby czytelnik mógł ocenić jego treść.

W zadaniu dopasowania wielojęzycznego jasno określ cel porównania. Proponowana para tłumaczeń i zapytanie szukające wspierającego fragmentu wymagają różnego przygotowania. Wskazówki modelu dotyczące prefiksów ról dostarczają konkretnej konwencji dla tych zadań; pominięcie prefiksu nie jest udokumentowanym odpowiednikiem, ponieważ zmienia wzorzec wejścia używany podczas treningu.

Agregacja i porównywanie wektorów

Przykład producenta uśrednia reprezentacje tokenów, korzystając z maski uwagi do wykluczenia dopełnienia, a następnie normalizuje wektor. Iloczyny skalarne znormalizowanych wektorów dają podobieństwo cosinusowe. Tablica o 1024 wymiarach reprezentuje jeden przygotowany tekst. Zachowaj powiązanie dokładnego modelu i przygotowania ze składowanymi wektorami, aby późniejsze zapytania używały zgodnej reprezentacji.

Wektory te mogą dostarczać rankingi kandydatów lub cechy do późniejszego etapu grupowania albo klasyfikacji. Nie tłumaczą źródła ani nie piszą odpowiedzi. Zwracaj źródłowy tekst fragmentu, gdy wynik wyszukiwania ma wspierać czytelnika lub późniejszy etap generowania w RAG.

Trening i pokrycie języków

Karta modelu dokumentuje kontrastywne trenowanie wstępne ze słabym nadzorem, po którym następuje nadzorowane dostrajanie. Przygotowanie wielojęzyczne obejmuje materiał taki jak pary tytuł–fragment, pary konwersacyjne i pary tłumaczeń, a oznaczone dane wyszukiwania i rozumienia języka służą późniejszemu etapowi. Wyjaśnia to zamierzone zadania reprezentacji tekstu, nie potwierdzając równych wyników w każdym języku.

Producent wyraźnie wskazuje pogorszenie wyników w językach o niewielkich zasobach jako ograniczenie. Sprawdzaj rzeczywiste języki i sformułowania w zbiorze, w tym skróty, nazwy i słownictwo specjalistyczne. Etykieta wielojęzyczności jest użytecznym opisem zakresu; trafność zwracanego tekstu nadal wymaga oceny dla odbiorców i zadania.

Długość i użyteczne wyniki

Długie wejście jest przycinane do maksymalnie 512 tokenów. Przygotuj obszerny dokument jako spójne fragmenty zawierające prefiks roli i istotne nagłówki. Zachowaj definicje i zastrzeżenia obok twierdzenia, na które wpływają, a identyfikator dokumentu nadrzędnego i wersję źródła przechowuj poza wektorem.

Producent zaleca skupienie się na względnej kolejności ocen cosinusowych, zamiast traktować wartość bezwzględną jako uniwersalną miarę pewności. Użyteczny wynik to zbiór fragmentów kandydujących, porównywalne reprezentacje tekstu lub cechy powiązane z pierwotnymi rekordami. Ten konkretny model pozostaje odrębny od wyłącznie angielskich punktów kontrolnych E5 v2 i wariantów E5 dostrojonych instrukcjami, nawet gdy inny model również zwraca 1024 wartości.