Intfloat: E5-Base-v2

E5-Base-v2 to angielski model osadzeń intfloat z dwunastoma warstwami i reprezentacją o 768 wymiarach. Zamienia przygotowany tekst w jeden wektor liczbowy do wyszukiwania, porównania semantycznego lub wykorzystania jako cechy w innym zadaniu. Punkt kontrolny Base v2 jest odrębny od wydania Large v2 z dwudziestoma czterema warstwami i 1024 wymiarami oraz osobno trenowanych wielojęzycznych modeli E5.

Używaj prefiksów ról z treningu

E5 oczekuje roli na początku wejścia. W wyszukiwaniu fragmentów pytanie zaczyna się od „query:”, a źródło mogące zawierać odpowiedź — od „passage:”. Producent zaleca „query:” po obu stronach w zadaniach symetrycznych, takich jak podobieństwo semantyczne i wyszukiwanie parafraz. Zaleca ten prefiks również wtedy, gdy wektory będą cechami do grupowania lub klasyfikacji.

Na przykład zbiór opinii może zawierać kilka różnie sformułowanych próśb o to samo ulepszenie. Zakoduj te rekordy z zalecanym przygotowaniem symetrycznym, a następnie porównuj lub grupuj wynikowe wektory. Zachowaj oryginalne sformułowania i identyfikator rekordu z każdą reprezentacją, aby grupę można było zbadać jako rzeczywiste wiadomości klientów zamiast niewyjaśnionego zbioru liczb.

Dla zbioru wyszukiwawczego przygotuj pytania i fragmenty źródłowe w odpowiadających im rolach. Użyteczne zapytanie to „query: Which setting changes the notification frequency?” Fragment korpusu zachowuje wyjaśnienie i istotne warunki. Prefiks jest częścią przygotowania używanego w treningu modelu; producent zauważa, że jego pominięcie obniża wyniki.

Agreguj i porównuj reprezentację

Oficjalny przykład oblicza średnią reprezentacji tokenów z uwzględnieniem maski uwagi i wykluczeniem dopełnienia, a następnie normalizuje wynikowy wektor. Iloczyn skalarny znormalizowanych osadzeń daje podobieństwo cosinusowe. 768 wartości wyjściowych opisuje jeden tekst; nie są odpowiedzią, etykietą klasy ani oceną rerankera dla pary tekstów.

W procesie grupowania inny etap tworzy grupy z tych wektorów. W procesie klasyfikacji inny etap używa ich jako cech wejściowych. Zachowanie tego rozróżnienia ułatwia interpretację wyniku: osadzenie reprezentuje rekord, a zadanie dalszego etapu określa grupę lub etykietę. Dla porównywanych reprezentacji konsekwentnie używaj jednego modelu i konwencji przygotowania.

Pracuj w języku angielskim i w 512 tokenach

Karta modelu podaje, że to wydanie działa tylko dla angielskiego i przycina długi tekst do maksymalnie 512 tokenów. Przygotuj spójne fragmenty mieszczące się w tym zakresie, wraz z wymaganym prefiksem roli. Długą recenzję, raport lub podręcznik należy podzielić według znaczących sekcji, zamiast osadzać jako zbyt duże wejście, którego końcówka zostaje utracona.

Zachowaj nagłówek ze zdaniami, które wprowadza, i warunek lub wyjątek zmieniający znaczenie reguły. Dla krótkich rekordów, takich jak opinie, zachowaj pełną wiadomość, jeśli się mieści. Identyfikator źródła i wersja przechowywane obok wektora pozwalają późniejszej aktualizacji zbioru zastąpić właściwy rekord.

Interpretuj podobieństwo zgodnie z zadaniem

Producent wyjaśnia, że względna kolejność ocen cosinusowych jest ważniejsza od wartości bezwzględnej. Próg filtrowania należy ocenić na własnych przykładach zbioru, a podobieństwo wektorów nie jest skalibrowanym prawdopodobieństwem pasującej etykiety lub poprawnej odpowiedzi. Analizuj pobliskie rekordy i znane niedopasowania, decydując o sposobie użycia wektorów.

Użyteczny rezultat to angielski indeks wyszukiwania, zbiór porównań semantycznych lub liczbowe cechy tekstowe sparowane z rekordami źródłowymi. Ten profil Base v2 dostarcza własne wymiary, agregację i przygotowanie ról; kształt wektora lub pokrycie języków innego wydania E5 nie dowodzą wymienności reprezentacji.