Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B to model embeddingów tekstowych Qwen o rozmiarze 8B, zbudowany na bazie gęstego modelu podstawowego Qwen3. Reprezentuje tekst jako wektory liczbowe zamiast generować odpowiedzi konwersacyjne. Qwen wymienia wyszukiwanie tekstu, wyszukiwanie kodu, klasyfikację, grupowanie i wydobywanie par tekstów równoległych wśród obsługiwanych obszarów zastosowania. System wyszukiwania może korzystać z tych wektorów, aby porównywać pytanie z istotnymi fragmentami; zbiór dokumentów może używać ich do znajdowania semantycznie powiązanego materiału lub organizowania rekordów w grupy.

Dokładny model obsługuje sekwencję o długości 32K tokenów i embeddingi do 4 096 wymiarów. Obsługuje też wymiary wyjścia określone przez użytkownika od 32 do 4 096 przez Matryoshka Representation Learning. Sprawia to, że długość wektora jest świadomą decyzją projektową: krótszy wektor zmienia rozmiar reprezentacji, podczas gdy pełne wyjście zachowuje maksymalną wymiarowość modelu. Zachowuj spójność wybranego wymiaru dla dokumentów i zapytań porównywanych w jednym indeksie. Qwen3-Embedding-4B jest osobną edycją o innym maksymalnym wymiarze, a nie zamiennym źródłem wektorów dla istniejącego zbioru 8B.

Producent opisuje obsługę ponad 100 języków, w tym języków programowania, oraz wyszukiwanie wielojęzyczne, międzyjęzykowe i kodu. Praktyczny zbiór może zawierać dokumenty w kilku językach, podczas gdy zapytania szukają istotnego znaczenia, lub fragmenty kodu źródłowego zaindeksowane pod pytanie w języku naturalnym. Zachowaj ważne identyfikatory, tytuły i terminy dziedzinowe w danych wejściowych. Dla kodu utrzymuj opis otaczający funkcję lub moduł wraz z fragmentem, gdy ten kontekst jest częścią pytania. Wynik pozostaje reprezentacją wektorową; zwrócenie tekstu dopasowanego dokumentu jest kolejnym krokiem aplikacji wyszukującej.

Model uwzględnia instrukcje. Qwen zaleca jednozdaniową instrukcję dopasowaną do zadania wyszukiwania, a w zastosowaniu wielojęzycznym zaleca zapisanie jej po angielsku. Jego bezpośredni przykład formatuje zapytanie za pomocą Instruct: z opisem zadania oraz Query: z pytaniem. Dokumenty wyszukiwane nie potrzebują w tym przykładzie takiego samego prefiksu instrukcji. Odpowiednie oryginalne polecenie mogłoby opisywać znajdowanie fragmentów technicznych wyjaśniających błąd użytkownika, a następnie umieszczać konkretny opis błędu w zapytaniu. Instrukcja określa rodzaj relacji semantycznej, którą wyszukiwanie powinno preferować.

Przykłady Qwen kodują zapytania i dokumenty osobno, porównują ich wektory za pomocą podobieństwa cosinusowego i pokazują procedurę niższego poziomu, która agreguje stan ukryty ostatniego tokena i normalizuje embedding przed porównaniem przez iloczyn skalarny. Przydatny przepływ zachowuje wektor każdego fragmentu powiązany z jego identyfikatorem źródła, porównuje przygotowane zapytanie z zapisanymi wektorami i zwraca odpowiednie fragmenty w kolejności podobieństwa. Ustawienie obcinania do 8 192 tokenów w przykładzie jest wybranym ustawieniem przetwarzania wejścia, odrębnym od udokumentowanej długości sekwencji modelu 32K. Sprawdź, co zostaje zachowane podczas przygotowywania długich wejść.

Modele embeddingów i ponownego rankingowania są różnymi komponentami wydania Qwen. Model embeddingów reprezentuje jeden segment tekstu i umożliwia wstępne wyszukiwanie podobieństwa. Osobny reranker ocenia relację między zapytaniem a fragmentami kandydackimi i może poprawić ich kolejność. Qwen opisuje łączenie obu modułów, ale sam Qwen3-Embedding-8B zwraca embeddingi, a nie ocenę istotności rerankera czy pisemną odpowiedź. Przy wyszukiwaniu, po którym następuje odpowiedź, zachowaj dopasowany tekst źródłowy i przekaż te dowody do etapu odpowiadania. Wybierz i utrzymuj spójny model, wymiar i instrukcję zapytania dla przeszukiwanego zbioru.