Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B to edycja 4B do embeddingów tekstu w rodzinie modeli embeddingów i rerankingu Qwen. Zbudowana na gęstym modelu bazowym Qwen3, zamienia segment tekstu w liczbową reprezentację jego znaczenia. Qwen wskazuje wyszukiwanie tekstu, wyszukiwanie kodu, klasyfikację, grupowanie i wydobywanie tekstów równoległych jako obszary zastosowań. Model jest przydatny, gdy aplikacja musi znajdować powiązane fragmenty, grupować podobne rekordy lub porównywać teksty między językami. Jego wynikiem jest wektor embeddingu, a nie odpowiedź w rozmowie czy przepisany dokument.

Ta konkretna edycja ma długość sekwencji 32K tokenów i wymiar embeddingu do 2 560. Obsługuje konfigurowalne wymiary wyjściowe od 32 do 2 560 dzięki Matryoshka Representation Learning. Wybrana długość wektora wpływa na przechowywanie i porównywanie reprezentacji, dlatego zachowaj ją spójną między wektorami zapytań i dokumentów w jednym zbiorze. Qwen3-Embedding-8B ma inny rozmiar modelu i maksimum 4 096 wymiarów; ani ten rozmiar wyjścia, ani tożsamość modelu 8B nie przenoszą się na edycję 4B. Istniejący indeks powinien zachować własne, spójne ustawienia reprezentacji.

Producent opisuje obsługę ponad 100 języków, w tym języków programowania, wraz z wyszukiwaniem wielojęzycznym, międzyjęzykowym i wyszukiwaniem kodu. Przykładowa wyszukiwarka centrum pomocy może porównać pytanie użytkownika z fragmentami napisanymi w kilku językach, a następnie zwrócić oryginalne fragmenty pasujące do tematu. Wyszukiwanie kodu może porównywać opis w języku naturalnym z odpowiednimi funkcjami i ich dokumentacją. Przygotowując tekst, zachowaj znaczące nagłówki, terminy dziedzinowe i identyfikatory oraz powiązanie każdego reprezentowanego fragmentu ze źródłem, aby aplikacja mogła pokazać dopasowany materiał.

Qwen3-Embedding-4B uwzględnia instrukcje. Qwen zaleca dodanie do każdego zapytania jednozdaniowego opisu zadania, dopasowanego do zamierzonej relacji wyszukiwania, oraz stosowanie instrukcji w języku angielskim w scenariuszach wielojęzycznych. Bezpośredni przykład umieszcza Instruct: przed opisem zadania i Query: przed tekstem zapytania. Dokumenty do wyszukiwania są kodowane bez tej instrukcji zapytania. Praktyczna, własna instrukcja może określać wyszukanie fragmentów dokumentacji wyjaśniających zgłoszony błąd lub fragmentów kodu źródłowego implementujących opisane zachowanie. Ukierunkowuje to reprezentację na pytanie aplikacji, zamiast prosić model o napisanie odpowiedzi.

Oficjalne przykłady kodują teksty zapytań i dokumentów, porównują ich embeddingi za pomocą podobieństwa cosinusowego oraz pokazują agregację stanu ukrytego ostatniego tokenu z następującą po niej normalizacją. W tym przykładzie niższego poziomu wejście jest obcinane przy wybranym ustawieniu 8 192 tokenów; udokumentowana długość sekwencji modelu pozostaje 32K. Przy długim materiale zdecyduj, które fragmenty reprezentować, i upewnij się, że obcięcie nie odrzuca po cichu części potrzebnej zapytaniu. Przechowuj wektory ze stabilnymi odwołaniami do źródeł, porównuj przygotowane zapytanie ze zbiorem i zwracaj powiązane fragmenty w kolejności podobieństwa.

Model embeddingów Qwen stosuje podejście dual-encoder, podczas gdy osobne modele rerankingu używają cross-encodera do oceny par zapytanie–dokument. Publikacja opisuje wspólne wykorzystanie tych modułów: embeddingi znajdują początkowych kandydatów, a reranker może następnie doprecyzować ich kolejność. Sam Qwen3-Embedding-4B dostarcza reprezentację pojedynczego tekstu. Jego wektor nie jest oceną rerankera, zweryfikowanym stwierdzeniem ani wygenerowaną odpowiedzią. Jeśli końcowy proces odpowiada na pytania na podstawie wyszukanego materiału, wybrane fragmenty źródłowe pozostają podstawą przekazywaną do tego późniejszego etapu.