Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B je edícia 4B na tvorbu textových embeddingov v rodine embeddingových a rerankingových modelov Qwen. Vychádza z hustého základného modelu Qwen3 a prevádza textový úsek na číselnú reprezentáciu jeho významu. Qwen medzi oblasti použitia zaraďuje vyhľadávanie textu, vyhľadávanie kódu, klasifikáciu, zhlukovanie a získavanie paralelných textov. Je užitočný, keď aplikácia potrebuje nájsť súvisiace pasáže, zoskupiť podobné záznamy alebo porovnať texty v rôznych jazykoch. Výstupom modelu je embeddingový vektor, nie konverzačná odpoveď ani prepísaný dokument.

Táto konkrétna edícia má dĺžku sekvencie 32K tokenov a až 2 560 rozmerov embeddingu. Pomocou Matryoshka Representation Learning podporuje vlastný počet výstupných rozmerov od 32 do 2 560. Zvolená dĺžka vektora ovplyvňuje ukladanie a porovnávanie reprezentácie, preto ju v jednej kolekcii zachovajte rovnakú pre vektory dopytov aj dokumentov. Qwen3-Embedding-8B má inú veľkosť modelu a maximum 4 096 rozmerov; táto veľkosť výstupu ani identita modelu 8B sa nevzťahujú na edíciu 4B. Existujúci index by si mal zachovať vlastné konzistentné nastavenia reprezentácie.

Výrobca opisuje podporu viac než 100 jazykov vrátane programovacích jazykov a viacjazyčné vyhľadávanie, vyhľadávanie naprieč jazykmi aj vyhľadávanie kódu. Ilustračné vyhľadávanie v centre pomoci môže porovnať otázku používateľa s pasážami napísanými vo viacerých jazykoch a potom vrátiť pôvodné pasáže zodpovedajúce téme. Vyhľadávanie kódu môže porovnať opis v prirodzenom jazyku s relevantnými funkciami a ich dokumentáciou. Pri príprave textu zachovajte významové nadpisy, odborné pojmy a identifikátory a každú reprezentovanú pasáž ponechajte prepojenú so zdrojom, aby aplikácia mohla zobraziť zodpovedajúci materiál.

Qwen3-Embedding-4B zohľadňuje pokyny. Qwen odporúča pri každom dopyte pridať opis úlohy v jednej vete prispôsobený zamýšľanému vzťahu pri vyhľadávaní; pre viacjazyčné scenáre odporúča pokyny v angličtine. Priamy príklad umiestňuje Instruct: pred opis úlohy a Query: pred text dopytu. Vyhľadávané dokumenty sa kódujú bez tohto pokynu pre dopyt. Praktický vlastný pokyn môže určiť vyhľadanie pasáží dokumentácie, ktoré vysvetľujú nahlásenú chybu, alebo úryvkov zdrojového kódu, ktoré implementujú opísané správanie. Reprezentácia sa tak zameria na otázku aplikácie namiesto požiadavky, aby model napísal odpoveď.

Oficiálne príklady kódujú texty dopytov a dokumentov, porovnávajú ich embeddingy pomocou kosínusovej podobnosti a ukazujú agregáciu skrytého stavu posledného tokenu s následnou normalizáciou. V tomto príklade na nižšej úrovni sa vstup skracuje podľa zvoleného nastavenia 8 192 tokenov; dokumentovaná dĺžka sekvencie modelu zostáva 32K. Pri dlhom materiáli určte, ktoré pasáže chcete reprezentovať, a overte, že skracovanie potichu neodstráni časť potrebnú pre dopyt. Vektory ukladajte so stabilnými odkazmi na zdroje, porovnajte pripravený dopyt s kolekciou a vráťte priradené pasáže v poradí podľa podobnosti.

Embeddingový model Qwen používa prístup s dvoma enkódermi, zatiaľ čo samostatné rerankingové modely používajú krížový enkóder na hodnotenie dvojíc dopyt–dokument. Oznámenie vydania opisuje spoločné použitie týchto modulov: embeddingy nájdu počiatočných kandidátov a reranker potom môže spresniť ich poradie. Samotný Qwen3-Embedding-4B poskytuje reprezentáciu jedného textu. Jeho vektor nie je skóre rerankera, overené tvrdenie ani vygenerovaná odpoveď. Ak výsledný pracovný postup odpovedá na otázky z vyhľadaných materiálov, vybrané zdrojové pasáže zostávajú podkladmi odovzdanými do tejto ďalšej fázy.