Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B je 8B model Qwen na tvorbu textových embeddingov, vytvorený z hustého základného modelu Qwen3. Reprezentuje text číselnými vektormi namiesto generovania konverzačných odpovedí. Qwen medzi podporovanými oblasťami použitia uvádza vyhľadávanie textu, vyhľadávanie kódu, klasifikáciu, zhlukovanie a vyhľadávanie paralelných dvojjazyčných textov. Vyhľadávací systém môže tieto vektory použiť na porovnanie otázky s relevantnými pasážami; zbierka dokumentov ich môže použiť na hľadanie sémanticky súvisiaceho materiálu alebo usporiadanie záznamov do skupín.

Presne tento model podporuje dĺžku sekvencie 32K tokenov a embeddingy s najviac 4 096 rozmermi. Podporuje aj používateľom definovaný počet rozmerov výstupu od 32 do 4 096 prostredníctvom Matryoshka Representation Learning. Dĺžka vektora je preto vedomým návrhovým rozhodnutím: kratší vektor mení veľkosť reprezentácie, zatiaľ čo úplný výstup zachováva maximálnu rozmernosť modelu. Zachovajte zvolený počet rozmerov konzistentne pre dokumenty a otázky porovnávané v jednom indexe. Qwen3-Embedding-4B je samostatné vydanie s odlišným maximálnym počtom rozmerov, nie zameniteľný zdroj vektorov pre existujúcu zbierku 8B.

Výrobca opisuje podporu viac než 100 jazykov vrátane programovacích jazykov a viacjazyčné, medzijazykové vyhľadávanie aj vyhľadávanie kódu. Praktická zbierka môže obsahovať dokumenty vo viacerých jazykoch, pričom otázky hľadajú relevantný význam, alebo pasáže zdrojového kódu indexované pre otázku v prirodzenom jazyku. Zachovajte vo vstupe dôležité identifikátory, názvy a odborné termíny. Pri kóde ponechajte s úryvkom aj okolité vysvetlenie funkcie alebo modulu, ak je tento kontext súčasťou otázky. Výstup zostáva vektorovou reprezentáciou; vrátenie textu nájdeného dokumentu je ďalším krokom vyhľadávacej aplikácie.

Model zohľadňuje pokyny. Qwen odporúča jednovetný pokyn prispôsobený úlohe vyhľadávania a pri viacjazyčnom použití odporúča napísať tento pokyn v angličtine. Jeho priamy príklad formátuje otázku pomocou Instruct: nasledovaného opisom úlohy a Query: nasledovaného otázkou. Dokumenty na vyhľadávanie v tomto príklade nepotrebujú rovnaký prefix pokynu. Vhodné pôvodné zadanie môže opisovať hľadanie technických pasáží vysvetľujúcich chybu používateľa a potom vložiť konkrétny opis chyby do otázky. Pokyn opisuje, aký druh sémantického vzťahu by malo vyhľadávanie uprednostniť.

Príklady Qwen kódujú otázky a dokumenty oddelene, porovnávajú ich vektory pomocou kosínusovej podobnosti a ukazujú postup na nižšej úrovni, ktorý používa skrytý stav posledného tokenu a normalizuje embedding pred porovnaním skalárnym súčinom. Užitočný pracovný postup ponecháva vektor každej pasáže pripojený k identifikátoru jej zdroja, porovná pripravenú otázku s uloženými vektormi a vráti príslušné pasáže v poradí podobnosti. Nastavenie orezania na 8 192 tokenov v príklade je zvoleným nastavením spracovania vstupu, odlišným od dokumentovanej dĺžky sekvencie modelu 32K. Pri príprave dlhých vstupov preskúmajte, čo sa zachová.

Modely embeddingov a modely na preusporiadanie výsledkov sú rôzne komponenty vydania Qwen. Model embeddingov reprezentuje jeden textový segment a umožňuje počiatočné vyhľadávanie podľa podobnosti. Samostatný model na preusporiadanie vyhodnocuje vzťah medzi otázkou a kandidátskymi pasážami a môže spresniť ich poradie. Qwen opisuje kombináciu oboch modulov, no samotný Qwen3-Embedding-8B vracia embeddingy, nie hodnotenie relevantnosti od modelu na preusporiadanie ani písomnú odpoveď. Pri vyhľadávaní nasledovanom odpoveďou zachovajte nájdený zdrojový text a odovzdajte tieto podklady do fázy odpovedania. Vyberte a konzistentne zachovávajte model, počet rozmerov a pokyn pre otázku pre prehľadávanú zbierku.