Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B je izdaja 4B za besedilne vektorske vložitve v Qwenovi družini modelov za vložitve in ponovno razvrščanje. Zgrajen je na gostem temeljnem modelu Qwen3 in pretvori besedilni segment v številčno predstavitev njegovega pomena. Qwen med področji uporabe navaja iskanje besedila, iskanje kode, razvrščanje, združevanje v skupine in rudarjenje vzporednih besedil. Uporaben je, kadar mora aplikacija najti povezane odlomke, združiti podobne zapise ali primerjati besedila v različnih jezikih. Izhod modela je vektor vložitve, ne pogovorni odgovor ali preoblikovan dokument.

Ta izdaja ima dolžino zaporedja 32K žetonov in največ 2.560 dimenzij vložitve. Z metodo Matryoshka Representation Learning podpira prilagodljivo število izhodnih dimenzij od 32 do 2.560. Izbrana dolžina vektorja vpliva na shranjevanje in primerjavo predstavitve, zato naj bo v eni zbirki enaka za vektorje poizvedb in dokumentov. Qwen3-Embedding-8B ima drugačno velikost modela in največ 4.096 dimenzij; niti ta velikost izhoda niti identiteta modela 8B ne veljata za izdajo 4B. Obstoječi indeks mora ohranjati svoje dosledne izbire predstavitve.

Proizvajalec opisuje podporo za več kot 100 jezikov, vključno s programskimi jeziki, ter večjezično iskanje, iskanje med jeziki in iskanje kode. Primer iskanja v centru za pomoč lahko primerja uporabnikovo vprašanje z odlomki v več jezikih, nato pa vrne izvirne odlomke, ki ustrezajo temi. Iskanje kode lahko primerja opis v naravnem jeziku z ustreznimi funkcijami in njihovo dokumentacijo. Pri pripravi besedila ohranite pomensko pomembne naslove, strokovne izraze in identifikatorje, vsak predstavljeni odlomek pa povežite z virom, da lahko aplikacija prikaže ustrezno gradivo.

Qwen3-Embedding-4B upošteva navodila. Qwen priporoča, da vsaki poizvedbi dodate enostavčni opis naloge, prilagojen predvidenemu razmerju pri iskanju, pri večjezičnih primerih pa priporoča navodila v angleščini. Neposredni primer postavi Instruct: pred opis naloge in Query: pred besedilo poizvedbe. Dokumenti za iskanje so kodirani brez tega navodila za poizvedbo. Praktično navodilo, ki ga sestavite sami, lahko določa iskanje odlomkov dokumentacije, ki pojasnjujejo sporočeno napako, ali odlomkov izvorne kode, ki izvajajo opisano vedenje. Tako usmerite predstavitev k vprašanju aplikacije, namesto da bi od modela zahtevali pisanje odgovora.

Uradni primeri kodirajo besedila poizvedb in dokumentov, primerjajo njihove vložitve s kosinusno podobnostjo ter prikazujejo združevanje skritega stanja zadnjega žetona, ki mu sledi normalizacija. V tem nizkonivojskem primeru je vhod odrezan pri izbrani nastavitvi 8.192 žetonov; dokumentirana dolžina zaporedja modela ostaja 32K. Pri dolgem gradivu določite, katere odlomke boste predstavili, in preverite, da krajšanje brez opozorila ne zavrže dela, ki ga poizvedba potrebuje. Vektorje shranite s stabilnimi sklici na vire, pripravljeno poizvedbo primerjajte z zbirko in vrnite povezane odlomke po vrstnem redu podobnosti.

Qwenov model za vložitve uporablja pristop z dvojnim kodirnikom, njegovi ločeni modeli za ponovno razvrščanje pa z navzkrižnim kodirnikom ocenjujejo pare poizvedba–dokument. Objava izdaje opisuje skupno uporabo teh modulov: vložitve najdejo začetne kandidate, model za ponovno razvrščanje pa lahko nato izboljša njihov vrstni red. Qwen3-Embedding-4B sam zagotavlja predstavitev posameznega besedila. Njegov vektor ni ocena modela za ponovno razvrščanje, preverjena trditev ali ustvarjen odgovor. Če končni postopek odgovarja na vprašanja iz najdenega gradiva, izbrani izvorni odlomki ostajajo dokazi, posredovani naslednji stopnji.