Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B je Qwenov besedilni model vektorskih vložitev velikosti 8B, zgrajen na gostem osnovnem modelu Qwen3. Besedilo predstavi kot numerične vektorje, namesto da ustvarja pogovorne odgovore. Qwen med podprtimi področji uporabe navaja iskanje besedil, iskanje kode, klasifikacijo, gručenje in pridobivanje vzporednih besedil. Iskalni sistem lahko s temi vektorji primerja vprašanje z ustreznimi odlomki; zbirka dokumentov jih lahko uporablja za iskanje pomensko povezanega gradiva ali razporejanje zapisov v skupine.

Ta konkretni model podpira zaporedja dolžine 32K žetonov in vložitve z največ 4096 dimenzijami. Z Matryoshka Representation Learning podpira tudi uporabniško določene izhodne dimenzije od 32 do 4096. Dolžina vektorja je zato premišljena oblikovalska izbira: krajši vektor spremeni velikost predstavitve, polni izhod pa ohrani največjo dimenzijo modela. Izbrano dimenzijo dosledno uporabljajte za dokumente in poizvedbe, primerjane v enem indeksu. Qwen3-Embedding-4B je ločena različica z drugačno največjo dimenzijo, ne zamenljiv vir vektorjev za obstoječo zbirko 8B.

Proizvajalec opisuje podporo za več kot 100 jezikov, vključno s programskimi jeziki, ter večjezično, medjezikovno iskanje in iskanje kode. Praktična zbirka lahko vsebuje dokumente v več jezikih, poizvedbe pa iščejo ustrezni pomen, ali pa vsebuje odlomke izvorne kode, indeksirane za vprašanje v naravnem jeziku. V vhodu ohranite pomembne identifikatorje, naslove in področno terminologijo. Pri kodi ohranite razlago v okolici funkcije ali modula z izsekom, kadar je ta kontekst del vprašanja. Izhod ostaja vektorska predstavitev; vračanje besedila ustreznega dokumenta je naslednji korak iskalne aplikacije.

Model upošteva navodila. Qwen priporoča enostavčno navodilo, prilagojeno iskalni nalogi, za večjezično uporabo pa priporoča zapis tega navodila v angleščini. Neposredni primer poizvedbo oblikuje z Instruct:, ki mu sledi opis naloge, in Query:, ki mu sledi vprašanje. Dokumenti za iskanje v tem primeru ne potrebujejo iste predpone navodila. Ustrezno izvirno zadano navodilo lahko opiše iskanje tehničnih odlomkov, ki pojasnjujejo uporabnikovo napako, nato pa v poizvedbo umesti konkretni opis napake. Navodilo opisuje vrsto semantične povezave, ki naj ji iskanje daje prednost.

Qwenovi primeri ločeno kodirajo poizvedbe in dokumente, njihove vektorje primerjajo s kosinusno podobnostjo ter prikazujejo postopek na nižji ravni, ki za združevanje uporabi skrito stanje zadnjega žetona in vložitev normalizira pred primerjavo s skalarnim produktom. Uporaben postopek ohrani vektor vsakega odlomka povezan z identifikatorjem vira, pripravljeno poizvedbo primerja s shranjenimi vektorji in ustrezne odlomke vrne po vrstnem redu podobnosti. Nastavitev krajšanja na 8192 žetonov v primeru je izbrana nastavitev obdelave vhoda, ločena od dokumentirane dolžine zaporedja modela 32K. Pri pripravi dolgih vhodov preverite, kaj se ohrani.

Modeli vektorskih vložitev in modeli za ponovno razvrščanje so različne komponente Qwenove izdaje. Model vložitev predstavi en besedilni segment in omogoči začetno iskanje po podobnosti. Ločen model za ponovno razvrščanje oceni povezavo med poizvedbo in kandidatnimi odlomki ter lahko izboljša njihov vrstni red. Qwen opisuje združevanje obeh modulov, vendar Qwen3-Embedding-8B sam vrača vložitve, ne presoje relevantnosti modela za ponovno razvrščanje ali pisnega odgovora. Za iskanje, ki mu sledi odgovor, ohranite najdeno izvorno besedilo in to dokazno gradivo posredujte stopnji odgovarjanja. Za zbirko, po kateri iščete, izberite ter ohranite dosleden model, dimenzijo in navodilo poizvedbe.