Qwen: Qwen3 Embedding 8B

Qwen3-Embedding-8B yra Qwen 8B tekstinių įterpinių modelis, sukurtas iš tankiojo pamatinio Qwen3 modelio. Jis atvaizduoja tekstą skaitiniais vektoriais, užuot generavęs pokalbio atsakymus. Qwen tarp palaikomų taikymo sričių nurodo teksto paiešką, kodo paiešką, klasifikavimą, klasterizavimą ir lygiagrečių tekstų paiešką. Paieškos sistema gali naudoti šiuos vektorius klausimui palyginti su susijusiomis ištraukomis; dokumentų rinkinyje jie gali padėti rasti semantiškai susijusią medžiagą ar suskirstyti įrašus į grupes.

Šis konkretus modelis palaiko 32K žetonų sekos ilgį ir įterpinius iki 4 096 matmenų. Per Matryoshka Representation Learning jis taip pat palaiko naudotojo nustatomą išvesties matmenų skaičių nuo 32 iki 4 096. Taigi vektoriaus ilgis yra sąmoningas projektavimo pasirinkimas: trumpesnis vektorius keičia atvaizdavimo dydį, o visa išvestis išlaiko didžiausią modelio matmenų skaičių. Viename indekse lyginamiems dokumentams ir užklausoms išlaikykite tą patį pasirinktą matmenų skaičių. Qwen3-Embedding-4B yra atskira laida su kitu maksimaliu matmenų skaičiumi, o ne pakeičiamas vektorių šaltinis esamam 8B rinkiniui.

Gamintojas aprašo daugiau nei 100 kalbų, įskaitant programavimo kalbas, palaikymą ir daugiakalbę, tarpkalbinę bei kodo paiešką. Praktiniame rinkinyje gali būti dokumentų keliomis kalbomis, o užklausos ieško susijusios prasmės, arba šaltinio kodo ištraukų, indeksuotų natūralios kalbos klausimui. Įvestyje išlaikykite svarbius identifikatorius, pavadinimus ir srities terminus. Kodo atveju kartu su ištrauka išlaikykite funkcijos ar modulio paaiškinimą, jei tas kontekstas yra klausimo dalis. Išvestis lieka vektoriniu atvaizdavimu; atitikusių dokumentų teksto grąžinimas yra kitas paieškos programos žingsnis.

Modelis atsižvelgia į instrukcijas. Qwen rekomenduoja vieno sakinio instrukciją, pritaikytą paieškos užduočiai, o daugiakalbio naudojimo atveju rekomenduoja ją rašyti anglų kalba. Tiesioginiame pavyzdyje užklausa formuojama su Instruct: ir po jo pateikiamu užduoties aprašymu bei Query: ir po jo pateikiamu klausimu. Tame pavyzdyje paieškos dokumentams nereikia tokio paties instrukcijos prefikso. Tinkamas originalus užduoties aprašymas galėtų nurodyti rasti technines ištraukas, paaiškinančias naudotojo klaidą, o konkretus klaidos aprašymas būtų įrašytas užklausoje. Instrukcija apibūdina, kokiam semantiniam ryšiui paieška turėtų teikti pirmenybę.

Qwen pavyzdžiuose užklausos ir dokumentai koduojami atskirai, jų vektoriai lyginami naudojant kosinuso panašumą ir rodoma žemesnio lygmens procedūra, kuri iš paskutinio žetono paslėptosios būsenos sudaro atvaizdavimą bei normalizuoja įterpinį prieš skaliarinės sandaugos palyginimą. Naudinga darbo eiga kiekvienos ištraukos vektorių susieja su jo šaltinio identifikatoriumi, lygina parengtą užklausą su išsaugotais vektoriais ir grąžina atitinkamas ištraukas panašumo tvarka. Pavyzdžio 8 192 žetonų nukirpimo nuostata yra pasirinkta įvesties apdorojimo nuostata, besiskirianti nuo dokumentuoto modelio 32K sekos ilgio. Rengdami ilgas įvestis peržiūrėkite, kas išlaikoma.

Įterpinių ir pakartotinio reitingavimo modeliai yra skirtingi Qwen laidos komponentai. Įterpinių modelis atvaizduoja vieną teksto segmentą ir leidžia atlikti pradinę panašumo paiešką. Atskiras pakartotinio reitingavimo modelis įvertina užklausos ir kandidatinių ištraukų ryšį bei gali patikslinti jų tvarką. Qwen aprašo abiejų modulių derinimą, tačiau pats Qwen3-Embedding-8B grąžina įterpinius, o ne pakartotinio reitingavimo modelio aktualumo vertinimą ar rašytinį atsakymą. Kai po paieškos teikiamas atsakymas, išlaikykite atitikusį šaltinio tekstą ir perduokite tą medžiagą atsakymo etapui. Pasirinkite ir paieškos rinkiniui nuosekliai išlaikykite modelį, matmenų skaičių ir užklausos instrukciją.