Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B – 4B tekstinių įterpinių versija Qwen įterpinių ir pakartotinio reitingavimo modelių šeimoje. Sukurta tankiojo bazinio Qwen3 modelio pagrindu, ji teksto segmentą paverčia skaitiniu jo prasmės atvaizdu. Qwen taikymo sritimis įvardija teksto paiešką, kodo paiešką, klasifikavimą, grupavimą į klasterius ir lygiagrečių tekstų porų paiešką. Modelis naudingas, kai programai reikia rasti susijusias ištraukas, sugrupuoti panašius įrašus ar palyginti tekstus skirtingomis kalbomis. Jo išvestis yra įterpinio vektorius, o ne pokalbio atsakymas ar perrašytas dokumentas.

Konkreti versija turi 32K žetonų sekos ilgį ir iki 2 560 įterpinio matmenų. Naudojant Matryoshka Representation Learning, išvesties matmenų skaičių galima pasirinkti nuo 32 iki 2 560. Pasirinktas vektoriaus ilgis lemia jo atvaizdo saugojimą ir palyginimą, todėl viename rinkinyje išlaikykite tą patį užklausų ir dokumentų vektorių ilgį. Qwen3-Embedding-8B turi kitokį modelio dydį ir daugiausia 4 096 matmenis; nei toks išvesties dydis, nei 8B modelio tapatybė neperkeliami šiai 4B versijai. Esamas indeksas turėtų išlaikyti savo nuoseklius atvaizdavimo pasirinkimus.

Gamintojas aprašo daugiau kaip 100 kalbų, įskaitant programavimo kalbas, palaikymą, daugiakalbę, tarpkalbinę ir kodo paiešką. Pavyzdžiui, paieška pagalbos centre gali palyginti naudotojo klausimą su keliomis kalbomis parašytomis ištraukomis ir grąžinti temą atitinkančias originalias ištraukas. Kodo paieška gali palyginti aprašymą natūralia kalba su atitinkamomis funkcijomis ir jų dokumentacija. Rengdami tekstą išsaugokite prasmingas antraštes, dalykinius terminus ir identifikatorius, o kiekvieną vektoriumi atvaizduotą ištrauką susiekite su šaltiniu, kad programa galėtų parodyti atitinkamą medžiagą.

Qwen3-Embedding-4B atsižvelgia į instrukcijas. Qwen rekomenduoja kiekvieną užklausą papildyti vieno sakinio užduoties aprašymu, pritaikytu norimam paieškos ryšiui, o daugiakalbiams scenarijams rekomenduoja instrukcijas anglų kalba. Tiesioginiame pavyzdyje Instruct: rašoma prieš užduoties aprašymą, o Query: – prieš užklausos tekstą. Paieškos dokumentai koduojami be šios užklausos instrukcijos. Praktinė savarankiškai suformuluota instrukcija gali nurodyti rasti dokumentacijos ištraukas, paaiškinančias praneštą klaidą, arba pradinio kodo ištraukas, įgyvendinančias aprašytą veikimą. Taip atvaizdavimas nukreipiamas į programos klausimą, užuot prašius modelio parašyti atsakymą.

Oficialūs pavyzdžiai koduoja užklausų ir dokumentų tekstus, lygina jų įterpinius pagal kosinuso panašumą ir demonstruoja pooling operaciją su paskutinio žetono paslėptąja būsena bei po jos atliekamą normalizavimą. Tame žemesnio lygmens pavyzdyje įvestis trumpinama pagal pasirinktą 8 192 žetonų nustatymą; dokumentuotas modelio sekos ilgis lieka 32K. Dirbdami su ilga medžiaga nuspręskite, kurias ištraukas atvaizduoti, ir įsitikinkite, kad trumpinimas nepastebimai nepašalina užklausai reikalingos dalies. Vektorius saugokite su stabiliomis nuorodomis į šaltinius, parengtą užklausą lyginkite su rinkiniu ir grąžinkite susietas ištraukas panašumo tvarka.

Qwen įterpinių modelis naudoja dual-encoder metodą, o atskiri pakartotinio reitingavimo modeliai naudoja cross-encoder užklausos ir dokumento poroms įvertinti. Pristatyme aprašomas šių modulių naudojimas kartu: įterpiniai randa pradinius kandidatus, o pakartotinio reitingavimo modelis gali patikslinti jų eilę. Pats Qwen3-Embedding-4B pateikia vieno teksto atvaizdą. Jo vektorius nėra reitingavimo balas, patikrintas teiginys ar sugeneruotas atsakymas. Jei galutinis procesas atsako į klausimus pagal surastą medžiagą, pasirinktos šaltinių ištraukos lieka įrodymais, perduodamais tam vėlesniam etapui.