Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B adalah edisi embedding teks 4B dalam keluarga embedding dan reranking Qwen. Dibangun di atas model fondasi dense Qwen3, model ini mengubah segmen teks menjadi representasi numerik dari maknanya. Qwen menyebut pencarian teks, pencarian kode, klasifikasi, pengelompokan, dan penambangan teks paralel sebagai bidang penerapannya. Model ini berguna ketika aplikasi perlu menemukan bagian teks yang berkaitan, mengelompokkan catatan yang mirip, atau membandingkan teks lintas bahasa. Keluaran model berupa vektor embedding, bukan respons percakapan atau dokumen yang ditulis ulang.

Edisi ini memiliki panjang urutan 32K token dan dimensi embedding hingga 2.560. Model ini mendukung dimensi keluaran yang dapat disesuaikan dari 32 hingga 2.560 melalui Matryoshka Representation Learning. Panjang vektor yang dipilih memengaruhi cara representasi disimpan dan dibandingkan, jadi pertahankan panjang yang konsisten antara vektor kueri dan dokumen dalam satu koleksi. Qwen3-Embedding-8B memiliki ukuran model berbeda dan dimensi maksimum 4.096; ukuran keluaran maupun identitas model 8B tersebut tidak berlaku untuk edisi 4B ini. Indeks yang sudah ada perlu mempertahankan pilihan representasinya secara konsisten.

Produsen menjelaskan dukungan untuk lebih dari 100 bahasa, termasuk bahasa pemrograman, dengan pencarian multibahasa, lintas bahasa, dan kode. Sebagai contoh, pencarian pusat bantuan dapat membandingkan pertanyaan pengguna dengan bagian teks yang ditulis dalam beberapa bahasa, lalu mengembalikan bagian asli yang sesuai dengan topiknya. Pencarian kode dapat membandingkan deskripsi bahasa alami dengan fungsi yang relevan beserta dokumentasinya. Pertahankan judul yang bermakna, istilah bidang, dan pengenal saat menyiapkan teks, serta hubungkan setiap bagian yang direpresentasikan dengan sumbernya agar aplikasi dapat menampilkan materi yang cocok.

Qwen3-Embedding-4B memperhitungkan instruksi. Qwen menyarankan agar setiap kueri diberi deskripsi tugas satu kalimat yang disesuaikan dengan hubungan pencarian yang dimaksud, dan menyarankan instruksi bahasa Inggris untuk skenario multibahasa. Contoh langsungnya menempatkan Instruct: sebelum deskripsi tugas dan Query: sebelum teks kueri. Dokumen pencariannya dikodekan tanpa instruksi kueri tersebut. Instruksi buatan sendiri yang praktis dapat menentukan pencarian bagian dokumentasi yang menjelaskan kesalahan yang dilaporkan atau cuplikan kode sumber yang menerapkan perilaku yang dijelaskan. Dengan demikian, representasi diarahkan pada pertanyaan aplikasi, bukan meminta model menulis jawaban.

Contoh resmi mengodekan teks kueri dan dokumen, membandingkan embedding-nya menggunakan kemiripan kosinus, serta memperagakan pooling status tersembunyi token terakhir yang diikuti normalisasi. Dalam contoh tingkat rendah tersebut, masukan dipotong pada pengaturan 8.192 token yang dipilih; panjang urutan model yang didokumentasikan tetap 32K. Untuk materi panjang, tentukan bagian yang akan direpresentasikan dan pastikan pemotongan tidak diam-diam membuang bagian yang diperlukan kueri. Simpan vektor dengan referensi sumber yang stabil, bandingkan kueri yang sudah disiapkan dengan koleksi, lalu kembalikan bagian terkait menurut urutan kemiripannya.

Model embedding Qwen menggunakan pendekatan dual-encoder, sedangkan model reranking-nya yang terpisah menggunakan cross-encoder untuk menilai pasangan kueri-dokumen. Penjelasan rilis menguraikan penggunaan modul-modul tersebut bersama-sama: embedding menemukan kandidat awal, lalu reranker dapat menyempurnakan urutannya. Qwen3-Embedding-4B sendiri menyediakan representasi satu teks. Vektornya bukan skor reranker, pernyataan yang telah diverifikasi, atau jawaban yang dihasilkan. Jika alur kerja akhir menjawab pertanyaan berdasarkan materi yang ditemukan, bagian sumber yang dipilih tetap menjadi bukti yang diteruskan ke tahap selanjutnya.