Sentence Transformers: multi-qa-mpnet-base-dot-v1

multi-qa-mpnet-base-dot-v1 adalah model Sentence Transformers yang dirancang untuk menemukan bagian teks bagi pertanyaan atau kueri. Pelatihannya menggunakan sekitar 215 juta pasangan tanya–jawab. Setiap masukan menjadi vektor dense 768 dimensi, dengan pooling CLS dan penilaian hasil kali titik yang menentukan edisi tepat ini.

Siapkan pertanyaan dan bagian kandidat

Tulis kueri sebagai kebutuhan informasi dan siapkan entri korpus sebagai bagian teks yang dapat dibaca. Misalnya, pertanyaan tentang perubahan alamat pengiriman dapat dibandingkan dengan paragraf terpisah tentang perubahan alamat, pembatalan pesanan, dan pelacakan pengiriman. Pertahankan kondisi yang relevan dalam bagian perubahan alamat, termasuk apakah pesanan sudah dikirim.

Kodekan kueri dan bagian teks dengan model yang sama ini. Contoh yang diterbitkan melakukannya langsung, tanpa prefiks query/document, lalu mengurutkan bagian berdasarkan skor hasil kali titiknya. Pertahankan hubungan setiap vektor dengan bagian asli dan pengenal dokumen agar hasil berperingkat dapat menunjukkan materi yang benar-benar diindeks.

Pooling CLS dan edisi hasil kali titik

Resep rujukan model mengambil representasi token pertama, yang dikenal sebagai pooling CLS. Tabel teknisnya secara eksplisit menyatakan bahwa embedding tidak dinormalisasi dan mencantumkan hasil kali titik sebagai fungsi penilaian yang sesuai. Pertahankan resep tersebut saat menyiapkan koleksi dan sisi kueri.

Normalisasi L2 pada vektor ini mengubah geometri penilaiannya. Profil all-mpnet-base-v2 yang dinormalisasi menggunakan resep berbeda dan merupakan checkpoint terpisah, meskipun berbagi keluarga MPNet dan keluaran 768 komponen. Simpan edisi tepat dan fungsi perbandingan bersama koleksi tersimpan alih-alih memilihnya hanya berdasarkan panjang vektor.

Batas panjang dan bagian yang lebih panjang

Batas masukan yang dinyatakan adalah 512 unit word piece; teks lebih panjang dipotong. Pembuat juga mencatat bahwa masukan pelatihan hanya mencapai 250 unit word piece dan teks lebih panjang mungkin bekerja kurang baik. Karena itu, panjang yang diterima tokenizer dan catatan panjang pelatihan menjelaskan batas praktis berbeda.

Untuk artikel bantuan besar, siapkan bagian pendek yang menjawab pertanyaan spesifik. Pertahankan judul ketika mengidentifikasi topik, dan simpan aturan bersama pengecualian yang dibutuhkan untuk membacanya dengan benar. Satu masukan halaman penuh mungkin kehilangan materi berikutnya akibat pemotongan, sedangkan fragmen terlalu kecil dapat kehilangan kondisi yang membuatnya berguna.

Gunakan peringkat dalam temu kembali dan RAG

Vektor dense mendukung tahap awal temu kembali. Kembalikan bagian kandidat berskor tertinggi bersama rujukan sumber, lalu periksa apakah bagian tersebut menjawab pertanyaan sebenarnya. Dalam alur RAG, berikan bagian-bagian itu sebagai materi sumber kepada tahap penulisan jawaban; temu kembali sendiri tidak menyusun jawaban.

Gunakan pertanyaan yang representatif dengan bagian relevan yang diketahui untuk memilih jumlah hasil dan menilai peringkat. Sertakan contoh dengan kosakata serupa tetapi maksud berbeda, seperti mengubah alamat dibanding melihat alamat saat ini. Tafsirkan skor relatif terhadap kandidat di bawah model dan pengaturan penilaian yang sama, bukan sebagai probabilitas kebenaran yang terkalibrasi.

Keluaran berguna checkpoint ini adalah ruang embedding pertanyaan dan bagian teks untuk pencarian semantik. Vektor yang tidak dinormalisasi, pooling CLS, skor hasil kali titik, dan catatan masukan panjang yang diterbitkan merupakan detail yang perlu dipertahankan saat menyiapkan serta menggunakan hasil.