VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite adalah edisi yang berfokus pada latensi dalam seri Rerank 3 Voyage. Model ini menerima kueri teks dan dokumen kandidat, mengevaluasi setiap pasangan kueri-dokumen secara bersamaan, dan mengembalikan skor relevansi dalam urutan peringkat. Model ini melayani tahap kedua pencarian: pengambil informasi berbasis embedding atau kata kunci menemukan kandidat, lalu Lite menyempurnakan urutannya. Hasilnya adalah peringkat untuk digunakan dalam pencarian atau alur kerja retrieval-augmented generation.

Perubahan dalam Rerank 3 Lite Pembuatnya menekankan pengambilan informasi yang lebih kuat pada dokumen panjang dan kode dibandingkan rerank-2.5-lite. Kedua edisi Rerank 3 mempertahankan kepatuhan terhadap instruksi dan kelas konteks 32K yang sama, sedangkan Lite dirancang untuk aplikasi yang sensitif terhadap latensi. Ini menjadikannya kandidat praktis untuk pencarian basis pengetahuan interaktif, pengambilan dokumen dukungan, dan pencarian kode ketika pengguna memerlukan hasil relevan dengan segera. Pilih model berdasarkan persyaratan kualitas dan waktu respons koleksi aktual, alih-alih menganggap edisi yang lebih kecil berarti jendela konteks lebih kecil.

Pandu relevansi melalui kueri Instruksi bahasa alami dapat menyertai kueri untuk menjelaskan apa yang dianggap relevan. Jaga pertanyaan dan preferensi relevansi tetap ringkas dan konsisten. Untuk pencarian dukungan perangkat lunak, gunakan “Temukan prosedur untuk mereset perangkat; prioritaskan instruksi untuk revisi perangkat keras yang disebutkan.” Untuk nama produk yang ambigu, sertakan kategori produk agar makna yang tidak berkaitan tidak mendominasi. Preferensi dalam kueri memandu penilaian semantik; gunakan metadata koleksi yang eksplisit untuk memilih produk, versi dokumen, atau cakupan akses yang benar sebelum menyusun daftar kandidat.

Siapkan daftar pendek kandidat teks Dokumen masukan berupa string. Ekstrak teks yang dapat dibaca dari materi sumber dan pertahankan judul, subjudul, pengidentifikasi, serta konteks di sekitarnya yang berguna. Jaga pemetaan yang stabil dari setiap posisi masukan ke catatan asli. Untuk artikel pemecahan masalah, sertakan gejala dan prosedur yang relevan, bukan hanya kalimat terlepas. Untuk pencarian kode sumber, sertakan fungsi dan informasi di sekitarnya yang diperlukan untuk membedakannya dari fungsi bernama serupa. Hapus navigasi atau teks standar berulang ketika memenuhi ruang yang seharusnya digunakan bagian teks yang berguna.

Reranker hanya dapat mengurutkan ulang dokumen yang diterimanya. Jika pencarian pertama tidak pernah mengambil artikel yang relevan, tahap ini tidak dapat memulihkan kandidat yang belum tersedia itu. Periksa daftar pendek dan urutan akhir ketika hasil tampak keliru. Ketika dokumen panjang mencakup banyak topik, pisahkan bagian yang koheren dan pertahankan referensi dokumen induknya agar bagian relevan dapat dipilih tanpa kehilangan sumbernya.

Batas konteks dan permintaan Panduan pembuat saat ini menetapkan maksimum kueri 8.000 token dan maksimum gabungan 32.000 token untuk kueri ditambah setiap dokumen individual. Panduan tersebut mengizinkan hingga 1.000 dokumen kandidat dan anggaran total permintaan 600.000 token, yang dihitung sebagai token kueri dikalikan jumlah dokumen, ditambah seluruh token dokumen. Karena itu, kueri panjang memakan ruang pada setiap pasangan dan berkontribusi berulang pada anggaran agregat. Hitung teks yang dikirim menggunakan tokenizer model yang sesuai, alih-alih memperlakukan karakter, kata, dan token sebagai hal yang dapat dipertukarkan.

Misalnya, kueri 500 token dengan 100 dokumen yang masing-masing berisi 4.000 token menghasilkan 450.000 token masukan berdasarkan rumus tersebut. Ini memperlihatkan penganggaran, bukan ukuran daftar pendek yang direkomendasikan atau hasil pengukuran kecepatan. Opsi truncation yang didokumentasikan aktif secara default; teks yang terlalu panjang dapat dipendekkan sebelum diberi skor. Siapkan bagian penting secara sengaja agar truncation tidak menghapus bagian yang justru perlu dicocokkan.

Baca dan gunakan hasil Hasil diurutkan dari skor relevansi tertinggi ke bawah. Setiap hasil mengidentifikasi posisi masukan asli dokumen, sehingga aplikasi dapat menambahkan judul, pengidentifikasi catatan, dan sumbernya sendiri. Pengaturan top_k mengendalikan jumlah kandidat berperingkat yang dikembalikan; tanpa pengaturan tersebut, semua kandidat dikembalikan. Antarmuka REST pembuat juga dapat mengembalikan teks dokumen. Pertahankan pengidentifikasi asli bersama hasil yang dipilih saat menampilkan halaman pencarian atau meneruskan bukti ke langkah pembuatan jawaban.

Skor relevansi menyatakan seberapa baik kandidat sesuai dengan kueri; skor itu tidak memastikan bahwa pernyataan kandidat benar. Bandingkan item berperingkat tertinggi dengan pertanyaan aktual pengguna, termasuk pengecualian dan perbedaan versi dokumen. Jika setiap kandidat tidak relevan, item dengan peringkat tertinggi tetap ada. Tentukan bagaimana aplikasi menangani kasus tersebut menggunakan kueri representatif dari koleksi.

Peningkatan versi dan pemilihan edisi Pembuatnya mendeskripsikan rerank-3-lite sebagai peningkatan dari rerank-2.5-lite dengan semantik API yang tidak berubah dan skor yang dikalibrasi terhadap distribusi pendahulunya yang bersesuaian. Pertahankan pemetaan catatan dan tahap pengambilan informasi yang ada, lalu bandingkan urutan yang dihasilkan pada kueri bermakna sebelum mengandalkan ambang skor yang sudah ditetapkan. Gunakan Lite untuk pengalaman pencarian ketika waktu respons penting; gunakan edisi rerank-3 yang berfokus pada kualitas sebagai pembanding ketika relevansi kandidat sulit menjadi prioritas yang lebih kuat.