VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite ialah edisi siri Rerank 3 Voyage yang memfokuskan kependaman. Ia menerima pertanyaan teks dan dokumen calon, menilai setiap pasangan pertanyaan-dokumen bersama-sama, serta mengembalikan skor kerelevanan mengikut kedudukan. Ia berfungsi pada peringkat kedua carian: alat pemerolehan berasaskan pembenaman atau kata kunci mencari calon, kemudian Lite memperhalusi susunannya. Hasilnya ialah pemeringkatan untuk digunakan dalam carian atau aliran kerja penjanaan diperkaya pemerolehan maklumat.

Perubahan dalam Rerank 3 Lite Pengeluar menekankan pemerolehan dokumen panjang dan kod yang lebih kukuh berbanding rerank-2.5-lite. Kedua-dua edisi Rerank 3 mengekalkan pematuhan arahan dan kelas konteks 32K yang sama, manakala Lite direka untuk aplikasi yang sensitif terhadap kependaman. Ini menjadikannya calon praktikal untuk carian pangkalan pengetahuan interaktif, pemerolehan dokumen sokongan dan carian kod apabila pengguna memerlukan hasil berkaitan dengan segera. Pilih berdasarkan keperluan kualiti dan masa respons koleksi sebenar, tanpa menganggap edisi lebih kecil bermakna tetingkap konteks lebih kecil.

Pandu kerelevanan melalui pertanyaan Arahan bahasa semula jadi boleh disertakan bersama pertanyaan untuk menerangkan perkara yang dianggap relevan. Pastikan soalan dan keutamaan kerelevanan ringkas serta konsisten. Untuk carian sokongan perisian, gunakan “Cari prosedur untuk menetapkan semula peranti; utamakan arahan bagi versi perkakasan yang dinyatakan.” Untuk nama produk yang kabur, sertakan kategori produk supaya makna yang tidak berkaitan tidak mendominasi. Keutamaan dalam pertanyaan memandu penskoran semantik; gunakan metadata koleksi yang jelas untuk memilih produk, versi dokumen atau skop akses yang betul sebelum membina senarai calon.

Sediakan senarai pendek calon teks Dokumen input ialah rentetan. Ekstrak teks yang boleh dibaca daripada bahan sumber dan kekalkan tajuk, pengepala, pengecam serta konteks sekeliling yang berguna. Kekalkan pemetaan stabil daripada setiap kedudukan input kepada rekod asal. Untuk artikel penyelesaian masalah, sertakan gejala dan prosedur berkaitan, bukan hanya ayat yang terpisah. Untuk carian kod sumber, sertakan fungsi dan maklumat berhampiran yang diperlukan untuk membezakannya daripada fungsi bernama serupa. Buang navigasi atau teks templat berulang apabila ia mengambil ruang petikan yang berguna.

Pemeringkat semula hanya boleh menyusun semula dokumen yang diterimanya. Jika carian pertama tidak pernah memperoleh artikel berkaitan, peringkat ini tidak boleh mendapatkan kembali calon yang tiada itu. Periksa senarai pendek dan susunan akhir apabila hasil kelihatan salah. Apabila dokumen panjang meliputi banyak topik, asingkan bahagian yang koheren dan kekalkan rujukan dokumen induknya supaya bahagian berkaitan boleh dipilih tanpa kehilangan sumbernya.

Had konteks dan permintaan Panduan semasa pengeluar menyatakan maksimum pertanyaan 8,000 token dan maksimum gabungan 32,000 token bagi pertanyaan bersama setiap dokumen individu. Ia membenarkan sehingga 1,000 dokumen calon dan jumlah belanjawan permintaan 600,000 token, dikira sebagai token pertanyaan didarab bilangan dokumen, ditambah semua token dokumen. Oleh itu, pertanyaan panjang menggunakan ruang dalam setiap pasangan dan menyumbang berulang kali kepada jumlah belanjawan. Kira teks yang dihantar dengan pentoken model yang sesuai tanpa menganggap aksara, perkataan dan token boleh saling menggantikan.

Contohnya, pertanyaan 500 token dengan 100 dokumen yang masing-masing mengandungi 4,000 token bersamaan 450,000 token input mengikut formula itu. Ini menggambarkan perancangan belanjawan, bukannya saiz senarai pendek yang disyorkan atau hasil kelajuan yang diukur. Pilihan pemangkasan yang didokumenkan diaktifkan secara lalai; teks yang terlalu besar boleh dipendekkan sebelum penskoran. Sediakan bahagian penting dengan sengaja supaya pemangkasan tidak membuang petikan yang perlu dipadankan.

Baca dan gunakan hasil Hasil disusun daripada skor kerelevanan tertinggi ke bawah. Setiap hasil mengenal pasti kedudukan input asal dokumen, membolehkan aplikasi melampirkan tajuk, pengecam rekod dan sumbernya sendiri. Tetapan top_k mengawal bilangan calon berperingkat yang dikembalikan; tanpanya, semua calon dikembalikan. Antara muka REST pengeluar juga boleh mengembalikan teks dokumen. Kekalkan pengecam asal bersama hasil yang dipilih apabila memaparkan halaman carian atau meneruskan bukti ke langkah penjanaan jawapan.

Skor kerelevanan menyatakan sejauh mana calon sepadan dengan pertanyaan; ia tidak membuktikan bahawa pernyataan calon adalah benar. Bandingkan item berkedudukan tertinggi dengan soalan sebenar pengguna, termasuk pengecualian dan perbezaan versi dokumen. Jika setiap calon tidak relevan, item berkedudukan tertinggi tetap wujud. Tentukan cara aplikasi anda mengendalikan keadaan itu menggunakan pertanyaan yang mewakili koleksi.

Menaik taraf dan memilih edisi Pengeluar menerangkan rerank-3-lite sebagai naik taraf kepada rerank-2.5-lite dengan semantik API yang tidak berubah dan skor yang ditentukur kepada taburan pendahulunya yang sepadan. Kekalkan pemetaan rekod dan peringkat pemerolehan maklumat sedia ada, kemudian bandingkan susunan yang terhasil pada pertanyaan bermakna sebelum bergantung pada ambang skor yang telah ditetapkan. Gunakan Lite untuk pengalaman carian yang mementingkan masa respons; gunakan edisi rerank-3 yang memfokuskan kualiti sebagai perbandingan apabila kerelevanan calon yang sukar menjadi keutamaan lebih besar.