VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite ialah ahli ringan dalam keluaran pemeringkat semula 2.5 Voyage AI. Pengeluar menerangkannya sebagai model umum yang mengimbangi kependaman dan kualiti kerelevanan, dengan pematuhan arahan bahasa semula jadi serta sokongan berbilang bahasa. Inputnya ialah pertanyaan dan teks calon, dan outputnya ialah susunan calon yang diperhalusi bersama skor kerelevanan.

Keputusan kerelevanan peringkat kedua yang ringan

Model Lite memproses setiap pasangan pertanyaan–dokumen bersama-sama sebagai pengekod silang. Ia boleh menyusuli carian pembenaman atau leksikal peringkat pertama, dengan memperhalusi petikan yang dipilih oleh peringkat itu. Ini berbeza daripada menyediakan indeks pembenaman yang boleh digunakan semula: pemeringkat semula memeriksa pertanyaan dan teks dokumen yang dihantar bersama-sama untuk keputusan kerelevanan semasa.

Untuk carian bantuan interaktif, hantar penjelasan calon yang mungkin menjawab soalan pengguna. Kekalkan bahagian yang mencukupi daripada setiap petikan untuk menyampaikan tingkah laku dan syaratnya, serta kekalkan kaitan antara indeks input dan item sumber. Set calon yang khusus membantu menjelaskan tugasan pemeringkatan semula sambil memastikan bukti yang diperoleh kekal boleh digunakan untuk paparan atau jawapan kemudian.

Arahan menyatakan perkara yang pengguna mahu utamakan

Seperti rerank-2.5, Lite menerima arahan bahasa semula jadi sebelum atau selepas pertanyaan. Contoh pengeluar menggunakannya untuk menekankan komponen dokumen, memilih jenis sumber yang diutamakan atau menambahkan konteks pada perkataan yang kabur. Aplikasi boleh memberikan keutamaan kerelevanan tetap, atau soalan semasa boleh menyertakan keutamaan yang lebih khusus.

Contoh pertanyaan sokongan boleh bertanya petikan yang menerangkan ralat, dengan arahan untuk mengutamakan langkah penyelesaian masalah berbanding huraian produk umum. Carian dokumen boleh meminta ungkapan dasar asal, bukannya perbincangan tentang dasar itu. Huraikan bukti yang dimaksudkan dan pastikan arahan ringkas. Arahan mempengaruhi skor kerelevanan; sediakan sebarang sekatan ketat versi, tarikh atau kebenaran dalam pemilihan calon tanpa menganggap keutamaan kerelevanan sebagai penapis yang dijamin.

Baca pemeringkatan dan kembalikan petikan sumber

Output disusun mengikut kerelevanan menurun. Setiap hasil menyertakan indeks dokumen asal dan skor titik apung; tetapan return-documents pilihan turut mengembalikan teks input yang sepadan. Pilihan top-k menentukan bilangan hasil teratas yang dikembalikan, manakala tanpa pilihan itu, pemeringkatan untuk semua calon yang dihantar dikembalikan.

Gunakan indeks itu untuk mendapatkan kembali petikan sumber dan pengecamnya. Calon yang diperingkatkan semula boleh menjadi hasil carian atau bukti bagi langkah RAG seterusnya, tetapi output ialah susunan teks yang dibekalkan, bukannya jawapan yang ditulis semula. Nilai sama ada petikan teratas memenuhi soalan dan arahan kerelevanan, termasuk dalam bahasa dan jenis dokumen yang benar-benar terdapat dalam koleksi.

Had dan belanjawan calon yang praktikal

Edisi 2.5 Lite mempunyai maksimum pertanyaan 8,000 token yang didokumenkan dan had 32,000 token bagi pertanyaan bersama setiap dokumen individu. Ia berbeza daripada model rerank-2-lite terdahulu dan konteksnya yang lebih kecil. Paling banyak 1,000 dokumen boleh dihantar, dan jumlah input dihadkan kepada 600,000 token mengikut formula: token pertanyaan didarab bilangan calon, ditambah jumlah token dokumen calon.

Untuk penggunaan yang sensitif terhadap kependaman, FAQ pengeluar mengesyorkan rerank-2.5-lite dengan jumlah tidak melebihi 200,000 token bagi setiap permintaan. Ini ialah panduan praktikal di bawah maksimum yang dinyatakan, bukannya tetingkap bagi setiap dokumen yang berbeza. Pertanyaan atau arahan yang lebih panjang dikira sekali bagi setiap pasangan calon, jadi bilangan calon dan panjang pertanyaan kedua-duanya mempengaruhi jumlah.

Pemangkasan diaktifkan secara lalai dan memendekkan input pertanyaan/dokumen yang terlalu panjang supaya muat; mematikannya mengembalikan ralat bagi pertanyaan atau pasangan yang terlalu panjang. Sediakan calon ringkas yang mengandungi jawapan dengan sengaja supaya bukti berguna tidak tertinggal di luar sempadan pemangkasan. Memilih bilangan hasil output yang lebih kecil melalui top-k tidak mengeluarkan calon lain yang dibekalkan daripada pengiraan token. Periksa petikan sumber yang dikembalikan dan perhalusi penyediaan input berdasarkan soalan sebenar yang perlu dijawab oleh antara muka carian.