VoyageAI by MongoDB: rerank-3

Voyage rerank-3 ialah pemeringkat semula teks yang direka untuk meningkatkan kualiti bukti yang diperoleh. Dengan pertanyaan dan senarai dokumen calon, ia memeriksa setiap pasangan bersama-sama serta mengembalikan calon yang disusun mengikut kerelevanan. Pembenaman dan carian kata kunci boleh terlebih dahulu mengecilkan koleksi besar kepada senarai pendek yang boleh diurus; rerank-3 kemudian menerapkan penilaian kerelevanan yang lebih terperinci pada senarai pendek itu. Outputnya ialah bukti carian berskor untuk dipaparkan oleh aplikasi atau diteruskan ke langkah penjanaan jawapan berasingan.

Rerank 3 yang memfokuskan kualiti Pengeluar menempatkan rerank-3 sebagai edisi yang memfokuskan ketepatan dan rerank-3-lite sebagai edisi untuk carian yang sensitif terhadap kependaman. Generasi ketiga mengemas kini tulang belakang dan campuran latihan, dengan penambahbaikan khusus pada pemerolehan dokumen panjang serta kod sumber berbanding pendahulu 2.5 yang sepadan. Pengeluar menilainya merentas dokumentasi teknikal, kod, bahan berbilang bahasa dan bidang dokumen lain. Hasil itu menyokong peranannya dalam pemerolehan maklumat; pilih edisi menggunakan soalan dan dokumen calon yang penting kepada koleksi anda sendiri.

Dokumen panjang dengan konteks yang mencukupi Calon yang panjang boleh mengandungi konteks berguna jauh melepasi perenggan pembukaannya. Bekalkan bahagian atau dokumen yang koheren bersama tajuk dan bahan sekeliling yang berkaitan, supaya model boleh menilai hubungan soalan sebenar dengan kandungan. Untuk carian dasar produk, kekalkan pengepala dan pengecualian di sekitar petikan yang diminati. Jika beberapa bahagian yang diperoleh datang daripada sumber yang sama, kekalkan pengecam dokumen dan bahagiannya; aplikasi kemudian boleh menunjukkan tempat asal bukti yang dipilih.

Tetingkap konteks dikongsi oleh pertanyaan dan setiap calon. Panduan semasa pengeluar menyatakan 32,000 token bagi pasangan itu, termasuk pertanyaan yang tidak melebihi 8,000 token. Oleh itu, pertanyaan 3,000 token meninggalkan paling banyak 29,000 token untuk setiap dokumen. Sediakan input supaya kandungan pentingnya muat, khususnya apabila mukadimah panjang atau teks templat berulang akan menggunakan tetingkap tersebut. Pilihan pemangkasan yang didokumenkan diaktifkan secara lalai dan boleh memendekkan pertanyaan atau teks dokumen yang terlalu besar sebelum penskoran. Periksa perkara yang dikekalkan apabila kedudukan petikan penting.

Pemerolehan kod dan bahan teknikal Untuk peringkat pemerolehan maklumat pembantu pengekodan, calon boleh mengandungi pelaksanaan fungsi, dokumentasi API atau penjelasan teknikal sebagai teks. Sertakan simbol, tandatangan dan konteks yang diperlukan untuk membezakan calon yang serupa. Pertanyaan seperti “Cari fungsi yang menormalkan laluan sambil mengekalkan pemisah di hujung” memberikan tingkah laku konkrit untuk dipadankan. Sertakan sebarang kekangan bahasa, platform atau versi yang berkaitan. Selepas pemeringkatan, periksa kod yang dipilih dan kebergantungannya sebelum menggunakannya sebagai konteks; skor kerelevanan tidak membuktikan bahawa pelaksanaan memenuhi setiap keperluan yang dinyatakan.

Arahan menetapkan kerelevanan Model mengekalkan keupayaan pemeringkatan semula yang mematuhi arahan, yang diperkenalkan dalam Rerank 2.5. Letakkan arahan ringkas sebelum atau selepas pertanyaan apabila niat pengguna memerlukan penjelasan. Untuk carian dokumen penyelidikan, terangkan sama ada tumpuannya pada tajuk, kaedah tertentu atau bidang aplikasi. Untuk katalog dalaman, nyatakan sama ada permintaan berkaitan pemasangan, penyelesaian masalah atau keserasian. Pastikan arahan itu selaras dengan soalan; keutamaan tambahan yang bercanggah dengan permintaan utama boleh mengubah perkara yang cuba dioptimumkan oleh pemeringkatan.

Sediakan dokumen calon dan belanjawan Input ialah senarai rentetan teks. Ekstrak teks yang boleh digunakan daripada dokumen sumber, kekalkan sempadan bahagian yang bermakna dan simpan peta rekod tersusun bersama senarai. Pengeluar membenarkan sehingga 1,000 dokumen dalam satu permintaan. Ia turut menetapkan had agregat input 600,000 token: token pertanyaan didarab bilangan dokumen, ditambah jumlah semua token dokumen. Ini berbeza daripada had konteks bagi setiap pasangan. Mengurangkan teks pertanyaan yang berlebihan boleh menjimatkan kapasiti pasangan dan keseluruhan belanjawan permintaan.

Kira token bagi model yang berkaitan, tanpa menganggap bilangan perkataan atau aksara sebagai bilangan token. Untuk calon besar, pilih petikan yang koheren atau bahagikan bahan mengikut pengepala yang berguna sambil mengekalkan maklumat sumber induk. Pemeringkatan semula paling berguna selepas carian pertama menemukan calon yang munasabah: ia tidak boleh memberi kedudukan kepada sumber yang tiada dan tidak pernah memasuki senarai.

Hasil berperingkat dan penggunaan hiliran Hasil mengandungi skor kerelevanan dan indeks yang merujuk dokumen input asal, disusun mengikut kerelevanan menurun. Pilihan top_k mengehadkan bilangan hasil berperingkat yang dikembalikan; jika tidak dinyatakan, semua calon input dikembalikan. Antara muka REST pengeluar turut membenarkan teks dokumen disertakan. Gunakan setiap indeks asal untuk mendapatkan kembali tajuk, pengecam sumber dan sebarang metadata yang diperlukan oleh aplikasi anda, kemudian paparkan item yang dipilih atau masukkan teks berkaitan ke dalam konteks bukti jawapan.

Periksa hasil teratas terhadap soalan dan pastikan identiti sumber kekal kelihatan. Kedudukan relatif yang tinggi tidak mengesahkan ketepatan fakta dokumen, dan senarai pendek yang mengandungi hanya calon lemah tetap mempunyai item pertama. Asingkan pemilihan kerelevanan daripada penentuan sama ada bukti yang dipilih mencukupi untuk menjawab pengguna.

Migrasi edisi Pengeluar menerangkan rerank-3 sebagai pengganti terus rerank-2.5, dengan semantik API yang sama dan skor yang ditentukur kepada taburan pendahulunya yang sepadan. Keserasian itu menyokong pengekalan peringkat pemerolehan maklumat dan pemetaan rekod sedia ada. Bandingkan susunan hasil yang bermakna dan sebarang ambang skor pada korpus semasa sebelum bergantung pada migrasi. Kekalkan rerank-3 dan rerank-3-lite sebagai pilihan yang berbeza: had yang dikongsi dan pematuhan arahan tidak menjadikan keutamaan kualiti serta kependaman kedua-duanya sama.