jina-reranker-v2-base-multilingual

Jina Reranker v2 Base Multilingual adalah model pemeringkatan teks untuk tahap kedua pengambilan informasi. Berikan kueri dan dokumen atau bagian teks kandidat; model mengevaluasi setiap pasangan kueri–dokumen dan mengembalikan skor relevansi. Hasil yang berguna adalah kumpulan kandidat dengan urutan yang lebih baik untuk pencarian atau alur kerja yang diperkuat pengambilan informasi. Model ini tidak menulis jawaban atas kueri atau membuat embedding dokumen.

Siapkan kueri dan bagian teks kandidat

Tulis kueri agar menyatakan kebutuhan informasi. Kemudian berikan teks yang ditemukan oleh tahap pengambilan informasi sebelumnya. Simpan pengenal stabil di samping setiap kandidat agar skor relevansinya dapat dihubungkan dengan dokumen, bagian, atau catatan asli.

Untuk pencarian dukungan, gunakan pertanyaan sebenarnya dan kutipan kandidat yang memuat prosedur relevan. Kueri tentang menyetel ulang perangkat tertentu perlu dipasangkan dengan bagian teks yang mempertahankan nama perangkat, versi, dan syarat penyetelan ulang. Bagian yang hanya menyebut perangkat mungkin kurang berguna dibanding bagian yang menjelaskan operasi yang diminta. Berikan isi yang diperlukan model untuk membandingkan, bukan hanya judul dokumen.

Gunakan bagian teks yang utuh secara makna. Judul tabel, definisi, atau pengecualian dapat mengubah hubungan paragraf dengan kueri, jadi jangan menghapusnya hanya untuk membuat setiap kandidat sama pendeknya. Reranker mengevaluasi kandidat yang diberikan; model tidak dapat memulihkan dokumen relevan yang dilewatkan tahap pengambilan sebelumnya.

Penilaian kueri–dokumen

Ini adalah cross-encoder: kueri dan teks kandidat diproses bersama. Antarmuka penilaian langsung mengembalikan skor relevansi bilangan floating-point untuk setiap pasangan terkait. Skor lebih tinggi menunjukkan relevansi lebih besar dalam perbandingan tersebut. Skor adalah sinyal pemeringkatan, bukan penjelasan yang dibangkitkan atau bukti bahwa dokumen benar.

Pembuat juga menyediakan fungsi pembantu pemeringkatan ulang yang mengembalikan dokumen terurut beserta skornya. Kontrol hasil teratas memilih berapa banyak kandidat terperingkat yang dipertahankan. Simpan pengenal dan teksnya ketika meneruskannya ke tahap berikutnya. Untuk alur tanya jawab, model berikutnya tetap membutuhkan kueri dan bukti terpilih; daftar terperingkat sendiri bukan pertanyaan yang telah dijawab.

Ketika membandingkan perubahan pengambilan informasi, pertahankan kueri dan kriteria evaluasi tetap sama. Periksa apakah bagian yang dinaikkan ke posisi teratas benar-benar memuat informasi yang diminta. Tetapkan ambang penyaringan menggunakan contoh dari koleksi Anda sendiri, alih-alih memperlakukan skor relevansi sebagai ukuran universal kebenaran jawaban.

Jendela model dan dokumen lebih panjang

Model mendukung panjang konteks hingga 1.024 token. Fungsi pembantu rerank() yang didokumentasikan menangani dokumen lebih panjang dengan pendekatan jendela bergeser, menilai potongan secara terpisah, dan menggabungkannya menjadi hasil tingkat dokumen. Pemotongan merupakan perilaku fungsi pembantu itu; hal ini tidak boleh disamakan dengan satu masukan model yang memiliki jendela konteks tanpa batas.

Fungsi pembantu menyediakan kontrol panjang kueri dan panjang potongan serta pengaturan tumpang tindih. Nilai tumpang tindih bawaannya yang didokumentasikan adalah 80. Contoh penggunaan terbitan menetapkan panjang kueri maksimum 512 dan panjang potongan 1.024; ini adalah contoh pengaturan fungsi pembantu yang harus dibedakan dari janji bahwa setiap pemanggil atau rute menggunakannya.

Untuk manual panjang, pertahankan teks di sekitar secukupnya agar instruksi dan syaratnya muncul bersama. Saat menilai hasil, periksa bagian relevan dari dokumen berperingkat tinggi, jangan berasumsi setiap bagiannya sama-sama menjawab kueri dengan baik.

Pengambilan teks multibahasa dan khusus

Model v2 bersifat multibahasa. Contoh pembuat memeringkat kueri bahasa Inggris terhadap bagian teks bahasa Inggris, Jerman, Spanyol, Mandarin, dan Jepang. Ini mendukung koleksi dengan materi relevan yang ditulis dalam beberapa bahasa tanpa mewajibkan setiap kandidat diterjemahkan ke bahasa kueri terlebih dahulu.

Cakupan tugas yang didokumentasikan juga mencakup pencarian kode dan pemeringkatan representasi teks terkait fungsi atau SQL. Ini tetap merupakan tugas pemeringkatan relevansi: model mengevaluasi teks yang diberikan. Model tidak mengeksekusi fungsi, menjalankan SQL, atau menghasilkan hasil alat hanya karena jenis kandidat tersebut muncul dalam kumpulan hasil pencarian.

Edisi dan batas praktis

Bedakan varian v2 Base Multilingual ini dari reranker Jina sebelumnya yang hanya berbahasa Inggris, Jina Reranker v3, dan varian pemeringkatan ulang multimodal. Semuanya adalah model berbeda dengan karakteristik tugas dan masukan berbeda. Masukan varian ini berupa pasangan kueri–teks; isi gambar atau video memerlukan representasi atau model yang sesuai tersendiri.

Implementasi referensi pembuat mendukung skor langsung dan fungsi pembantu pemeringkatan dokumen, dengan attention dipercepat opsional. Pilihan implementasi tersebut memengaruhi cara masukan disiapkan dan diproses; pilihan itu tidak membuktikan setiap integrasi menyediakan kontrol identik.

Gunakan keluaran terperingkat untuk pencarian multibahasa, basis pengetahuan dukungan, pencarian dokumen, dan pemilihan bukti sebelum pembangkitan. Tinjau bagian teratas, simpan pemetaan kandidat asli, dan bedakan relevansi dari validitas faktual. Hasil pengambilan informasi yang berguna mengedepankan bukti tepat yang diberikan sambil menyerahkan tugas berikutnya—menjawab, meringkas, atau memutuskan—kepada alur kerja yang sesuai.