Cohere: Rerank 4 Pro

Cohere Rerank 4 Pro ialah model yang mengutamakan kualiti dalam keluarga Rerank 4 Cohere. Model ini menilai dokumen calon berbanding pertanyaan dan mengembalikan susunan serta skor kerelevanannya. Model ini ditujukan kepada tugasan dapatan maklumat yang kompleks, termasuk dokumen berbilang bahasa dan maklumat separa berstruktur. Model ini sesuai digunakan dalam carian atau aliran kerja yang diperkaya dengan dapatan carian selepas sistem sedia ada mengumpulkan calon: hasilnya membantu memilih petikan untuk dipaparkan atau dibekalkan sebagai bukti kepada peringkat seterusnya.

Pengenal pengeluar ialah rerank-v4.0-pro, berasingan daripada rerank-v4.0-fast dan rerank-v3.5. Pro ditujukan kepada kes kompleks yang mengutamakan kualiti dapatan maklumat, manakala Fast menyasarkan kependaman lebih rendah dan daya pemprosesan lebih tinggi. Kedua-dua edisi Rerank 4 menggunakan konteks 32,768 token. Pertanyaan dan satu dokumen calon berkongsi bajet itu; ia bukan tetingkap penuh berasingan bagi setiap medan input atau had bagi seluruh korpus carian yang disimpan.

Bekalkan pertanyaan yang jelas dan senarai rentetan teks calon. Setiap hasil yang dikembalikan menyertakan indeks dokumen asal dan skor kerelevanan, dan top_n boleh memilih bilangan hasil berperingkat yang dikembalikan; tanpanya, pengeluar mengembalikan semua hasil. Simpan pengenal sumber di sisi setiap input supaya pemeringkatan boleh dihubungkan semula kepada petikan yang tepat. Untuk soalan sokongan, tanyakan syarat yang diperlukan dan bekalkan bahagian polisi calon, tanpa mengharapkan pemeringkat semula mencari polisi yang tiada dalam senarai.

Model ini menyokong lebih daripada 100 bahasa dan boleh memeringkat semula bahan bahasa Inggeris dan bahasa lain. Untuk pertanyaan dengan beberapa keperluan, nyatakan syarat yang menjadikan petikan berguna, seperti produk, situasi dan prosedur yang diperlukan. Untuk rekod separa berstruktur, Cohere mengesyorkan rentetan YAML dan bukannya objek mentah dalam senarai dokumen V2. Susun medan bermakna seperti tajuk dan kandungan secara sengaja, kerana pemotongan boleh membuang medan yang terkemudian. Penyediaan ini berguna untuk rekod produk, mesej dan metadata dokumen, selain prosa biasa.

Panduan penyediaan khusus model mengehadkan pertanyaan Rerank 4 kepada 16,384 token pertama. Panduan itu menerangkan pemprosesan dokumen lebih panjang melalui cebisan yang berkongsi konteks 32,768 token dengan pertanyaan dan token yang diperuntukkan. Rujukan V2 semasa secara berasingan menetapkan lalai max_tokens_per_doc kepada 4096 dan menyatakan bahawa rentetan dokumen lebih panjang dipotong mengikut tetapan itu. Anggap tetingkap model dan pemotongan dokumen dalam permintaan pengeluar sebagai dua kawalan berbeza. Sediakan petikan ringkas yang relevan atau pilih bajet dokumen yang sesuai, tanpa menganggap setiap sumber panjang sentiasa dibaca sepenuhnya.

Untuk prestasi permintaan yang disyorkan, Cohere menasihatkan agar tidak menghantar lebih daripada 1,000 dokumen sekali gus. Kekalkan pengenal calon apabila membahagikan senarai yang lebih besar kepada kumpulan yang mudah dikendalikan. Skor kerelevanan dinormalkan antara 0 dengan 1, tetapi bergantung pada pertanyaan dan calon; skor itu bukan ukuran linear ketepatan fakta. Gunakan susunan sebagai hasil utama dapatan maklumat. Jika menapis menggunakan ambang skor, tentukannya melalui pertanyaan yang mewakili penggunaan dan petikan yang hampir relevan dalam domain sebenar, tanpa menganggap ada ambang sejagat.

Artifak akhir yang berguna ialah senarai calon berperingkat yang membawa pengenal sumber dan skor, sedia untuk hasil carian atau langkah pemilihan bukti. Dokumen dengan skor kerelevanan tinggi masih boleh mengandungi maklumat lapuk atau tidak betul, jadi kekalkan sumber dan kandungannya untuk peringkat yang menggunakannya. Tujuan Pro ialah penilaian kerelevanan, bukannya penulisan jawapan bebas atau penjanaan embedding. Kekalkan edisi Pro yang tepat bersama hasil apabila membandingkan atau memperhalus aliran kerja dapatan maklumat.