Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast adalah edisi Rerank 4 yang lebih ringan, diposisikan untuk tugas temu balik berlatensi lebih rendah dan throughput lebih tinggi. Model menerima kueri dan kandidat dokumen, lalu mengembalikan urutan relevansi beserta skornya. Model berguna untuk pencarian interaktif, pemilihan bukti berulang, dan aplikasi yang perlu mengurutkan ulang daftar hasil yang ada. Fast tetap merupakan edisi terpisah dari Rerank 4 Pro, yang diposisikan untuk kasus lebih kompleks ketika mutu temu balik menjadi prioritas.

Kode pembuatnya adalah rerank-v4.0-fast. Seperti Pro, model memiliki konteks 32.768 token dan cakupan multibahasa lebih dari 100 bahasa. Kueri dan satu dokumen berbagi konteks; ini bukan dimensi vektor atau anggaran seluruh korpus berindeks. Berikan teks kandidat yang harus dibandingkan, alih-alih mengharapkan model mengambil dokumen dari sumber yang tidak diberikan kepadanya.

Hasil yang didokumentasikan mencakup indeks dokumen asli dan relevance_score. top_n memilih jumlah hasil yang dikembalikan, sedangkan penghapusannya mengembalikan seluruh daftar berperingkat. Simpan identifikator sumber di samping masukan agar urutan baru dapat dihubungkan dengan kutipan sebenarnya. Untuk pencarian produk, jelaskan atribut produk yang dibutuhkan dalam kueri dan urutkan ulang deskripsi kandidat; peringkat lebih tinggi harus tetap terhubung dengan rekaman produk asalnya.

Model dapat bekerja dengan dokumen berbahasa Inggris maupun selain Inggris dan rekaman semi-terstruktur. Dalam alur V2, masukan dokumen berupa string, dan Cohere merekomendasikan representasi data terstruktur sebagai YAML. Letakkan bidang penting lebih dahulu dan pertahankan urutannya agar pemotongan tidak membuang isi yang dibutuhkan untuk menilai relevansi. Rekaman dukungan dapat memuat judul, produk, dan teks prosedur; pesan dapat memuat subjek dan isinya. Hubungan eksplisit ini memberi pemeringkat informasi di luar daftar kata kunci yang cocok.

Batas kueri khusus model dalam panduan persiapan Cohere adalah 16.384 token, dengan kueri dan dokumen memakai konteks bersama. Panduan menjelaskan pemrosesan potongan dokumen yang lebih panjang, sedangkan referensi V2 secara terpisah menetapkan pemotongan dokumen bawaan 4.096 token melalui max_tokens_per_doc. Periksa pengaturan dokumen efektif tersebut, alih-alih menganggap seluruh jendela model 32K selalu digunakan. Siapkan kutipan relevan atau anggaran dokumen yang sesuai untuk tugas temu balik sebenarnya.

Untuk kinerja yang direkomendasikan, Cohere menyarankan agar tidak mengirim lebih dari 1.000 dokumen dalam satu permintaan. Bagi kumpulan kandidat lebih besar menjadi kelompok yang mudah dikelola sambil mempertahankan identifikatornya. Skor keluaran dinormalisasi dari 0 hingga 1 dan bergantung pada kueri dan kutipan. Urutannya merupakan hasil utama; skor bukan kelipatan linear relevansi atau bukti bahwa kutipan benar. Tentukan ambang penyaringan menggunakan kueri representatif dan kutipan dengan relevansi di batas ambang dari domain tersebut.

Hasil Fast yang berguna adalah daftar berperingkat yang dapat langsung menggerakkan tampilan pencarian atau memilih bukti untuk tahap penulisan jawaban. Pertahankan teks sumber bersama skor dan tinjau apakah hasil teratas benar-benar menjawab kondisi yang diminta. Peran Fast adalah pemeringkatan temu balik, bukan menghasilkan penjelasan baru atau vektor embedding. Pertahankan konsistensi edisi bernama dan persiapan masukan saat menyempurnakan perilaku relevansi.