Voyage AI: Voyage 3 Large

Voyage 3 Large adalah model embedding teks untuk menemukan informasi relevan dalam kumpulan dokumen. Model ini merepresentasikan setiap teks yang diberikan sebagai vektor numerik, sehingga aplikasi dapat membandingkan permintaan pencarian dengan bagian teks yang kata-katanya mungkin berbeda tetapi maknanya berkaitan. Voyage AI menempatkan edisi ini untuk pencarian informasi serbaguna dan multibahasa, mencakup materi seperti dokumentasi teknis, percakapan, dan dokumen panjang.

Bangun kumpulan yang dapat ditelusuri dari informasi yang benar-benar perlu ditemukan kembali oleh pengguna. Untuk basis pengetahuan produk, simpan penjelasan fitur bersama prasyarat serta pengecualian yang relevan. Untuk catatan rapat, pertahankan label pembicara dan diskusi sekitar yang cukup agar topiknya dapat dipahami. Pisahkan sumber besar pada batas yang berguna dan simpan judul sumber, pengenal dokumen, serta posisi bagian teks bersama setiap vektor.

Siapkan pertanyaan pencarian sebagai kueri dan materi yang diindeks sebagai dokumen. Dalam alur embedding teks pembuat, tipe masukan memberi model peran pencarian informasi dari teks tersebut. Kueri seperti “Bagaimana anggota dapat memulihkan akses setelah kehilangan kunci keamanan?” kemudian dapat dibandingkan dengan bagian panduan dukungan yang menjelaskan prosedur pemulihan, meskipun menggunakan ungkapan berbeda. Sediakan bagian teks asli agar hasil pencarian dapat menunjukkan bukti di balik kecocokannya.

Model ini memiliki jendela konteks 32000 token. Masukan panjang dapat mempertahankan bagian lengkap, tetapi dokumen utuh tidak selalu menjadi unit pencarian yang paling berguna. Vektor yang terlalu luas dapat menunjuk file yang benar sambil tetap mengharuskan pembaca menemukan jawaban tepatnya sendiri. Pilih batas bagian teks berdasarkan hasil yang ingin ditampilkan, dan pertahankan judul, batasan, serta definisi bersama konten yang dijelaskannya.

Voyage 3 Large mendukung vektor berdimensi 2048, 1024, 512, atau 256. Pembuat juga mendokumentasikan representasi floating-point, delapan bit bertanda atau tanpa tanda, serta biner. Pilihan ini memungkinkan sistem pencarian membandingkan detail vektor dengan ukuran indeks dan perilaku pencarian. Pilih format yang didukung penyimpanan vektor tujuan, lalu evaluasi pada korpus sebenarnya serta pertanyaan yang mewakili kebutuhan sebelum memilih pengaturan indeks produksi.

Untuk pencarian multibahasa, sertakan pertanyaan uji dalam bahasa yang digunakan pengguna dan tinjau bagian sumber yang ditemukan dalam bahasa aslinya. Antarmuka pencarian bersama dapat melayani beberapa kumpulan bahasa, sementara metadata dokumen tetap mengidentifikasi lokal serta versi sumber. Pertahankan nama, singkatan, dan istilah bidang yang bermakna selama ekstraksi, alih-alih menggantinya dengan ringkasan umum sebelum proses embedding.

Gunakan vektor untuk mengambil kandidat bagian teks bagi halaman pencarian, asisten pengetahuan, atau langkah pemilihan dokumen. Gunakan model serta pengaturan vektor yang sama untuk kumpulan terindeks dan kuerinya. Ketika mengganti model embedding atau mengubah dimensi vektor, bangun ulang dan bandingkan indeks yang terdampak secara terencana; panjang vektor saja tidak mengidentifikasi cara vektor itu dihasilkan.

Nilai hasil berdasarkan kegunaan pencarian: apakah bagian teks yang benar muncul, apakah bagian yang mirip tetapi menyesatkan berperingkat lebih tinggi, dan apakah kutipan yang ditampilkan memuat jawaban. Simpan sekumpulan kecil pertanyaan nyata dengan sumber yang diharapkan, termasuk ungkapan ambigu dan dokumen yang hampir sama. Embedding menyediakan representasi yang dapat ditelusuri; aplikasi mempertahankan teks sumber, izin, serta tautan yang diperlukan untuk mengubah kecocokan menjadi hasil yang dapat digunakan.