Voyage AI: Voyage Context 3

Voyage Context 3 hujjatlarni qidirish uchun kontekst hisobga olingan bo‘lak embeddinglarini yaratadi. Har bir bo‘lak o‘z vektorini oladi, model esa ayni hujjatdan berilgan boshqa bo‘laklarni ham hisobga oladi. Bu qidiruv tizimiga mahalliy parcha bilan birga hujjatning kengroq kontekstini, masalan, manbaning boshqa joyida tanishtirilgan obyekt yoki mavzuni ifodalash imkonini beradi.

Har bir hujjatni o‘qiladigan matn bo‘laklarining tartiblangan ketma-ketligi sifatida tayyorlang. Bitta hujjat bo‘laklarini birga tuting va asl tartibini saqlang. Ishlab chiqaruvchining kontekstli jarayonida har bir ichki guruh bitta manbaning bo‘laklarini, alohida guruhlar esa alohida manbalarni o‘z ichiga oladi. Bu guruhlash kirish ma’nosining bir qismi: u modelga qaysi atrof matni ifodalanayotgan hujjatga tegishli ekanini bildiradi.

Foydali holat — boshida kompaniya nomi aytilgan, keyingi xatboshida esa uning o‘sishi tushuntirilgan hisobot. Shu kompaniyaning o‘sishini qidirishda aniq xatboshi ham, hujjatni aniqlovchi ma’lumot ham kerak. Natija parchani ko‘rsatib, to‘liq manbaga havola berishi uchun yaratilgan vektor bilan asl bo‘lak matni va uning asosiy hujjati metama’lumotlarini saqlang.

Ishlab chiqaruvchining ma’lumotnomasida bitta so‘rov bo‘yicha 120 000 tagacha token, ko‘pi bilan 1 000 kirish guruhi va jami 16 000 bo‘lak hujjatlashtirilgan. Model qo‘llanmasi alohida ravishda har bir bo‘lak uchun 32 000 tokenli oynani ko‘rsatadi. Material tayyorlashda bu ko‘lamlarni ajrating: bitta bo‘lak chegarasi va butun so‘rov chegarasi turli kirish hajmlarini bildiradi. Har bir bo‘lak ayni so‘rovda o‘z maksimumini to‘ldira oladi deb o‘ylash o‘rniga, manbani bo‘lgandan keyin umumiy hajmni tekshiring.

Hujjat qidiruvi uchun guruhlangan parchalarni hujjat kirishi sifatida belgilang. Har bir qidiruv savolini alohida so‘rov guruhi qilib tayyorlang. Ishlab chiqaruvchi berilgan hujjat bo‘laklari o‘zaro ustma-ust tushmasligini tavsiya qiladi; bu kontekstli ifodaga har bir parchada matnni takrorlamasdan atrof ma’lumotini olib yurish imkonini beradi. Indeksni yozishda hujjat guruhi, bo‘lak o‘rni va qaytarilgan vektor o‘rtasidagi moslikni saqlang.

Voyage Context 3 suzuvchi nuqtali, sakkiz bitli butun sonli va ikkilik chiqish tanlovlari bilan 2 048, 1 024, 512 va 256 o‘lchamni qo‘llab-quvvatlaydi. Indeks ifodasini tanlang va uni ayni manba hujjatlari hamda savollarda baholang. So‘rov ifodasi va saqlangan vektorlar izchil qolishi uchun tanlangan o‘lcham va ma’lumot turini indeks bilan birga saqlang.

Yaratilgan vektorlardan hisobotlar, ilmiy maqolalar, shartnomalar yoki texnik qo‘llanmalar bilan ishlaydigan yordamchining parcha qidiruvi, hujjat topish yoki qidiruv bosqichida foydalaning. Natija aniq parchani ko‘rsatishi, manba havolasi esa hujjatning boshqa joyidagi ta’rif va shartlarga kirish berishi mumkin. Hujjat versiyalari va ruxsatlarini vektorlar bilan birga ilova metama’lumotlari sifatida saqlang.

Mahalliy detalni ham, hujjat miqyosidagi kontekstni ham talab qiladigan savollarni sinang. Turli manbalardagi o‘xshash parchalar, faqat boshida tanishtirilgan nomlangan obyektlar va dalillari bir nechta bo‘limni qamrab oladigan savollarni kiriting. Kutilgan bo‘lak topilishini va ilova uni talqin qilish uchun yetarli atrof matnini ko‘rsatishini tekshiring. Manba o‘zgarganda, kontekstli bo‘laklar yagona izchil versiyaga mos kelishi uchun tegishli hujjat guruhini maqsadli ravishda qayta yarating.