VoyageAI by MongoDB: rerank-3

Voyage rerank-3 — topilgan dalillar sifatini oshirishga mo‘ljallangan matn qayta tartiblovchisi. So‘rov va nomzod hujjatlar ro‘yxati berilganda, u har bir juftlikni birga tekshiradi va nomzodlarni muvofiqlik bo‘yicha tartiblab qaytaradi. Embedding va kalit so‘zli qidiruv avval katta to‘plamni boshqarish mumkin bo‘lgan qisqa ro‘yxatga toraytirishi mumkin; keyin rerank-3 shu ro‘yxatga batafsilroq muvofiqlik bahosini qo‘llaydi. Uning natijasi — ilova ko‘rsatadigan yoki alohida javob generatsiyasi bosqichiga uzatadigan, ball berilgan qidiruv dalillari.

Sifatga qaratilgan Rerank 3 Ishlab chiqaruvchi rerank-3’ni aniqlikka qaratilgan nashr, rerank-3-lite’ni esa kechikishga sezgir qidiruv uchun nashr sifatida taqdim etadi. Uchinchi avlod asosiy tarmoq va o‘qitish aralashmasini yangilaydi; tegishli 2.5 oldingi modellariga qaraganda uzun hujjat va manba kodini topishda alohida yaxshilanishlar bor. Ishlab chiqaruvchi uni texnik hujjatlar, kod, ko‘p tilli materiallar va boshqa hujjat sohalarida baholaydi. Bu natijalar uning ma’lumot topish rolini asoslaydi; nashrni o‘z to‘plamingiz uchun muhim savollar va nomzod hujjatlar bilan tanlang.

Yetarli kontekstga ega uzun hujjatlar Uzun nomzodda boshlang‘ich paragrafdan ancha keyinda ham foydali kontekst bo‘lishi mumkin. Model haqiqiy savol kontentga qanday bog‘lanishini baholashi uchun yaxlit bo‘lim yoki hujjatni sarlavhasi va tegishli atrofdagi material bilan bering. Mahsulot siyosati qidiruvida qiziqtirgan parcha atrofidagi sarlavha va istisnolarni saqlang. Bir manbadan bir nechta bo‘lim topilsa, hujjat va bo‘lim identifikatorlarini saqlang; shunda ilova tanlangan dalil qayerdan kelganini ko‘rsata oladi.

Kontekst oynasi so‘rov va har bir nomzod o‘rtasida bo‘linadi. Ishlab chiqaruvchining joriy qo‘llanmasida shu juftlik uchun 32,000 token, jumladan ko‘pi bilan 8,000 tokenli so‘rov belgilangan. Demak, 3,000 tokenli so‘rov har bir hujjat uchun ko‘pi bilan 29,000 token qoldiradi. Muhim kontent sig‘ishi uchun kirishni tayyorlang, ayniqsa uzun kirish so‘zi yoki takroriy qolip matn oynani egallashi mumkin bo‘lsa. Hujjatlashtirilgan qisqartirish opsiyasi standart holatda yoqilgan va ortiqcha uzun so‘rov yoki hujjat matnini baholashdan oldin qisqartirishi mumkin. Parcha joylashuvi muhim bo‘lsa, nima saqlanganini tekshiring.

Kod va texnik ma’lumotni topish Dasturlash yordamchisining izlash bosqichida nomzodlar matn ko‘rinishidagi funksiya amalga oshirishlari, API hujjatlari yoki texnik izohlarni o‘z ichiga olishi mumkin. O‘xshash nomzodlarni farqlash uchun zarur belgilar, signaturalar va kontekstni kiriting. “Oxirgi ajratgichni saqlagan holda yo‘llarni normallashtiradigan funksiyani toping” kabi so‘rov moslashtirish uchun aniq xatti-harakatni beradi. Tegishli til, platforma yoki versiya cheklovlarini qo‘shing. Tartiblashdan keyin tanlangan kod va uning bog‘liqliklarini kontekst sifatida ishlatishdan oldin tekshiring; muvofiqlik bali amalga oshirish barcha aytilgan talablarni bajarishini isbotlamaydi.

Ko‘rsatmalar muvofiqlikni belgilaydi Model Rerank 2.5’da kiritilgan ko‘rsatmaga amal qiladigan qayta tartiblash imkoniyatini saqlaydi. Foydalanuvchi niyatini aniqlashtirish kerak bo‘lsa, so‘rovdan oldin yoki keyin qisqa ko‘rsatma qo‘shing. Tadqiqot hujjatlarini qidirishda sarlavha, muayyan usul yoki qo‘llanish sohasi markazda ekanini tushuntiring. Ichki katalogda so‘rov o‘rnatish, muammoni bartaraf etish yoki moslikka oidligini belgilang. Shu ko‘rsatma savolga mos bo‘lsin; asosiy so‘rovga zid qo‘shimcha afzalliklar tartiblash nimani optimallashtirishga intilayotganini o‘zgartirishi mumkin.

Nomzod hujjatlar va byudjetlarni tayyorlang Kirish — matn satrlari ro‘yxati. Manba hujjatlaridan ishlatish mumkin bo‘lgan matnni ajratib oling, mazmunli bo‘lim chegaralarini saqlang va ro‘yxat bilan birga tartiblangan yozuv xaritasini yuriting. Ishlab chiqaruvchi bitta so‘rovda 1,000 tagacha hujjatga ruxsat beradi. Shuningdek, u jami 600,000 tokenli kirish chegarasini belgilaydi: so‘rov tokenlari hujjatlar soniga ko‘paytiriladi va barcha hujjat tokenlari yig‘indisi qo‘shiladi. Bu har bir juftlikning kontekst chegarasidan farq qiladi. Ortiqcha so‘rov matnini kamaytirish juftlik sig‘imini ham, umumiy so‘rov byudjetini ham saqlashi mumkin.

So‘z yoki belgilar sonini token soni deb taxmin qilmasdan, tegishli model uchun tokenlarni hisoblang. Katta nomzodlarda yaxlit parchalarni tanlang yoki materialni foydali sarlavhalar bo‘yicha bo‘ling va asosiy manba ma’lumotini saqlang. Qayta tartiblash birinchi qidiruv ishonarli nomzodlarni allaqachon topgandan keyin eng foydali: u ro‘yxatga umuman kirmagan yetishmagan manbani tartiblay olmaydi.

Tartiblangan natijalar va keyingi foydalanish Natija asl kirish hujjatlariga ishora qiladigan muvofiqlik ballari va indekslarni o‘z ichiga oladi, ular muvofiqlik kamayishi bo‘yicha saralanadi. top_k opsiyasi qaytariladigan tartiblangan natijalar sonini cheklaydi; aks holda barcha kirish nomzodlari qaytariladi. Ishlab chiqaruvchining REST interfeysi hujjat matnini qo‘shishga ham imkon beradi. Sarlavha, manba identifikatori va ilovangizga zarur metama’lumotlarni tiklash uchun har bir asl indeksdan foydalaning, keyin tanlangan elementlarni ko‘rsating yoki tegishli matnni javobning dalillar kontekstiga joylang.

Eng yuqori natijalarni savol bilan solishtirib tekshiring va manba identifikatorini ko‘rinadigan saqlang. Yuqori nisbiy o‘rin hujjatning faktik to‘g‘riligini tekshirmaydi; faqat yomon nomzodlardan iborat qisqa ro‘yxat ham birinchi elementga ega bo‘ladi. Muvofiqlikni tanlashni tanlangan dalil foydalanuvchiga javob berishga yetarliligini hal qilishdan ajrating.

Nashrlar orasida o‘tish Ishlab chiqaruvchi rerank-3’ni API semantikasi bir xil va ballari tegishli oldingi model taqsimotiga moslashtirilgan rerank-2.5 o‘rniga bevosita qo‘yiladigan voris sifatida ta’riflaydi. Bu moslik mavjud izlash bosqichi va yozuv xaritasini saqlashga yordam beradi. O‘tishga tayanishdan oldin joriy korpusda mazmunli natija tartiblari va ball chegaralarini solishtiring. rerank-3 va rerank-3-lite’ni alohida tanlovlar sifatida saqlang: umumiy chegaralar va ko‘rsatmalarga amal qilish ularning sifat hamda kechikish ustuvorliklarini bir xil qilmaydi.