VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite — Voyage AI’ning 2.5 qayta tartiblovchilar relizidagi yengil model. Ishlab chiqaruvchi uni tabiiy tildagi ko‘rsatmalarga amal qilish va ko‘p tilli qo‘llab-quvvatlash bilan kechikish hamda muvofiqlik sifatini muvozanatlaydigan umumiy model sifatida ta’riflaydi. Uning kirishi so‘rov va nomzod matnlar, chiqishi esa shu nomzodlarning muvofiqlik ballari bilan aniqlashtirilgan tartibidir.

Ikkinchi bosqichdagi yengil muvofiqlik qarori

Lite modeli har bir so‘rov–hujjat juftligini cross-encoder sifatida birga qayta ishlaydi. U birinchi bosqich embedding yoki leksik qidiruvdan keyin kelib, shu bosqich tanlagan parchalarni aniqlashtirishi mumkin. Bu qayta ishlatiladigan embedding indeksini tayyorlashdan farq qiladi: qayta tartiblovchi joriy muvofiqlik qarori uchun yuborilgan so‘rov va hujjat matnini birga tekshiradi.

Interaktiv yordam qidiruvida foydalanuvchi savoliga javob berishi mumkin bo‘lgan nomzod izohlarni yuboring. Xatti-harakat va uning shartlarini yetkazish uchun har bir parchadan yetarli qismni saqlang hamda kirish indeksi bilan manba elementi o‘rtasidagi bog‘lanishni saqlang. Yo‘naltirilgan nomzodlar to‘plami qayta tartiblash topshirig‘ini aniqlashtirishga yordam beradi va topilgan dalillarni ko‘rsatish yoki keyingi javob uchun yaroqli saqlaydi.

Ko‘rsatmalar foydalanuvchi nimaga ustuvorlik berishni xohlashini ifodalaydi

rerank-2.5 kabi, Lite ham so‘rovdan oldin yoki keyin tabiiy tildagi ko‘rsatmalarni qabul qiladi. Ishlab chiqaruvchi misollarida ular hujjat qismlariga urg‘u berish, afzal manba turini tanlash yoki noaniq so‘zga kontekst qo‘shish uchun ishlatiladi. Ilova doimiy muvofiqlik afzalligini berishi yoki joriy savol aniqroq afzallikni o‘z ichiga olishi mumkin.

Yordam so‘rovi misolida xatoni qaysi parcha tushuntirishini so‘rab, umumiy mahsulot tavsiflaridan ko‘ra muammoni bartaraf etish qadamlariga ustuvorlik berish ko‘rsatmasini qo‘shish mumkin. Hujjat qidiruvida siyosat haqidagi muhokama o‘rniga uning asl matnini so‘rash mumkin. Kerakli dalilni tasvirlang va ko‘rsatmani qisqa saqlang. Ko‘rsatmalar muvofiqlik ballariga ta’sir qiladi; muvofiqlik afzalligini kafolatlangan filtr deb qabul qilmay, qat’iy versiya, sana yoki ruxsat cheklovlarini nomzod tanlashda tayyorlang.

Reytingni o‘qing va manba parchasini qaytaring

Chiqish muvofiqlik kamayishi bo‘yicha saralangan. Har bir natijada asl hujjat indeksi va suzuvchi nuqtali ball bor; ixtiyoriy return-documents sozlamasi tegishli kirish matnini ham qaytaradi. top-k opsiyasi nechta yetakchi natija qaytarilishini belgilaydi, u berilmasa barcha yuborilgan nomzodlar reytingi qaytariladi.

Manba parchasi va uning identifikatorini tiklash uchun shu indekslardan foydalaning. Qayta tartiblangan nomzod qidiruv natijasi yoki keyingi RAG bosqichi uchun dalil bo‘lishi mumkin, lekin chiqish qayta yozilgan javob emas, berilgan matnning tartibidir. Yetakchi parchalar savolni ham, muvofiqlik ko‘rsatmasini ham bajarishini, jumladan to‘plamda haqiqatan mavjud tillar va hujjat turlarida baholang.

Chegaralar va amaliy nomzod byudjeti

2.5 Lite nashrida so‘rov uchun hujjatlashtirilgan maksimum 8,000 token, so‘rov bilan har bir alohida hujjat uchun esa 32,000 tokenli chegara bor. U oldingi rerank-2-lite modeli va uning kichikroq kontekstidan alohida turadi. Ko‘pi bilan 1,000 hujjat yuborish mumkin, jami kirish esa quyidagi formula bo‘yicha 600,000 token bilan cheklangan: so‘rov tokenlari nomzodlar soniga ko‘paytiriladi va nomzod hujjatlar tokenlari yig‘indisi qo‘shiladi.

Kechikishga sezgir foydalanishda ishlab chiqaruvchining FAQ bo‘limi rerank-2.5-lite uchun har bir so‘rovda jami 200,000 tokendan oshmaslikni tavsiya qiladi. Bu har bir hujjat uchun boshqa oyna emas, ko‘rsatilgan maksimumdan pastdagi amaliy ko‘rsatmadir. Uzunroq so‘rov yoki ko‘rsatma har bir nomzod juftligi uchun bir marta hisoblanadi, shuning uchun nomzodlar soni ham, so‘rov uzunligi ham jami miqdorga ta’sir qiladi.

Qisqartirish standart holatda yoqilgan va ortiqcha uzun so‘rov/hujjat kirishini sig‘dirish uchun qisqartiradi; uni o‘chirish ortiqcha uzun so‘rov yoki juftlik uchun xato qaytaradi. Foydali dalil qisqartirilgan chegaradan tashqarida qolmasligi uchun javobni o‘z ichiga olgan ixcham nomzodlarni ataylab tayyorlang. top-k orqali kamroq chiqish natijasini tanlash boshqa yuborilgan nomzodlarni token hisobidan olib tashlamaydi. Qaytgan manba parchalarini tekshiring va kirishni tayyorlashni qidiruv interfeysi javob berishi kerak bo‘lgan haqiqiy savollar atrofida aniqlashtiring.