VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite – tai į mažą delsą orientuotas Voyage Rerank 3 serijos leidimas. Jis priima tekstinę užklausą ir dokumentus kandidatus, kartu įvertina kiekvieną užklausos bei dokumento porą ir grąžina aktualumo balus reitingavimo tvarka. Jis skirtas antrajam paieškos etapui: įterpinių ar raktažodžių paieška randa kandidatus, o Lite patikslina jų eilę. Rezultatas – reitingas, naudojamas paieškoje ar paieška papildyto generavimo darbo eigoje.

Kas keičiasi Rerank 3 Lite Gamintojas pabrėžia geresnę ilgų dokumentų ir kodo paiešką, palyginti su rerank-2.5-lite. Abu Rerank 3 leidimai išlaiko nurodymų vykdymą ir tą pačią 32K konteksto klasę, o Lite skirtas delsai jautrioms programoms. Dėl to jis yra praktiškas kandidatas interaktyviai žinių bazės paieškai, pagalbos dokumentų paieškai ir kodo paieškai, kai naudotojams aktualių rezultatų reikia greitai. Rinkitės pagal tikrojo rinkinio kokybės ir atsako laiko reikalavimus, užuot manę, kad mažesnis leidimas reiškia mažesnį konteksto langą.

Aktualumą nukreipkite užklausa Prie užklausos galima pridėti natūralios kalbos nurodymus, paaiškinančius, kas laikoma aktualiu. Klausimas ir aktualumo nuostata turi būti glausti bei nuoseklūs. Programinės įrangos pagalbos paieškai naudokite: „Raskite įrenginio atkūrimo procedūrą; pirmenybę teikite nurodytai aparatinės įrangos revizijai skirtiems nurodymams.“ Dviprasmiškam produkto pavadinimui pridėkite produkto kategoriją, kad nedominuotų nesusijusios reikšmės. Užklausos nuostata nukreipia semantinį vertinimą; prieš sudarydami kandidatų sąrašą, aiškiais rinkinio metaduomenimis pasirinkite tinkamą produktą, dokumento versiją ar prieigos apimtį.

Parenkite trumpą tekstinių kandidatų sąrašą Įvesties dokumentai yra eilutės. Iš šaltinio medžiagos išgaukite įskaitomą tekstą ir išsaugokite naudingus pavadinimus, antraštes, identifikatorius bei aplinkinį kontekstą. Išlaikykite pastovią kiekvienos įvesties pozicijos sąsają su pradiniu įrašu. Trikčių šalinimo straipsniui įtraukite požymį ir aktualią procedūrą, o ne vien atskirtą sakinį. Šaltinio kodo paieškai įtraukite funkciją ir gretimą informaciją, reikalingą jai atskirti nuo panašiai pavadintų funkcijų. Pašalinkite pasikartojančią navigaciją ar šabloninį tekstą, kai jie išstumia naudingą ištrauką.

Perrikiavimo modelis gali perrikiuoti tik gautus dokumentus. Jei pirmoji paieška niekada neranda aktualaus straipsnio, šis etapas negali atkurti trūkstamo kandidato. Kai rezultatas atrodo neteisingas, tikrinkite ir trumpąjį sąrašą, ir galutinę eilę. Kai ilgas dokumentas apima daug temų, atskirkite vientisas dalis ir išsaugokite jų nuorodas į pagrindinį dokumentą, kad aktualią dalį būtų galima pasirinkti neprarandant šaltinio.

Konteksto ir užklausos ribos Dabartiniame gamintojo vadove nurodyta didžiausia 8 000 žetonų užklausa ir bendras 32 000 žetonų limitas užklausai bei kiekvienam atskiram dokumentui. Leidžiama iki 1 000 dokumentų kandidatų ir bendras 600 000 žetonų užklausos biudžetas, skaičiuojamas užklausos žetonus padauginus iš dokumentų skaičiaus ir pridėjus visų dokumentų žetonus. Todėl ilga užklausa užima vietą kiekvienoje poroje ir pakartotinai prisideda prie bendro biudžeto. Pateiktą tekstą skaičiuokite tinkamu modelio žetonizatoriumi, užuot simbolius, žodžius ir žetonus laikę sukeičiamais vienetais.

Pavyzdžiui, 500 žetonų užklausa su 100 dokumentų po 4 000 žetonų pagal šią formulę sudaro 450 000 įvesties žetonų. Tai iliustruoja biudžeto skaičiavimą, o ne rekomenduojamą trumpojo sąrašo dydį ar išmatuotą spartą. Dokumentuota nukirpimo parinktis įjungta pagal numatytuosius nustatymus; per didelis tekstas gali būti sutrumpintas prieš vertinimą. Svarbias dalis parenkite apgalvotai, kad nukirpimas nepašalintų būtent tos ištraukos, kurią reikia atitikti.

Perskaitykite ir naudokite rezultatą Rezultatai rikiuojami nuo didžiausio aktualumo balo žemyn. Kiekvienas rezultatas nurodo pradinę dokumento įvesties poziciją, todėl programa gali pridėti savo pavadinimą, įrašo identifikatorių ir šaltinį. Nustatymas top_k valdo grąžinamų reitinguotų kandidatų skaičių; jo nenurodžius, grąžinami visi kandidatai. Gamintojo REST sąsaja taip pat gali grąžinti dokumento tekstą. Rodydami paieškos puslapį ar perduodami įrodymus atsakymo generavimo etapui, su pasirinktais rezultatais išsaugokite pradinius identifikatorius.

Aktualumo balas išreiškia, kaip gerai kandidatas atitinka užklausą; jis nepagrindžia kandidato teiginių teisingumo. Aukščiausiai įvertintus elementus palyginkite su tikruoju naudotojo klausimu, įskaitant išimtis ir dokumentų versijų skirtumus. Jei visi kandidatai neaktualūs, aukščiausiai reitinguotas elementas vis tiek egzistuoja. Naudodami reprezentatyvias rinkinio užklausas nuspręskite, kaip programa turi elgtis tokiu atveju.

Atnaujinimas ir leidimo pasirinkimas Gamintojas rerank-3-lite apibūdina kaip rerank-2.5-lite atnaujinimą su nepakitusia API semantika ir balais, sukalibruotais pagal atitinkamo pirmtako pasiskirstymą. Išsaugokite esamą įrašų susiejimą bei paieškos etapą, tada prasmingomis užklausomis palyginkite gautą eilę, prieš pasikliaudami nustatytu balo slenksčiu. Lite naudokite paieškai, kur svarbus atsako laikas; į kokybę orientuotą rerank-3 leidimą naudokite palyginimui, kai svarbesnis prioritetas yra sudėtingų kandidatų aktualumas.