VoyageAI by MongoDB: rerank-3

Voyage rerank-3 – tai tekstų perrikiavimo modelis, skirtas pagerinti surinktų įrodymų kokybę. Gavęs užklausą ir dokumentų kandidatų sąrašą, jis kartu nagrinėja kiekvieną porą ir grąžina kandidatus, surikiuotus pagal aktualumą. Įterpiniai ir raktažodžių paieška pirmiausia gali susiaurinti didelį rinkinį iki valdomo trumpojo sąrašo; tada rerank-3 šiam sąrašui taiko išsamesnį aktualumo vertinimą. Jo išvestis – balais įvertinti paieškos įrodymai, kuriuos programa gali rodyti arba perduoti atskiram atsakymo generavimo etapui.

Į kokybę orientuotas Rerank 3 Gamintojas rerank-3 pristato kaip tikslumui skirtą leidimą, o rerank-3-lite – kaip delsai jautrios paieškos leidimą. Trečiojoje kartoje atnaujinamas modelio pagrindas ir mokymo mišinys, ypač pagerinant ilgų dokumentų bei šaltinio kodo paiešką, palyginti su atitinkamais 2.5 pirmtakais. Gamintojas jį vertina su technine dokumentacija, kodu, daugiakalbe medžiaga ir kitomis dokumentų sritimis. Šie rezultatai pagrindžia jo paieškos paskirtį; leidimą rinkitės pagal jūsų rinkiniui svarbius klausimus ir dokumentus kandidatus.

Ilgi dokumentai su pakankamu kontekstu Ilgame kandidate naudingas kontekstas gali būti gerokai toliau nei pirmoji pastraipa. Pateikite vientisą dalį ar dokumentą su pavadinimu ir aktualia aplinkine medžiaga, kad modelis galėtų įvertinti tikrojo klausimo ryšį su turiniu. Produkto taisyklių paieškai išsaugokite antraštes ir išimtis aplink dominančią ištrauką. Jei kelios rastos dalys yra iš to paties šaltinio, išsaugokite jų dokumento ir dalies identifikatorius; programa tuomet galės parodyti, iš kur kilo pasirinkti įrodymai.

Konteksto langą dalijasi užklausa ir kiekvienas kandidatas. Dabartiniame gamintojo vadove šiai porai nurodyta 32 000 žetonų, įskaitant ne didesnę nei 8 000 žetonų užklausą. Todėl 3 000 žetonų užklausa kiekvienam dokumentui palieka daugiausia 29 000 žetonų. Įvestį parenkite taip, kad esminis turinys tilptų, ypač kai langą kitaip užimtų ilga įžanga ar pasikartojantis šabloninis tekstas. Dokumentuota nukirpimo parinktis įjungta pagal numatytuosius nustatymus ir prieš vertinimą gali sutrumpinti per didelę užklausą ar dokumentą. Kai svarbi ištraukos vieta, patikrinkite, kas išsaugoma.

Kodo ir techninės informacijos paieška Programavimo asistento paieškos etape kandidatuose kaip tekstas gali būti funkcijų realizacijos, API dokumentacija ar techniniai paaiškinimai. Įtraukite simbolius, signatūras ir kontekstą, reikalingus panašiems kandidatams atskirti. Užklausa, pavyzdžiui, „Raskite funkciją, kuri normalizuoja kelius, išsaugodama galinį skirtuką“, pateikia konkrečią atitiktiną elgseną. Pridėkite aktualius kalbos, platformos ar versijos apribojimus. Po reitingavimo patikrinkite pasirinktą kodą ir jo priklausomybes prieš naudodami jį kaip kontekstą; aktualumo balas neįrodo, kad realizacija atitinka kiekvieną įvardytą reikalavimą.

Nurodymai apibrėžia aktualumą Modelis išlaiko Rerank 2.5 įvestą perrikiavimo pagal nurodymus galimybę. Pridėkite glaustą nurodymą prieš užklausą ar po jos, kai reikia patikslinti naudotojo ketinimą. Tyrimo dokumentų paieškai paaiškinkite, ar dėmesys skiriamas pavadinimui, konkrečiam metodui ar taikymo sričiai. Vidiniam katalogui nurodykite, ar užklausa susijusi su diegimu, trikčių šalinimu ar suderinamumu. Šį nurodymą suderinkite su klausimu; papildomos nuostatos, prieštaraujančios pagrindiniam prašymui, gali pakeisti reitingavimo optimizuojamą tikslą.

Parenkite dokumentus kandidatus ir biudžetus Įvestis yra tekstinių eilučių sąrašas. Iš šaltinio dokumentų išgaukite naudojamą tekstą, išsaugokite prasmingas dalių ribas ir šalia sąrašo laikykite tvarkingą įrašų susiejimą. Gamintojas vienoje užklausoje leidžia iki 1 000 dokumentų. Jis taip pat nurodo bendrą 600 000 įvesties žetonų ribą: užklausos žetonai padauginti iš dokumentų skaičiaus ir pridėta visų dokumentų žetonų suma. Tai skiriasi nuo kiekvienos poros konteksto ribos. Sumažinus perteklinį užklausos tekstą, galima išsaugoti ir poros talpą, ir bendrą užklausos biudžetą.

Žetonus skaičiuokite aktualiam modeliui, užuot manę, kad žodžių ar simbolių skaičius yra žetonų skaičius. Dideliems kandidatams pasirinkite vientisas ištraukas arba suskirstykite medžiagą pagal naudingas antraštes, išsaugodami informaciją apie pagrindinį šaltinį. Perrikiavimas naudingiausias po to, kai pirmoji paieška jau rado tikėtinus kandidatus: jis negali reitinguoti trūkstamo šaltinio, kuris niekada nepateko į sąrašą.

Reitinguoti rezultatai ir tolesnis naudojimas Rezultate yra aktualumo balai ir indeksai, nurodantys pradinius įvesties dokumentus, surikiuoti mažėjančio aktualumo tvarka. Parinktis top_k riboja grąžinamų reitinguotų rezultatų skaičių; kitu atveju grąžinami visi įvesties kandidatai. Gamintojo REST sąsaja taip pat leidžia įtraukti dokumento tekstą. Naudodami kiekvieną pradinį indeksą atkurkite pavadinimą, šaltinio identifikatorių ir programai reikalingus metaduomenis, tada pateikite pasirinktus elementus ar supakuokite aktualų tekstą į atsakymo įrodymų kontekstą.

Aukščiausius rezultatus patikrinkite pagal klausimą ir išlaikykite matomą šaltinio tapatybę. Aukšta santykinė vieta nepatvirtina faktinio dokumento tikslumo, o trumpasis sąrašas su vien prastais kandidatais vis tiek turės pirmą elementą. Aktualumo atranką skirkite nuo sprendimo, ar pasirinktų įrodymų pakanka atsakyti naudotojui.

Perėjimas prie naujo leidimo Gamintojas rerank-3 apibūdina kaip tiesioginį rerank-2.5 pakaitalą su ta pačia API semantika ir balais, sukalibruotais pagal atitinkamo pirmtako pasiskirstymą. Šis suderinamumas leidžia išlaikyti esamą paieškos etapą ir įrašų susiejimą. Prieš pasikliaudami perėjimu, dabartiniame tekstyne palyginkite prasmingas rezultatų eiles ir naudojamus balų slenksčius. rerank-3 ir rerank-3-lite išlaikykite kaip atskirus pasirinkimus: bendros ribos ir nurodymų vykdymas nesuvienodina jų kokybės bei delsos prioritetų.