VoyageAI by MongoDB: rerank-3

Voyage rerank-3 je besedilni model za ponovno razvrščanje, zasnovan za izboljšanje kakovosti pridobljenih dokazov. Ob poizvedbi in seznamu kandidatnih dokumentov skupaj preuči vsak par ter vrne kandidate, urejene po relevantnosti. Vdelave in iskanje po ključnih besedah lahko najprej zožijo veliko zbirko na obvladljiv ožji izbor; rerank-3 nato na njem izvede podrobnejšo presojo relevantnosti. Njegov izhod so ocenjeni iskalni dokazi, ki jih aplikacija prikaže ali posreduje v ločeni korak ustvarjanja odgovora.

Kakovostno usmerjeni Rerank 3 Proizvajalec rerank-3 umešča kot izdajo, osredotočeno na natančnost, rerank-3-lite pa kot izdajo za iskanje, občutljivo na zakasnitev. Tretja generacija posodablja ogrodje in učno mešanico ter v primerjavi z ustreznima predhodnikoma 2.5 posebej izboljšuje pridobivanje dolgih dokumentov in izvorne kode. Ponudnik jo ocenjuje na tehnični dokumentaciji, kodi, večjezičnem gradivu in drugih dokumentnih področjih. Ti rezultati podpirajo njeno vlogo pridobivanja; izdajo izberite z vprašanji in kandidatnimi dokumenti, pomembnimi za lastno zbirko.

Dolgi dokumenti z dovolj konteksta Dolg kandidat lahko vsebuje uporaben kontekst precej za uvodnim odstavkom. Priložite skladen razdelek ali dokument z naslovom in ustreznim okoliškim gradivom, da lahko model presodi povezavo dejanskega vprašanja z vsebino. Pri iskanju pravil za izdelek ohranite naslove in izjeme okoli zanimivega odlomka. Če več pridobljenih razdelkov izvira iz istega vira, ohranite njihove identifikatorje dokumenta in razdelka; aplikacija lahko nato prikaže izvor izbranih dokazov.

Kontekstno okno si delita poizvedba in vsak kandidat. Trenutni proizvajalčev vodnik za ta par določa 32.000 žetonov, vključno s poizvedbo z največ 8.000 žetoni. Poizvedba s 3.000 žetoni zato za vsak dokument pusti največ 29.000 žetonov. Vhod pripravite tako, da njegova bistvena vsebina ustreza, zlasti kadar bi dolg uvod ali ponavljajoče se standardno besedilo sicer porabila okno. Dokumentirana možnost krajšanja je privzeto omogočena in lahko pred ocenjevanjem skrajša predolgo poizvedbo ali besedilo dokumenta. Kadar je položaj odlomka pomemben, preglejte ohranjeno vsebino.

Pridobivanje kode in tehničnega gradiva Pri stopnji pridobivanja programerskega pomočnika lahko kandidati kot besedilo vsebujejo implementacije funkcij, dokumentacijo API ali tehnična pojasnila. Vključite simbole, podpise in kontekst, potrebne za razlikovanje podobnih kandidatov. Poizvedba, kot je »Poišči funkcijo, ki normalizira poti in pri tem ohrani zaključno ločilo«, določi konkretno obnašanje za ujemanje. Dodajte morebitne omejitve jezika, platforme ali različice. Po razvrstitvi preučite izbrano kodo in njene odvisnosti, preden jo uporabite kot kontekst; ocena relevantnosti ne dokazuje, da implementacija izpolnjuje vsako navedeno zahtevo.

Navodila določajo relevantnost Model ohranja zmožnost ponovnega razvrščanja po navodilih, uvedeno v Rerank 2.5. Kadar je treba pojasniti uporabnikov namen, pred poizvedbo ali za njo dodajte kratko navodilo. Pri iskanju raziskovalnih dokumentov pojasnite, ali je poudarek na naslovu, določeni metodi ali področju uporabe. Pri notranjem katalogu določite, ali zahteva zadeva namestitev, odpravljanje težav ali združljivost. Navodilo naj bo usklajeno z vprašanjem; dodatne preference, ki nasprotujejo glavni zahtevi, lahko spremenijo cilj optimizacije razvrstitve.

Pripravite kandidatne dokumente in proračune Vhod je seznam besedilnih nizov. Iz izvornih dokumentov izluščite uporabno besedilo, ohranite smiselne meje razdelkov in ob seznamu hranite urejeno preslikavo zapisov. Proizvajalec v eni zahtevi dopušča do 1.000 dokumentov. Določa tudi skupno zgornjo mejo vhoda 600.000 žetonov: žetoni poizvedbe, pomnoženi s številom dokumentov, plus vsota vseh žetonov dokumentov. To se razlikuje od omejitve konteksta posameznega para. Zmanjšanje odvečnega besedila poizvedbe lahko ohrani zmogljivost para in skupni proračun zahteve.

Žetone štejte za ustrezni model, namesto da predpostavljate, da je število besed ali znakov enako številu žetonov. Pri velikih kandidatih izberite skladne odlomke ali gradivo razdelite po uporabnih naslovih, pri čemer ohranite podatke o nadrejenem viru. Ponovno razvrščanje je najuporabnejše, ko prvo iskanje že izpostavi verjetne kandidate: manjkajočega vira, ki ni prišel na seznam, ne more razvrstiti.

Razvrščeni rezultati in nadaljnja uporaba Rezultat vsebuje ocene relevantnosti in indekse, ki se nanašajo na izvirne vhodne dokumente, razvrščene po padajoči relevantnosti. Možnost top_k omeji število vrnjenih razvrščenih rezultatov; sicer se vrnejo vsi vhodni kandidati. Proizvajalčev vmesnik REST omogoča tudi vključitev besedila dokumenta. Z vsakim izvirnim indeksom pridobite naslov, identifikator vira in morebitne metapodatke, ki jih aplikacija potrebuje, nato prikažite izbrane elemente ali ustrezno besedilo vključite v kontekst dokazov za odgovor.

Najboljše rezultate primerjajte z vprašanjem in ohranite vidno identiteto virov. Visoka relativna uvrstitev ne preverja stvarne pravilnosti dokumenta, ožji izbor s samimi slabimi kandidati pa bo še vedno imel prvi element. Izbiro po relevantnosti ločite od odločitve, ali izbrani dokazi zadoščajo za odgovor uporabniku.

Prehod med izdajami Proizvajalec rerank-3 opisuje kot neposredno zamenljivega naslednika rerank-2.5 z enako semantiko API in ocenami, kalibriranimi na porazdelitev ustreznega predhodnika. Ta združljivost podpira ohranitev obstoječe stopnje pridobivanja in preslikave zapisov. Preden se zanesete na prehod, primerjajte smiselne vrstne rede rezultatov in morebitni prag ocene na trenutnem korpusu. Modela rerank-3 in rerank-3-lite ohranite kot ločeni izbiri: skupne omejitve in sledenje navodilom ne pomenijo enakih prednostnih nalog glede kakovosti in zakasnitve.