VoyageAI by MongoDB: rerank-3

Voyage rerank-3 je textový reranker navrhnutý na zvýšenie kvality získaných dôkazov. Pri dopyte a zozname kandidátskych dokumentov spoločne skúma každý pár a vracia kandidátov zoradených podľa relevancie. Embeddingy a vyhľadávanie podľa kľúčových slov môžu najprv zúžiť veľkú zbierku na zvládnuteľný užší výber; rerank-3 potom na tento výber uplatní podrobnejšie posúdenie relevancie. Jeho výstupom sú skórované dôkazy z vyhľadávania, ktoré aplikácia môže zobraziť alebo odovzdať do samostatného kroku generovania odpovede.

Rerank 3 zameraný na kvalitu Výrobca predstavuje rerank-3 ako edíciu zameranú na presnosť a rerank-3-lite ako edíciu pre vyhľadávanie citlivé na latenciu. Tretia generácia aktualizuje základnú architektúru a tréningovú zmes, s osobitnými zlepšeniami vyhľadávania v dlhých dokumentoch a zdrojovom kóde oproti zodpovedajúcim predchodcom 2.5. Výrobca ju hodnotí na technickej dokumentácii, kóde, viacjazyčnom materiáli a ďalších dokumentových oblastiach. Tieto výsledky podporujú jej vyhľadávaciu úlohu; edíciu vyberajte podľa otázok a kandidátskych dokumentov dôležitých pre vlastnú zbierku.

Dlhé dokumenty s dostatočným kontextom Dlhý kandidát môže obsahovať užitočný kontext ďaleko za úvodným odsekom. Dodajte súdržnú časť alebo dokument s názvom a príslušným okolitým materiálom, aby model mohol posúdiť vzťah skutočnej otázky k obsahu. Pri vyhľadávaní produktových pravidiel zachovajte nadpisy a výnimky okolo dôležitého úryvku. Ak viacero získaných častí pochádza z toho istého zdroja, zachovajte ich identifikátory dokumentov a častí; aplikácia potom môže ukázať pôvod vybraných dôkazov.

Kontextové okno zdieľa dopyt a každý kandidát. Aktuálna príručka výrobcu uvádza 32 000 tokenov pre tento pár vrátane dopytu s najviac 8 000 tokenmi. Dopyt s 3 000 tokenmi teda necháva najviac 29 000 tokenov na každý dokument. Vstup pripravte tak, aby sa zmestil jeho podstatný obsah, najmä keď by okno inak spotreboval dlhý úvod alebo opakovaný šablónový text. Zdokumentovaná voľba skracovania je predvolene zapnutá a pred skórovaním môže skrátiť nadmerne dlhý text dopytu alebo dokumentu. Keď záleží na umiestnení úryvku, preskúmajte, čo zostáva zachované.

Vyhľadávanie v kóde a technickom obsahu Vo fáze získavania informácií pre programovacieho asistenta môžu kandidáti obsahovať implementácie funkcií, dokumentáciu API alebo technické vysvetlenia ako text. Uveďte symboly, signatúry a kontext potrebné na odlíšenie podobných kandidátov. Dopyt ako „Nájdite funkciu, ktorá normalizuje cesty a pritom zachováva koncový oddeľovač“ dáva konkrétne správanie na vyhľadanie. Pripojte príslušné obmedzenia jazyka, platformy alebo verzie. Po zoradení preskúmajte vybraný kód a jeho závislosti pred použitím ako kontextu; skóre relevancie nedokazuje, že implementácia spĺňa každú uvedenú požiadavku.

Pokyny definujú relevanciu Model zachováva schopnosť preusporiadania podľa pokynov zavedenú v Rerank 2.5. Ak zámer používateľa potrebuje spresnenie, na začiatok alebo koniec dopytu pridajte stručný pokyn. Pri vyhľadávaní rešeršných dokumentov vysvetlite, či je dôraz na názve, konkrétnej metóde alebo oblasti použitia. Pri internom katalógu určte, či sa požiadavka týka inštalácie, riešenia problémov alebo kompatibility. Pokyn udržte v súlade s otázkou; dodatočné preferencie, ktoré odporujú hlavnej požiadavke, môžu zmeniť cieľ optimalizácie poradia.

Pripravte kandidátske dokumenty a rozpočty Vstupom je zoznam textových reťazcov. Zo zdrojových dokumentov extrahujte použiteľný text, zachovajte zmysluplné hranice častí a pri zozname udržujte usporiadanú mapu záznamov. Výrobca povoľuje najviac 1 000 dokumentov v jednej požiadavke. Uvádza aj súhrnný strop vstupu 600 000 tokenov: tokeny dopytu krát počet dokumentov plus súčet všetkých tokenov dokumentov. To sa líši od kontextového limitu jedného páru. Obmedzenie nadbytočného textu dopytu môže zachovať kapacitu páru aj celkový rozpočet požiadavky.

Tokeny počítajte pre príslušný model a nepredpokladajte, že počet slov alebo znakov je počtom tokenov. Pri veľkých kandidátoch vyberte súdržné úryvky alebo rozdeľte materiál podľa užitočných nadpisov a zachovajte informácie o nadradenom zdroji. Preusporiadanie je najužitočnejšie po tom, ako prvé vyhľadávanie už našlo vierohodných kandidátov: nemôže zoradiť chýbajúci zdroj, ktorý sa nikdy nedostal do zoznamu.

Zoradené výsledky a následné použitie Výsledok obsahuje skóre relevancie a indexy odkazujúce na pôvodné vstupné dokumenty, zoradené zostupne podľa relevancie. Voľba top_k obmedzuje počet vrátených zoradených výsledkov; inak sa vracajú všetci vstupní kandidáti. Rozhranie REST výrobcu umožňuje zahrnúť aj text dokumentu. Pomocou každého pôvodného indexu obnovte názov, identifikátor zdroja a metadáta potrebné pre aplikáciu a potom vybrané položky zobrazte alebo príslušný text vložte do kontextu dôkazov pre odpoveď.

Najvyššie výsledky preskúmajte voči otázke a identitu zdroja udržujte viditeľnú. Vysoké relatívne umiestnenie neoveruje faktickú správnosť dokumentu a užší výber obsahujúci iba slabých kandidátov bude stále mať prvú položku. Výber podľa relevancie oddeľte od rozhodovania, či vybrané dôkazy postačujú na odpoveď používateľovi.

Migrácia edície Výrobca opisuje rerank-3 ako priamo zameniteľného nástupcu rerank-2.5 s rovnakou sémantikou API a skóre kalibrovaným na rozdelenie zodpovedajúceho predchodcu. Táto kompatibilita podporuje zachovanie existujúcej fázy získavania a mapovania záznamov. Pred spoľahnutím sa na migráciu porovnajte zmysluplné poradia výsledkov a prípadný prah skóre na aktuálnom korpuse. Rerank-3 a rerank-3-lite zachovajte ako odlišné voľby: spoločné limity a dodržiavanie pokynov nerobia ich priority kvality a latencie totožnými.