VoyageAI by MongoDB: rerank-3

Voyage rerank-3 is een tekstreranker die de kwaliteit van opgehaald bewijsmateriaal moet verbeteren. Met een zoekvraag en een lijst kandidaatdocumenten onderzoekt het elk paar samen en geeft het de kandidaten geordend op relevantie terug. Embeddings en trefwoordzoeken kunnen eerst een grote verzameling tot een beheersbare shortlist beperken; rerank-3 past vervolgens een gedetailleerdere relevantiebeoordeling op die shortlist toe. De uitvoer is gescoord zoekbewijsmateriaal dat een toepassing kan tonen of aan een afzonderlijke antwoordgeneratiestap kan doorgeven.

Kwaliteitsgerichte Rerank 3 De maker positioneert rerank-3 als de op nauwkeurigheid gerichte editie en rerank-3-lite als de editie voor latentiegevoelig zoeken. De derde generatie werkt de basisarchitectuur en trainingsmix bij, met specifieke verbeteringen voor het ophalen uit lange documenten en broncode ten opzichte van de overeenkomstige 2.5-voorgangers. De producent evalueert het op technische documentatie, code, meertalig materiaal en andere documentdomeinen. Die resultaten ondersteunen de ophaalrol; selecteer de editie op basis van de vragen en kandidaatdocumenten die voor je eigen verzameling belangrijk zijn.

Lange documenten met voldoende context Een lange kandidaat kan nuttige context bevatten die ver voorbij de openingsalinea ligt. Lever een samenhangende sectie of een document met de titel en relevant omliggend materiaal aan, zodat het model kan beoordelen hoe de werkelijke vraag zich tot de inhoud verhoudt. Behoud bij zoeken in productbeleid de koppen en uitzonderingen rond de relevante passage. Als meerdere opgehaalde secties uit dezelfde bron komen, behoud dan hun document- en sectie-identifiers; de toepassing kan zo tonen waar het geselecteerde bewijsmateriaal vandaan komt.

De zoekvraag en elke kandidaat delen het contextvenster. De huidige gids van de maker specificeert 32.000 tokens voor dat paar, inclusief een zoekvraag van maximaal 8.000 tokens. Een zoekvraag van 3.000 tokens laat dus maximaal 29.000 tokens voor elk document over. Bereid de invoer zo voor dat de essentiële inhoud past, vooral wanneer een lange inleiding of herhaalde standaardtekst anders het venster zou vullen. De gedocumenteerde afkapoptie is standaard ingeschakeld en kan te lange zoekvragen of documenttekst vóór het scoren inkorten. Onderzoek wat behouden blijft wanneer de plaats van een passage van belang is.

Code en technische informatie ophalen Voor de ophaalfase van een programmeerassistent kunnen kandidaten functie-implementaties, API-documentatie of technische uitleg als tekst bevatten. Voeg de symbolen, signatures en context toe die nodig zijn om vergelijkbare kandidaten te onderscheiden. Een zoekvraag zoals “Vind de functie die paden normaliseert met behoud van een afsluitend scheidingsteken” geeft concreet gedrag om op te matchen. Voeg eventuele relevante taal-, platform- of versievoorwaarden toe. Onderzoek na de rangschikking de geselecteerde code en de afhankelijkheden voordat je die als context gebruikt; een relevantiescore bewijst niet dat een implementatie aan elke opgegeven vereiste voldoet.

Instructies bepalen relevantie Het model behoudt de mogelijkheid voor instructiegestuurd herschikken die in Rerank 2.5 werd ingevoerd. Plaats een beknopte instructie vóór of na de zoekvraag wanneer de gebruikersbedoeling verduidelijking vereist. Leg bij zoeken in onderzoeksdocumenten uit of de nadruk op de titel, een bepaalde methode of een toepassingsdomein ligt. Specificeer voor een interne catalogus of de aanvraag over installatie, probleemoplossing of compatibiliteit gaat. Houd die instructie in lijn met de vraag; extra voorkeuren die met de hoofdvraag botsen, kunnen veranderen wat de rangschikking probeert te optimaliseren.

Bereid kandidaatdocumenten en budgetten voor De invoer is een lijst tekststrings. Haal bruikbare tekst uit brondocumenten, behoud betekenisvolle sectiegrenzen en houd een geordende registratiekoppeling naast de lijst bij. De maker staat maximaal 1.000 documenten in één aanvraag toe. Hij specificeert ook een totaal invoerplafond van 600.000 tokens: zoekvraagtokens vermenigvuldigd met het aantal documenten, plus de som van alle documenttokens. Dit verschilt van de contextlimiet per paar. Overbodige zoekvraagtekst verminderen kan zowel de paarcapaciteit als het totale aanvraagbudget behouden.

Tel tokens voor het relevante model in plaats van aan te nemen dat een woord- of tekentelling een tokentelling is. Selecteer voor grote kandidaten samenhangende passages of deel het materiaal op volgens nuttige koppen en behoud daarbij informatie over de bovenliggende bron. Herschikken is het nuttigst wanneer de eerste zoekopdracht al aannemelijke kandidaten heeft gevonden: het kan een ontbrekende bron die nooit in de lijst kwam niet rangschikken.

Gerangschikte resultaten en verder gebruik Het resultaat bevat relevantiescores en indices die naar de oorspronkelijke invoerdocumenten verwijzen, gesorteerd op aflopende relevantie. De optie top_k beperkt het aantal teruggegeven gerangschikte resultaten; anders worden alle invoerkandidaten teruggegeven. De REST-interface van de maker laat ook toe de documenttekst op te nemen. Gebruik elke oorspronkelijke index om de titel, bronidentifier en eventuele metagegevens die je toepassing nodig heeft terug te vinden en toon vervolgens de geselecteerde items of neem de relevante tekst op in de bewijscontext van een antwoord.

Toets de bovenste resultaten aan de vraag en houd de bronidentiteit zichtbaar. Een hoge relatieve rang verifieert de feitelijke juistheid van een document niet en een shortlist met alleen slechte kandidaten heeft nog steeds een eerste item. Scheid relevantieselectie van de beslissing of het geselecteerde bewijsmateriaal volstaat om de gebruiker te antwoorden.

Editiemigratie De maker beschrijft rerank-3 als een rechtstreeks vervangbare opvolger van rerank-2.5, met dezelfde API-semantiek en scores die op de verdeling van de overeenkomstige voorganger zijn gekalibreerd. Die compatibiliteit ondersteunt het behoud van een bestaande ophaalfase en registratiekoppeling. Vergelijk betekenisvolle resultaatvolgordes en eventuele scoredrempels op het huidige corpus voordat je op de migratie vertrouwt. Houd rerank-3 en rerank-3-lite als afzonderlijke keuzes: gedeelde limieten en de mogelijkheid om instructies te volgen maken hun prioriteiten voor kwaliteit en latentie niet identiek.