VoyageAI by MongoDB: rerank-2.5

rerank-2.5 is de instructievolgende reranker van Voyage AI, ontworpen om een reeks zoekkandidaten te verfijnen. Het onderzoekt de zoekvraag en elk document gezamenlijk als cross-encoder en geeft daarna een relevantievolgorde terug. De release van de maker benadrukt controle in natuurlijke taal over wat als relevant geldt, meertalige retrieval en een langere zoekvraag-documentcontext dan de voorgaande rerank-2-editie.

Geef het model de te vergelijken kandidaten

De invoer is een zoekvraag en een lijst kandidaattekstdocumenten. Dit kunnen passages zijn die door embeddingzoeken of een lexicale eerste zoekfase zijn geselecteerd. De reranker beoordeelt de aangeleverde tekst in plaats van corpusembeddings te maken, dus zijn praktische taak is de kandidaten te verfijnen die de eerste zoekopdracht al vond.

Behoud de oorspronkelijke kandidaatvolgorde en bronidentificatoren bij het voorbereiden van die lijst. De teruggegeven indices verwijzen naar die invoerposities. Lever voor een RAG-taak de passages aan die de antwoordfase daadwerkelijk zou kunnen gebruiken, inclusief de titel of voorwaarden die voor de interpretatie nodig zijn. Een relevant document dat ontbreekt in de ingediende kandidatenreeks kan niet als nieuw gevonden resultaat van reranking verschijnen.

Specificeer de beoogde betekenis van relevantie

Instructies kunnen vóór of achter de zoekvraag worden toegevoegd. De release beschrijft drie bruikbare rollen: een bepaald deel van een document benadrukken, een brontype verkiezen en de zoekvraag met toepassingscontext verduidelijken. Deze veranderen de relevantietaak die aan het model wordt voorgelegd.

Een illustratieve instructie voor technisch zoeken is: “Geef voorrang aan passages die het fout- en herstelgedrag uitleggen; inleidende overzichten zijn ondergeschikt.” Specificeer voor een onderzoekscollectie of titel, methode of resultaat het belangrijkst is. Vermeld voor een dubbelzinnige term het vakgebied waarop de zoekopdracht betrekking heeft. Houd vraag en instructie verenigbaar, zodat de ene niet om een breed onderwerp vraagt terwijl de andere de taak stilzwijgend verandert.

Deze voorkeuren sturen de relevantiescoring. Als de toepassing strikte toelatingseisen heeft — zoals bronversie, datum of toegangsafbakening — bereid dan de toegelaten kandidatenreeks afzonderlijk voor. De relevantie-instructie van het model en een deterministische collectiebeperking dienen verschillende doelen.

Gerangschikte uitvoer en later gebruik van resultaten

Resultaten worden op aflopende relevantie geordend en bevatten een relevantiescore als drijvendekommagetal en de oorspronkelijke invoerindex van de kandidaat. De optie top-k kiest hoeveel best gerangschikte resultaten moeten worden teruggegeven; zonder die optie geeft de specificatie van de fabrikant resultaten voor alle ingediende kandidaten terug. Een optionele instelling return-documents neemt de bijbehorende brontekst op; anders bevat de respons indices en scores.

Gebruik de volgorde om passages te selecteren voor weergave of een latere antwoordfase en houd hun bronidentiteit intact. Controleer de daadwerkelijke tekst bij het beoordelen van de rangschikking: de score is een maat voor de relevantie voor de ingediende zoekvraag, geen gegenereerd antwoord of verificatie dat de beweringen in het document juist zijn. Dit maakt het model nuttig voor het verfijnen van technisch, juridisch, financieel, medisch, conversationeel en meertalig zoekmateriaal zonder rangschikking om te zetten in een inhoudelijke domeinconclusie.

Context, totaal tokenbudget en afkappen

De gedocumenteerde zoekvraaglimiet is 8.000 tokens, inclusief instructies in de zoekvraag. De zoekvraag plus één kandidaatdocument moet binnen 32.000 tokens passen en de documentlijst mag maximaal 1.000 items bevatten. De totale ruimte is 600.000 tokens, geteld als zoekvraagtokens vermenigvuldigd met het aantal documenten, plus alle documenttokens. Een lange instructie wordt dus herhaaldelijk meegeteld over de kandidatenparen.

Het aantal uitvoerresultaten bij top-k verandert het aantal kandidaten in die invoertokenberekening niet. Standaard afkappen verkort te lange zoekvragen of documenten om aan de contextlimiet te voldoen; uitschakelen zorgt dat een te lange zoekvraag of een te lang paar een fout teruggeeft. Bereid antwoorddragende passages bewust voor en houd de relevante voorwaarden binnen de tekst die het model zal zien. Beoordeel de verfijnde volgorde op representatieve vragen en instructies en geef daarna de geselecteerde oorspronkelijke passages door aan de volgende fase.