VoyageAI by MongoDB: rerank-2.5

rerank-2.5 is de instructievolgende reranker van Voyage AI, ontworpen om een verzameling zoekkandidaten te verfijnen. Het onderzoekt de zoekvraag en elk document samen als een cross-encoder en geeft vervolgens een relevantievolgorde terug. De release van de maker benadrukt sturing in natuurlijke taal van wat als relevant geldt, meertalige informatieophaling en een langere context voor zoekvraag en document dan de voorgaande editie rerank-2.

Geef het model de te vergelijken kandidaten

De invoer is een zoekvraag en een lijst kandidaat-tekstdocumenten. Dat kunnen passages zijn die door embeddingzoeken of een lexicale eerste zoekfase zijn geselecteerd. De reranker beoordeelt de aangeleverde tekst in plaats van corpusembeddings aan te maken, zodat zijn praktische taak bestaat uit het verfijnen van de kandidaten die de eerste zoekopdracht al vond.

Behoud de oorspronkelijke kandidaatvolgorde en bronidentifiers wanneer je die lijst voorbereidt. De teruggegeven indices verwijzen naar die invoerposities. Geef voor een RAG-taak de passages mee die de antwoordfase werkelijk zou kunnen gebruiken, inclusief de titel of voorwaarden die nodig zijn voor de interpretatie. Een relevant document dat in de ingediende kandidaatverzameling ontbreekt, kan niet als nieuw gevonden resultaat van herschikken verschijnen.

Specificeer de bedoelde betekenis van relevantie

Instructies kunnen vóór of na de zoekvraag worden geplaatst. De release beschrijft drie nuttige rollen: een bepaald documentdeel benadrukken, een brontype verkiezen en de zoekvraag met toepassingscontext verduidelijken. Die veranderen de relevantietaak die aan het model wordt voorgelegd.

Voor een technische zoekopdracht is een illustratieve instructie: “Geef voorrang aan passages die het fout- en herstelgedrag uitleggen; inleidende overzichten zijn ondergeschikt.” Specificeer voor een onderzoeksverzameling of de titel, methode of het resultaat het belangrijkst is. Vermeld bij een dubbelzinnige term over welk vakgebied de zoekopdracht gaat. Houd de vraag en de instructie verenigbaar, zodat de ene niet om een breed onderwerp vraagt terwijl de andere stilzwijgend de taak verandert.

Die voorkeuren sturen de relevantiescore. Als de toepassing strikte toelatingsvereisten heeft — zoals bronversie, datum of toegangsbereik — bereid de toegelaten kandidaatverzameling dan afzonderlijk voor. De relevantie-instructie van het model en een deterministische beperking van de verzameling dienen verschillende doelen.

Gerangschikte uitvoer en later gebruik van resultaten

Resultaten staan op aflopende relevantie en bevatten een relevantiescore als zwevendekommagetal en de oorspronkelijke invoerindex van de kandidaat. De optie top-k selecteert hoeveel hoogst gerangschikte resultaten worden teruggegeven; zonder die optie geeft de fabrikantspecificatie resultaten voor alle ingediende kandidaten terug. Een optionele instelling return-documents neemt de bijbehorende brontekst op; anders bevat het antwoord indices en scores.

Gebruik de volgorde om passages voor weergave of een latere antwoordfase te selecteren en behoud hun bronidentiteit. Onderzoek de werkelijke tekst bij het beoordelen van de rangschikking: de score meet relevantie voor de ingediende zoekvraag en is geen gegenereerd antwoord of verificatie dat de beweringen van het document correct zijn. Daardoor is het model bruikbaar voor het verfijnen van technisch, juridisch, financieel, medisch, gespreks- en meertalig zoekmateriaal zonder een rangschikking in een domeinconclusie te veranderen.

Context, totaal tokenbudget en afkappen

De gedocumenteerde zoekvraaglimiet bedraagt 8.000 tokens, inclusief instructies die in de zoekvraag zijn geplaatst. De zoekvraag plus elk afzonderlijk kandidaatdocument moet binnen 32.000 tokens passen en de documentenlijst mag maximaal 1.000 items bevatten. De totale toekenning bedraagt 600.000 tokens, geteld als zoekvraagtokens vermenigvuldigd met het aantal documenten, plus alle documenttokens. Een lange instructie wordt dus herhaaldelijk over de kandidaatparen geteld.

Het aantal uitvoerresultaten bij top-k verandert het aantal kandidaten in die invoertokenberekening niet. Standaard afkappen kort te lange zoekvragen of documenten in om aan de contextlimiet te voldoen; uitschakelen laat een te lange zoekvraag of een te lang paar een fout teruggeven. Bereid antwoorddragende passages bewust voor en houd de relevante voorwaarde binnen de tekst die het model zal zien. Evalueer de verfijnde volgorde op representatieve vragen en instructies en geef vervolgens de geselecteerde oorspronkelijke passages aan de volgende fase door.