VoyageAI by MongoDB: rerank-2.5

rerank-2.5 ist Voyage AIs anweisungsbefolgender Reranker zur Verfeinerung einer Auswahl von Suchkandidaten. Er untersucht Anfrage und jedes Dokument gemeinsam als Cross-Encoder und gibt anschließend eine Relevanzreihenfolge zurück. Die Herstellerveröffentlichung betont natürlichsprachliche Steuerung dessen, was als relevant gilt, mehrsprachigen Abruf und einen längeren Anfrage-Dokument-Kontext als bei der vorherigen Ausgabe rerank-2.

Dem Modell die zu vergleichenden Kandidaten geben

Die Eingabe besteht aus einer Anfrage und einer Liste von Textdokumentkandidaten. Dies können durch Embedding-Suche oder eine lexikalische Suche der ersten Stufe ausgewählte Textstellen sein. Der Reranker bewertet den bereitgestellten Text, statt Korpus-Embeddings zu erstellen; seine praktische Aufgabe ist daher die Verfeinerung der Kandidaten, die die anfängliche Suche bereits gefunden hat.

Erhalten Sie bei der Vorbereitung dieser Liste die ursprüngliche Kandidatenreihenfolge und Quellenkennungen. Die zurückgegebenen Indizes verweisen auf diese Eingabepositionen. Stellen Sie für eine RAG-Aufgabe die Textstellen bereit, die die Antwortstufe tatsächlich verwenden könnte, einschließlich des Titels oder der zur Interpretation nötigen Bedingungen. Ein relevantes Dokument, das in der eingereichten Kandidatenauswahl fehlt, kann nicht als neu gefundenes Reranking-Ergebnis erscheinen.

Den gewünschten Relevanzbegriff vorgeben

Anweisungen können an die Anfrage angehängt oder ihr vorangestellt werden. Die Veröffentlichung beschreibt drei nützliche Rollen: einen bestimmten Dokumentteil hervorheben, einen Quellentyp bevorzugen und die Anfrage mit Anwendungskontext eindeutig machen. Diese verändern die dem Modell gestellte Relevanzaufgabe.

Für eine technische Suche lautet eine beispielhafte Anweisung: „Priorisiere Textstellen, die Fehler- und Wiederherstellungsverhalten erklären; einführende Übersichten sind nachrangig.“ Geben Sie für eine Forschungssammlung an, ob Titel, Methode oder Ergebnis am wichtigsten sind. Nennen Sie bei einem mehrdeutigen Begriff das Themengebiet der Suche. Halten Sie Frage und Anweisung vereinbar, damit nicht eine ein breites Thema verlangt, während die andere unbemerkt die Aufgabe verändert.

Diese Präferenzen steuern die Relevanzbewertung. Hat die Anwendung strikte Zulässigkeitsanforderungen – etwa Quellversion, Datum oder Zugriffsbereich –, bereiten Sie die zulässige Kandidatenauswahl separat vor. Die Relevanzanweisung des Modells und eine deterministische Sammlungsbeschränkung erfüllen unterschiedliche Zwecke.

Eingeordnete Ausgabe und spätere Ergebnisnutzung

Die Ergebnisse sind absteigend nach Relevanz geordnet und enthalten einen Gleitkomma-Relevanzwert sowie den ursprünglichen Eingabeindex des Kandidaten. Die Option top-k legt fest, wie viele führende Ergebnisse zurückgegeben werden; ohne sie gibt die Herstellerspezifikation Ergebnisse für alle eingereichten Kandidaten zurück. Eine optionale Einstellung return-documents fügt den entsprechenden Quelltext bei; andernfalls enthält die Antwort Indizes und Werte.

Verwenden Sie die Reihenfolge zur Auswahl von Textstellen für die Anzeige oder eine spätere Antwortstufe und erhalten Sie deren Quellenidentität. Prüfen Sie bei der Bewertung der Rangfolge den tatsächlichen Text: Der Wert misst Relevanz zur eingereichten Anfrage, ist keine generierte Antwort und keine Verifizierung der Richtigkeit von Dokumentaussagen. Dadurch ist das Modell nützlich zur Verfeinerung technischer, rechtlicher, finanzieller, medizinischer, gesprächsbezogener und mehrsprachiger Suchmaterialien, ohne Rangbildung in eine fachliche Schlussfolgerung umzudeuten.

Kontext, gesamtes Tokenbudget und Kürzung

Die dokumentierte Anfragegrenze beträgt 8.000 Token einschließlich der in der Anfrage enthaltenen Anweisungen. Die Anfrage plus ein einzelnes Kandidatendokument muss innerhalb von 32.000 Token liegen, und die Dokumentliste darf höchstens 1.000 Elemente enthalten. Das Gesamtbudget beträgt 600.000 Token, gezählt als Anfrage-Token multipliziert mit der Dokumentanzahl plus alle Dokument-Token. Eine lange Anweisung wird daher über die Kandidatenpaare hinweg wiederholt gezählt.

Die Ausgabeanzahl top-k verändert nicht die Zahl der Kandidaten in dieser Eingabe-Tokenberechnung. Standardmäßige Kürzung verkürzt zu lange Anfragen oder Dokumente auf die Kontextgrenze; bei Deaktivierung gibt eine zu lange Anfrage oder ein zu langes Paar einen Fehler zurück. Bereiten Sie antworttragende Textstellen bewusst vor und halten Sie die relevante Bedingung innerhalb des Texts, den das Modell sehen wird. Bewerten Sie die verfeinerte Reihenfolge anhand repräsentativer Fragen und Anweisungen und übergeben Sie anschließend die ausgewählten ursprünglichen Textstellen an die nächste Stufe.