VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite ist das leichtgewichtige Mitglied von Voyage AIs Reranker-Veröffentlichung 2.5. Der Hersteller beschreibt es als Allroundmodell mit einer Balance aus Latenz und Relevanzqualität, natürlichsprachlicher Anweisungsbefolgung und mehrsprachiger Unterstützung. Seine Eingabe besteht aus einer Anfrage und Textkandidaten; seine Ausgabe ist eine verfeinerte Reihenfolge dieser Kandidaten mit Relevanzwerten.

Eine leichtgewichtige Relevanzentscheidung in der zweiten Stufe

Das Lite-Modell verarbeitet jedes Anfrage-Dokument-Paar gemeinsam als Cross-Encoder. Es kann auf eine erste Embedding- oder lexikalische Suche folgen und die dort ausgewählten Passagen verfeinern. Das unterscheidet sich vom Vorbereiten eines wiederverwendbaren Embedding-Index: Der Reranker untersucht die eingereichte Anfrage und den Dokumenttext zusammen für die aktuelle Relevanzentscheidung.

Bei einer interaktiven Hilfesuche übergeben Sie die Erklärungskandidaten, die die Nutzerfrage beantworten könnten. Bewahren Sie genug von jeder Passage, um Verhalten und Bedingungen zu vermitteln, sowie die Zuordnung zwischen Eingabeindex und Quellelement. Eine gezielte Kandidatenmenge macht die Reranking-Aufgabe klar und hält die abgerufenen Belege zugleich für Anzeige oder eine spätere Antwort nutzbar.

Anweisungen drücken aus, was die nutzende Person priorisieren möchte

Wie rerank-2.5 akzeptiert Lite natürlichsprachliche Anweisungen vor oder nach der Anfrage. Die Herstellerbeispiele verwenden sie, um Dokumentteile hervorzuheben, einen bevorzugten Quellentyp auszuwählen oder einem mehrdeutigen Wort Kontext zu geben. Eine Anwendung kann eine dauerhafte Relevanzpräferenz bereitstellen, oder die aktuelle Frage enthält eine spezifischere.

Eine beispielhafte Supportanfrage kann fragen, welche Passage einen Fehler erklärt, und anweisen, Schritte zur Fehlerbehebung gegenüber allgemeinen Produktbeschreibungen zu priorisieren. Eine Dokumentsuche kann den ursprünglichen Richtlinienwortlaut statt einer Besprechung der Richtlinie verlangen. Beschreiben Sie die gewünschten Belege und halten Sie die Anweisung knapp. Anweisungen beeinflussen Relevanzwerte; bereiten Sie strikte Versions-, Datums- oder Berechtigungsbeschränkungen bei der Kandidatenauswahl vor, statt eine Relevanzpräferenz als garantierten Filter zu behandeln.

Die Rangfolge lesen und die Quellpassage zurückgeben

Die Ausgabe ist nach abnehmender Relevanz sortiert. Jedes Ergebnis enthält den ursprünglichen Dokumentindex und einen Gleitkommawert; die optionale Einstellung return-documents gibt zusätzlich den entsprechenden Eingabetext zurück. Die Option top-k bestimmt die Anzahl der zurückgegebenen Spitzenergebnisse; ohne sie wird die Rangfolge aller eingereichten Kandidaten zurückgegeben.

Verwenden Sie diese Indizes, um die Quellpassage und ihre Kennung wiederzufinden. Ein neu bewerteter Kandidat kann zum Suchergebnis oder Beleg für den nächsten RAG-Schritt werden, doch die Ausgabe ist eine Anordnung bereitgestellten Texts und keine neu geschriebene Antwort. Beurteilen Sie, ob die führenden Passagen sowohl die Frage als auch die Relevanzanweisung erfüllen, auch für die tatsächlich in der Sammlung vorhandenen Sprachen und Dokumenttypen.

Grenzen und ein praktisches Kandidatenbudget

Die Ausgabe 2.5 Lite hat ein dokumentiertes Anfragemaximum von 8’000 Token und eine Grenze von 32’000 Token für die Anfrage plus jedes einzelne Dokument. Sie ist vom früheren Modell rerank-2-lite mit seinem kleineren Kontext getrennt. Höchstens 1’000 Dokumente können eingereicht werden; die Gesamteingabe ist nach folgender Formel auf 600’000 Token begrenzt: Anfrage-Token multipliziert mit Kandidatenanzahl plus die Summe der Token der Kandidatendokumente.

Für latenzempfindlichen Einsatz empfiehlt die FAQ des Herstellers rerank-2.5-lite mit höchstens 200’000 Gesamt-Token pro Anfrage. Das ist eine praktische Empfehlung unterhalb des angegebenen Maximums und kein anderes Dokumentfenster. Eine längere Anfrage oder Anweisung wird für jedes Kandidatenpaar einmal gezählt, sodass sowohl Kandidatenanzahl als auch Anfragelänge die Gesamtsumme beeinflussen.

Kürzung ist standardmässig aktiviert und verkürzt zu lange Anfrage-/Dokumenteingaben passend; bei Deaktivierung ergibt eine zu lange Anfrage oder ein zu langes Paar einen Fehler. Bereiten Sie kompakte Kandidaten mit den für die Antwort nötigen Inhalten gezielt vor, damit hilfreiche Belege nicht jenseits einer Kürzungsgrenze bleiben. Weniger Ausgabergebnisse über top-k auszuwählen entfernt die übrigen bereitgestellten Kandidaten nicht aus der Tokenberechnung. Prüfen Sie die zurückgegebenen Quellpassagen und verfeinern Sie die Eingabevorbereitung anhand der tatsächlichen Fragen, die die Suchoberfläche beantworten muss.