VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite ist das leichtgewichtige Mitglied der Reranker-Veröffentlichung 2.5 von Voyage AI. Der Hersteller beschreibt es als allgemeines Modell, das Latenz und Relevanzqualität ausbalanciert, mit natürlichsprachlichem Befolgen von Anweisungen und mehrsprachiger Unterstützung. Seine Eingabe sind eine Anfrage und Kandidatentexte, seine Ausgabe ist eine verfeinerte Reihenfolge dieser Kandidaten mit Relevanzwerten.

Eine leichtgewichtige Relevanzentscheidung in der zweiten Stufe

Das Lite-Modell verarbeitet jedes Anfrage-Dokument-Paar gemeinsam als Cross-Encoder. Es kann auf eine erste Embedding- oder lexikalische Suchstufe folgen und die von dieser Stufe ausgewählten Textstellen verfeinern. Dies unterscheidet sich vom Vorbereiten eines wiederverwendbaren Embedding-Index: Der Reranker untersucht eingereichte Anfrage und Dokumenttext gemeinsam für die aktuelle Relevanzentscheidung.

Reichen Sie für eine interaktive Hilfesuche die möglichen Erklärungen ein, die die Nutzerfrage beantworten könnten. Behalten Sie genügend von jeder Textstelle bei, um Verhalten und zugehörige Bedingungen zu vermitteln, und bewahren Sie die Zuordnung zwischen Eingabeindex und Quellelement. Eine gezielte Kandidatenmenge hilft, die Reranking-Aufgabe klar zu machen, während die abgerufenen Belege für die Anzeige oder eine spätere Antwort nutzbar bleiben.

Anweisungen drücken aus, was für Nutzende Vorrang haben soll

Wie rerank-2.5 akzeptiert Lite natürlichsprachliche Anweisungen vor oder nach der Anfrage. Die Beispiele des Herstellers verwenden sie, um Dokumentbestandteile hervorzuheben, einen bevorzugten Quellentyp auszuwählen oder ein mehrdeutiges Wort mit Kontext zu ergänzen. Eine Anwendung kann eine dauerhafte Relevanzpräferenz vorgeben, oder die aktuelle Frage kann eine spezifischere enthalten.

Eine beispielhafte Supportanfrage kann danach fragen, welche Textstelle einen Fehler erklärt, mit einer Anweisung, Schritte zur Fehlerbehebung gegenüber allgemeinen Produktbeschreibungen zu priorisieren. Eine Dokumentsuche kann den ursprünglichen Wortlaut einer Richtlinie statt einer Erörterung darüber verlangen. Beschreiben Sie die gewünschten Belege und halten Sie die Anweisung knapp. Anweisungen beeinflussen Relevanzwerte; setzen Sie strikte Versions-, Datums- oder Berechtigungsvorgaben bei der Kandidatenauswahl um, statt eine Relevanzpräferenz als garantierten Filter zu behandeln.

Die Rangfolge lesen und die Quelltextstelle zurückgeben

Die Ausgabe ist nach absteigender Relevanz sortiert. Jedes Ergebnis enthält den ursprünglichen Dokumentindex und einen Gleitkommawert; die optionale Einstellung return-documents gibt außerdem den entsprechenden Eingabetext zurück. Die Option top-k bestimmt die Anzahl der zurückgegebenen besten Ergebnisse; ohne sie wird die Rangfolge aller eingereichten Kandidaten zurückgegeben.

Verwenden Sie diese Indizes, um die Quelltextstelle und ihre Kennung wiederzufinden. Ein neu gereihter Kandidat kann zum Suchergebnis oder Beleg für den nächsten RAG-Schritt werden; die Ausgabe ist jedoch eine Reihenfolge bereitgestellter Texte und keine umformulierte Antwort. Bewerten Sie, ob die führenden Textstellen sowohl die Frage als auch die Relevanzanweisung erfüllen, einschließlich der tatsächlich in der Sammlung vorhandenen Sprachen und Dokumenttypen.

Grenzen und ein praktisches Kandidatenbudget

Für die Ausgabe 2.5 Lite sind maximal 8.000 Token für die Anfrage und eine Grenze von 32.000 Token für die Anfrage plus jedes einzelne Dokument dokumentiert. Sie unterscheidet sich vom früheren Modell rerank-2-lite und dessen kleinerem Kontext. Es können höchstens 1.000 Dokumente eingereicht werden; die gesamte Eingabe ist auf 600.000 Token nach folgender Formel begrenzt: Anfrage-Token multipliziert mit Kandidatenanzahl plus die Summe der Token aller Kandidatendokumente.

Für latenzempfindliche Nutzung empfiehlt die FAQ des Herstellers rerank-2.5-lite mit höchstens 200.000 Token insgesamt pro Anfrage. Dies ist eine praktische Empfehlung unterhalb des angegebenen Maximums, kein anderes Fenster pro Dokument. Eine längere Anfrage oder Anweisung wird für jedes Kandidatenpaar einmal gezählt, sodass sowohl Kandidatenanzahl als auch Anfragelänge die Gesamtsumme beeinflussen.

Kürzung ist standardmäßig aktiviert und verkürzt zu lange Anfrage-/Dokumenteingaben auf die passende Länge; ihre Deaktivierung führt bei einer zu langen Anfrage oder einem zu langen Paar zu einem Fehler. Bereiten Sie kompakte Kandidaten mit antwortrelevanten Inhalten gezielt vor, damit hilfreiche Belege nicht jenseits einer Kürzungsgrenze liegen. Die Auswahl weniger Ausgabeergebnisse über top-k entfernt die übrigen bereitgestellten Kandidaten nicht aus der Tokenberechnung. Prüfen Sie die zurückgegebenen Quelltextstellen und verfeinern Sie die Eingabevorbereitung anhand der tatsächlichen Fragen, die die Suchoberfläche beantworten muss.