VoyageAI by MongoDB: rerank-2.5-lite

rerank-2.5-lite ist das leichtgewichtige Mitglied von Voyage AIs Reranker-Veröffentlichung 2.5. Der Hersteller beschreibt es als generalistisches Modell, das Latenz und Relevanzqualität ausbalanciert, mit dem Befolgen natürlichsprachlicher Anweisungen und mehrsprachiger Unterstützung. Seine Eingabe sind eine Anfrage und Textkandidaten; seine Ausgabe ist eine verfeinerte Reihenfolge dieser Kandidaten mit Relevanzwerten.

Eine leichtgewichtige Relevanzentscheidung in der zweiten Stufe

Das Lite-Modell verarbeitet jedes Anfrage-Dokument-Paar gemeinsam als Cross-Encoder. Es kann auf eine erste Embedding- oder lexikalische Suche folgen und die von dieser Stufe ausgewählten Textstellen neu ordnen. Dies unterscheidet sich von der Vorbereitung eines wiederverwendbaren Embedding-Index: Der Reranker untersucht den eingereichten Anfrage- und Dokumenttext gemeinsam für die aktuelle Relevanzentscheidung.

Reichen Sie für eine interaktive Hilfesuche die Erklärungskandidaten ein, die die Nutzerfrage beantworten könnten. Erhalten Sie genügend Inhalt jeder Textstelle, um das Verhalten und seine Bedingungen zu vermitteln, und bewahren Sie die Zuordnung von Eingabeindex und Quellelement. Eine gezielte Kandidatenauswahl verdeutlicht die Reranking-Aufgabe und hält die abgerufenen Belege für die Anzeige oder eine spätere Antwort nutzbar.

Anweisungen drücken aus, was Nutzende priorisiert haben möchten

Wie rerank-2.5 akzeptiert Lite natürlichsprachliche Anweisungen vor oder nach der Anfrage. Die Herstellerbeispiele verwenden sie, um Dokumentteile hervorzuheben, einen bevorzugten Quellentyp auszuwählen oder ein mehrdeutiges Wort um Kontext zu ergänzen. Eine Anwendung kann eine dauerhafte Relevanzpräferenz vorgeben; die aktuelle Frage kann auch eine spezifischere enthalten.

Eine beispielhafte Supportanfrage kann danach fragen, welche Textstelle einen Fehler erklärt, mit der Anweisung, Fehlerbehebungsschritte gegenüber allgemeinen Produktbeschreibungen zu priorisieren. Eine Dokumentensuche kann den ursprünglichen Richtlinienwortlaut statt einer Erörterung der Richtlinie anfordern. Beschreiben Sie die gewünschten Belege und halten Sie die Anweisung kurz. Anweisungen beeinflussen Relevanzwerte; setzen Sie strikte Versions-, Datums- oder Berechtigungsbeschränkungen bei der Kandidatenauswahl um, statt eine Relevanzpräferenz als garantierten Filter zu behandeln.

Die Rangfolge lesen und die Quelltextstelle zurückgeben

Die Ausgabe ist nach abnehmender Relevanz geordnet. Jedes Ergebnis enthält den ursprünglichen Dokumentindex und einen Gleitkommawert; die optionale Einstellung return-documents gibt auch den entsprechenden Eingabetext zurück. Die Option top-k legt die Zahl der zurückgegebenen führenden Ergebnisse fest; wird sie ausgelassen, wird die Rangfolge aller eingereichten Kandidaten zurückgegeben.

Verwenden Sie diese Indizes, um die Quelltextstelle und ihre Kennung wiederzuerlangen. Ein neu eingeordneter Kandidat kann zu einem Suchergebnis oder Beleg für den nächsten RAG-Schritt werden; die Ausgabe ist jedoch eine Reihenfolge bereitgestellten Texts und keine neu formulierte Antwort. Bewerten Sie, ob die führenden Textstellen sowohl die Frage als auch die Relevanzanweisung erfüllen, auch für die tatsächlich in der Sammlung vorhandenen Sprachen und Dokumenttypen.

Grenzen und ein praktisches Kandidatenbudget

Die Ausgabe 2.5 Lite hat ein dokumentiertes Anfragemaximum von 8.000 Token und eine Grenze von 32.000 Token für die Anfrage plus jedes einzelne Dokument. Sie unterscheidet sich vom früheren Modell rerank-2-lite und dessen kleinerem Kontext. Höchstens 1.000 Dokumente können eingereicht werden; die gesamte Eingabe ist auf 600.000 Token begrenzt, berechnet als Anfrage-Token multipliziert mit der Kandidatenanzahl plus die Summe der Token aller Kandidatendokumente.

Für latenzempfindliche Nutzung empfiehlt die Hersteller-FAQ rerank-2.5-lite mit höchstens 200.000 Token insgesamt pro Anfrage. Dies ist eine praktische Empfehlung unterhalb des genannten Maximums, kein anderes Fenster pro Dokument. Eine längere Anfrage oder Anweisung wird einmal pro Kandidatenpaar gezählt, sodass sowohl Kandidatenanzahl als auch Anfragelänge die Gesamtsumme beeinflussen.

Kürzung ist standardmäßig aktiviert und verkürzt zu lange Anfrage-/Dokumenteingaben auf die passende Länge; bei Deaktivierung wird für eine zu lange Anfrage oder ein zu langes Paar ein Fehler zurückgegeben. Bereiten Sie kompakte, antworttragende Kandidaten bewusst vor, damit nützliche Belege nicht jenseits einer Kürzungsgrenze liegen. Die Auswahl weniger Ausgabeergebnisse über top-k entfernt die übrigen eingereichten Kandidaten nicht aus der Tokenberechnung. Prüfen Sie die zurückgegebenen Quelltextstellen und verfeinern Sie die Eingabevorbereitung anhand der tatsächlichen Fragen, die die Suchoberfläche beantworten muss.