VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite ist die auf geringe Latenz ausgerichtete Ausgabe von Voyages Rerank-3-Serie. Es nimmt eine Textanfrage und Dokumentkandidaten entgegen, bewertet jedes Anfrage-Dokument-Paar gemeinsam und liefert Relevanzwerte in Rangfolge zurück. Es dient der zweiten Suchstufe: Ein Embedding- oder Schlüsselwortabruf findet die Kandidaten, anschliessend verfeinert Lite ihre Reihenfolge. Das Ergebnis ist eine Rangfolge für die Suche oder einen retrievalgestützten Generierungsablauf.

Was sich in Rerank 3 Lite ändert Der Hersteller betont einen stärkeren Abruf langer Dokumente und von Code gegenüber rerank-2.5-lite. Beide Rerank-3-Ausgaben bewahren Anweisungsbefolgung und dieselbe 32K-Kontextklasse; Lite ist dabei für latenzempfindliche Anwendungen ausgelegt. Das macht es zu einem praktischen Kandidaten für interaktive Wissensdatenbanksuche, den Abruf von Supportdokumenten und Codesuche, wenn Nutzende schnell relevante Ergebnisse brauchen. Wählen Sie es anhand der Qualitäts- und Antwortzeitanforderungen der tatsächlichen Sammlung, statt anzunehmen, dass eine kleinere Ausgabe ein kleineres Kontextfenster bedeutet.

Relevanz mit der Anfrage steuern Natürlichsprachliche Anweisungen können die Anfrage ergänzen und erklären, was als relevant gilt. Halten Sie Frage und Relevanzpräferenz knapp und widerspruchsfrei. Für eine Softwaresupportsuche verwenden Sie etwa: «Finde das Verfahren zum Zurücksetzen eines Geräts; bevorzuge Anweisungen für die angegebene Hardwareversion.» Bei einem mehrdeutigen Produktnamen ergänzen Sie die Produktkategorie, damit unverbundene Bedeutungen nicht überwiegen. Eine Präferenz in der Anfrage lenkt die semantische Bewertung; verwenden Sie ausdrückliche Sammlungsmetadaten, um vor dem Aufbau der Kandidatenliste das richtige Produkt, die Dokumentversion oder den Zugriffsbereich auszuwählen.

Eine kurze Liste von Textkandidaten vorbereiten Die Eingabedokumente sind Zeichenfolgen. Extrahieren Sie lesbaren Text aus dem Quellmaterial und bewahren Sie hilfreiche Titel, Überschriften, Kennungen und umgebenden Kontext. Halten Sie eine stabile Zuordnung jeder Eingabeposition zum ursprünglichen Datensatz. Bei einem Fehlerbehebungsartikel fügen Sie Symptom und relevantes Vorgehen hinzu, nicht nur einen losgelösten Satz. Bei einer Quellcodesuche liefern Sie die Funktion und die umliegenden Informationen, die sie von ähnlich benannten Funktionen unterscheiden. Entfernen Sie wiederholte Navigation oder Standardtexte, wenn diese die hilfreiche Passage verdrängen.

Der Reranker kann nur die Dokumente neu ordnen, die er erhält. Ruft die erste Suche den relevanten Artikel nie ab, kann diese Stufe den fehlenden Kandidaten nicht wiederherstellen. Prüfen Sie sowohl die Vorauswahl als auch die endgültige Reihenfolge, wenn ein Ergebnis falsch erscheint. Behandelt ein langes Dokument viele Themen, trennen Sie zusammenhängende Abschnitte und bewahren ihre Verweise auf das übergeordnete Dokument, damit sich ein relevanter Abschnitt ohne Verlust seiner Quelle auswählen lässt.

Kontext- und Anfragegrenzen Der aktuelle Herstellerleitfaden legt maximal 8’000 Token für die Anfrage und insgesamt maximal 32’000 Token für die Anfrage plus jedes einzelne Dokument fest. Er erlaubt bis zu 1’000 Dokumentkandidaten und ein Gesamtbudget von 600’000 Token pro Anfrage, berechnet als Anfrage-Token multipliziert mit Dokumentanzahl plus alle Dokument-Token. Eine lange Anfrage beansprucht deshalb in jedem Paar Platz und trägt wiederholt zum Gesamtbudget bei. Zählen Sie den eingereichten Text mit dem passenden Modell-Tokenizer, statt Zeichen, Wörter und Token als austauschbar zu behandeln.

Eine Anfrage mit 500 Token und 100 Dokumenten zu je 4’000 Token ergibt nach dieser Formel beispielsweise 450’000 Eingabe-Token. Das veranschaulicht die Budgetierung und ist keine empfohlene Vorauswahlgrösse oder gemessene Geschwindigkeitsaussage. Die dokumentierte Kürzungsoption ist standardmässig aktiviert; übergrosser Text kann vor der Bewertung gekürzt werden. Bereiten Sie wichtige Abschnitte gezielt vor, damit die Kürzung nicht gerade die abzugleichende Passage entfernt.

Das Ergebnis lesen und verwenden Die Ergebnisse sind vom höchsten Relevanzwert abwärts sortiert. Jedes Ergebnis nennt die ursprüngliche Eingabeposition des Dokuments, sodass die Anwendung ihren eigenen Titel, ihre Datensatzkennung und Quelle zuordnen kann. Die Einstellung top_k steuert, wie viele geordnete Kandidaten zurückgegeben werden; ohne sie werden alle Kandidaten zurückgegeben. Die REST-Schnittstelle des Herstellers kann auch den Dokumenttext zurückgeben. Bewahren Sie die ursprünglichen Kennungen bei den ausgewählten Ergebnissen, wenn Sie eine Suchseite anzeigen oder Belege an einen Antwortgenerierungsschritt übergeben.

Ein Relevanzwert drückt aus, wie gut ein Kandidat zur Anfrage passt; er belegt nicht, dass dessen Aussagen richtig sind. Vergleichen Sie die höchstplatzierten Elemente mit der tatsächlichen Nutzerfrage, einschliesslich Ausschlüssen und Unterschieden zwischen Dokumentversionen. Sind alle Kandidaten irrelevant, gibt es dennoch ein höchstplatziertes Element. Entscheiden Sie anhand repräsentativer Anfragen aus der Sammlung, wie Ihre Anwendung diesen Fall behandelt.

Aktualisierung und Auswahl der Ausgabe Der Hersteller beschreibt rerank-3-lite als Aktualisierung von rerank-2.5-lite mit unveränderter API-Semantik und auf die Verteilung des entsprechenden Vorgängers kalibrierten Werten. Bewahren Sie die bestehende Datensatzzuordnung und Abrufstufe und vergleichen Sie die resultierende Reihenfolge bei aussagekräftigen Anfragen, bevor Sie sich auf einen etablierten Schwellenwert verlassen. Verwenden Sie Lite für ein Sucherlebnis, bei dem Antwortzeit zählt; ziehen Sie die qualitätsorientierte Ausgabe rerank-3 zum Vergleich heran, wenn Relevanz bei schwierigen Kandidaten höhere Priorität hat.