VoyageAI by MongoDB: voyage-4-large

voyage-4-large ist das führende Text-Embedding-Modell von Voyage AI in der Voyage-4-Familie. Es stellt Quellpassagen und Abfragen als numerische Vektoren für allgemeine und mehrsprachige Suche dar. Seine beiden besonderen Merkmale sind ein Mixture-of-Experts-Modellaufbau und der gemeinsame Embedding-Raum von voyage-4-large, voyage-4, voyage-4-lite und voyage-4-nano.

Gemeinsamer Raum: getrennte Modellauswahl für Korpus und Abfragen

Der Hersteller beschreibt asymmetrische Suche: Dokumente können mit voyage-4-large eingebettet werden, während ein anderes Modell der Voyage-4-Familie die Abfragevektoren vorbereitet. Ein mit Large dargestellter Korpus kann beispielsweise mit Abfragen von voyage-4 durchsucht werden. So können beide Seiten der Suche unterschiedliche Modelle verwenden und zugleich im dokumentierten kompatiblen Raum bleiben.

Eine praktische Sammlung kann daher Large zur Aufbereitung beständiger Dokumentpassagen verwenden und das Modell auf der Abfrageseite unabhängig wählen. Dokumente werden beim Erstellen oder Aktualisieren des Korpus eingebettet, während Abfragen bei der Suche durch Nutzer vektorisiert werden. Die Familienankündigung beschreibt den Wechsel des Abfragemodells innerhalb der kompatiblen Familie, ohne allein deswegen den Dokumentkorpus erneut zu vektorisieren. Halten Sie verglichene Vektoren in übereinstimmenden Dimensionen und Darstellungen, die das Suchsystem gemeinsam verarbeiten kann.

Mixture-of-Experts-Aufbau für Embeddings

Eine dichte Feedforward-Schicht verarbeitet jedes Token mit ihrem vollständigen Parametersatz. Der für voyage-4-large beschriebene MoE-Ansatz verwendet einen Router und Experten-Feedforward-Netze und wählt die Experten aus, die jedes Token verarbeiten. Dadurch wird die gesamte Modellkapazität von den für ein bestimmtes Token aktiven Parametern getrennt. Voyage nennt für den MoE-Aufbau des Modells ein Aktivierungsverhältnis von 1/10 mit top-k-Routing.

Die technische Erklärung des Herstellers beschreibt ausserdem zwei Entwicklungsentscheidungen. Die Expertenkapazität beeinflusst, ob überzählige Token eine Expertenschicht über einen Residualpfad umgehen; das Team wählte den grösstmöglichen umsetzbaren Kapazitätsfaktor, um Verluste bei der Suchqualität zu vermeiden. In der letzten Trainingsphase werden die Routerparameter vor dem Zusammenführen der Modelle eingefroren, damit die Interpolation der Quellmodelle das erlernte Routing zur Expertenauswahl nicht verändert. Dies sind Merkmale der Modellvorbereitung, getrennt von den Textlängen- oder Kürzungseinstellungen bei der Eingabeaufbereitung.

Dimensionen und Ausgabedarstellung

Die offizielle Modelltabelle nennt ein Kontextfenster von 32’000 Token und wählbare Embeddings mit 256, 512, 1024 und 2048 Dimensionen; 1024 ist der Standard. Die Familie verwendet Matryoshka-Lernen für verschachtelte Darstellungsgrössen und unterstützt verschiedene Quantisierungen: 32-Bit-Gleitkommazahlen, vorzeichenbehaftete oder vorzeichenlose 8-Bit-Ganzzahlen und gepackte binäre Ausgabe.

Bei binärer Ausgabe ist die zurückgegebene Byteliste ein Achtel so lang wie die gewählte Dimension, weil jedes Byte acht Embedding-Bits enthält. Bewahren Sie Dimension und Datentyp zusammen mit dem Index auf und verwenden Sie eine Vergleichsmethode, die diese Darstellung unterstützt. Ein kleinerer oder komprimierter Vektor verändert die für die Suche verwendete Darstellung; bewerten Sie die zu tatsächlichen Fragen zurückgegebenen relevanten Passagen, bevor Sie ihn für eine Sammlung wählen.

Bereiten Sie Dokument- und Abfrageeingaben vor

Voyage empfiehlt die Rolle document für Korpuspassagen und die Rolle query für Suchformulierungen. Die Rollenoption fügt vor dem Einbetten die entsprechende Suchanweisung hinzu. Bewahren Sie die hilfreiche Überschrift, Bedingungen und Quellenstelle einer Passage und speichern Sie den zurückgegebenen Vektor zusammen mit dem Originaltext und einer stabilen Kennung.

In einer technischen Wissenssammlung sollte eine Frage zu einem Fehlermodus zur Passage führen, die diesen Modus und seine relevanten Bedingungen beschreibt. Bewahren Sie bei einer sprachübergreifenden Dokumentsammlung die Quellsprache auf und bewerten Sie die Fragen und Begriffe, nach denen Nutzer suchen werden. Die Veröffentlichung deckt Suchmaterial wie technische Dokumente, Gespräche, lange Dokumente, Code, Recht, Finanzen und Webtexte ab. Das Embedding findet mögliche relevante Inhalte; ein späterer Reranker oder Antwortschritt verwendet den Originaltext.

Grenzen für Kontext, Bündelung und Kürzung

Der aktuelle Leitfaden des Herstellers erlaubt bis zu 1’000 Zeichenketten und insgesamt 120’000 Eingabetoken in einer Anfrage an voyage-4-large. Dies unterscheidet sich vom angegebenen Bündelumfang für voyage-4, während beide ein Fenster von 32’000 Token je Text haben. Die standardmässige Kürzung verkürzt eine zu lange Eingabe auf die passende Länge; bei deaktivierter Kürzung führt ein zu langer Text zu einem Fehler.

Wählen Sie die Grenzen antworttragender Passagen bewusst, damit eine lange Quelle keine relevante Einschränkung an einem abgeschnittenen Ende verliert. Bewahren Sie die Quellenzuordnung bei der Rückgabe von Suchergebnissen und prüfen Sie den tatsächlichen Kandidatentext, statt Vektornähe als Bestätigung seines Inhalts zu behandeln. Die Kompatibilität des gemeinsamen Raums gilt für die dokumentierte Voyage-4-Textfamilie; kontextualisierte Abschnittsverarbeitung, Bild- und Video-Embeddings sowie spätere Modelleditionen bleiben eigene modellspezifische Abläufe.