VoyageAI by MongoDB: voyage-4

voyage-4 ist das mittelgrosse Text-Embedding-Modell von Voyage AI in der Voyage-4-Familie. Es wandelt Anfrage- und Dokumenttext in numerische Vektoren für allgemeine und mehrsprachige Informationssuche um. Die prägende Fähigkeit der Familie ist ein gemeinsamer Embedding-Raum: voyage-4, voyage-4-large, voyage-4-lite und voyage-4-nano erzeugen kompatible Repräsentationen, sodass Anfrage- und Dokumentseite einer Suchaufgabe unterschiedliche Modelle dieser Familie verwenden können.

Gemeinsamer Raum und asymmetrische Informationssuche

Der Hersteller bezeichnet die Verwendung verschiedener Anfrage- und Korpusmodelle als asymmetrische Informationssuche. Ein dokumentiertes Muster besteht darin, den Korpus mit voyage-4-large vorzubereiten und ihn mit Anfrage-Embeddings von voyage-4 zu durchsuchen. Der Korpus wird einmal oder bei Änderungen seines Quellmaterials eingebettet, während Anfragevektoren beim Eintreffen von Suchen erzeugt werden. Der gemeinsame Raum erlaubt, das Modell auf der Anfrageseite innerhalb der Familie zu wechseln, ohne den Korpus allein aufgrund dieses Wechsels erneut einbetten zu müssen.

Halten Sie Ausgabedimension und Repräsentation der verglichenen Vektoren kompatibel. Die Aussage zum gemeinsamen Raum betrifft die benannten Voyage-4-Textmodelle; sie wird nicht dadurch belegt, dass zwei nicht verwandte Modelle Arrays derselben Länge zurückgeben. Eine praktische Aufgabe kann daher voyage-4 auf beiden Seiten der Suche verwenden oder seine Anfragevektoren mit einem vorhandenen voyage-4-large-Dokumentindex kombinieren, wenn die Repräsentationseinstellungen übereinstimmen.

Rollen von Anfrage und Dokument

Für die Informationssuche empfiehlt Voyage, Eingabetext als Anfrage oder Dokument zu kennzeichnen. Die Eingaberollenoption liefert vor der Vektorisierung die entsprechende Suchinstruktion. Bereiten Sie Korpuspassagen als Dokumente und die Suchformulierung des Nutzers als Anfrage vor und speichern Sie tatsächlichen Quelltext und Kennungen bei jedem gespeicherten Vektor.

Eine Wissenssuchsammlung kann beispielsweise technische Anweisungen und Produkterklärungen indizieren. Eine Frage dazu, was nach einem fehlgeschlagenen Import geschieht, sollte die Quellpassage zurückgeben, die dieses Verhalten beschreibt. Bewahren Sie Überschriften, relevante Bedingungen und die Quellposition bei der Passage, damit der resultierende Suchtreffer geprüft oder von einem späteren RAG-Antwortschritt verwendet werden kann. Das Embedding ist die numerische Suchrepräsentation; die zugrunde liegende Passage ist der Beleg, der in diesem späteren Schritt verwendet wird.

Dimensionen und Ausgabedatentypen

Das dokumentierte Kontextfenster pro Text beträgt 32’000 Tokens. Wählbare Dimensionen sind 256, 512, 1024 und 2048, mit 1024 als Standard. Matryoshka-Lernen ermöglicht diese ineinander verschachtelten Repräsentationsgrössen. Die Ausgabe kann 32-Bit-Gleitkommazahlen, vorzeichenbehaftete oder vorzeichenlose 8-Bit-Ganzzahlen oder gepackte Binärwerte verwenden, ermöglicht durch die quantisierungsbewusste Vorbereitung der Familie.

Bei gepackter Binärausgabe speichert jedes zurückgegebene Byte acht Embedding-Bits, sodass die Bytelistenlänge ein Achtel der gewählten Dimension beträgt. Byteanzahl und Embedding-Dimension haben unterschiedliche Bedeutungen. Wählen Sie eine Repräsentation, die Ihr Suchindex interpretieren kann, und prüfen Sie die Kandidatenrelevanz anhand der tatsächlich in der Sammlung verwendeten Fragen und Sprachen, bevor Sie eine komprimierte Konfiguration wählen.

Eingabelänge, Batches und Kürzung

Der aktuelle Text-Embedding-Leitfaden des Herstellers erlaubt bis zu 1’000 Zeichenfolgen und insgesamt 320’000 Tokens in einer voyage-4-Anfrage. Das Batch-Kontingent ist vom Fenster von 32’000 Tokens für jede Eingabe getrennt. Die Kürzung ist standardmässig aktiviert: Überlanger Text wird passend gekürzt. Ist die Kürzung deaktiviert, führt ein überlanges Element stattdessen zu einem Fehler.

Bereiten Sie bei einem langen Bericht oder Transkript antwortrelevante Passagen bewusst vor, statt sich auf einen Schnitt an der Eingabegrenze zu verlassen. Verknüpfen Sie jede Passage mit ihrem übergeordneten Dokument und der Quellversion. Gewöhnliche voyage-4-Embedding-Eingaben sind einzelne Texte; die kontextualisierte Verarbeitung von Abschnittsgruppen gehört zu den separat dokumentierten kontextuellen Embedding-Modellen.

Das Suchergebnis nutzen

Speichern Sie die Vektoren zusammen mit Passagentext und stabilen Quellkennungen, vergleichen Sie jeden Anfragevektor mit den kompatiblen Dokumentvektoren und geben Sie mögliche Passagen zurück. Die Familienveröffentlichung bewertet die Informationssuche unter anderem anhand technischer Dokumente, Gespräche, langer Dokumente, Code, Recht, Finanzen und Webtext. Ein separater Reranker kann Kandidaten verfeinern, und ein späterer Antwortschritt kann ihren Text verwenden. Bewerten Sie diese zurückgegebenen Passagen anhand der Aufgabe; die Kompatibilität im gemeinsamen Raum ermöglicht die Modellkombination, während der Nutzen eines Ergebnisses weiterhin vom Quellmaterial und der Frage abhängt.