Voyage AI: Voyage Context 3

Voyage Context 3 erzeugt kontextualisierte Abschnitts-Embeddings für Dokumentensuche. Jeder Abschnitt erhält einen eigenen Vektor, während das Modell auch die anderen aus demselben Dokument bereitgestellten Abschnitte berücksichtigt. So erhält ein Suchsystem eine Darstellung der lokalen Passage zusammen mit weiterem Dokumentkontext, etwa einer andernorts in der Quelle eingeführten Entität oder einem Thema.

Bereiten Sie jedes Dokument als geordnete Folge lesbarer Textabschnitte vor. Halten Sie die Abschnitte eines Dokuments zusammen und erhalten Sie ihre ursprüngliche Reihenfolge. Im kontextualisierten Ablauf des Herstellers enthält jede innere Gruppe die Abschnitte einer Quelle, und getrennte Gruppen stehen für getrennte Quellen. Diese Gruppierung gehört zur Bedeutung der Eingabe: Sie sagt dem Modell, welcher umgebende Text zum dargestellten Dokument gehört.

Ein hilfreicher Fall ist ein Bericht, dessen Anfang das Unternehmen benennt, während ein späterer Absatz sein Wachstum erklärt. Eine Suche nach dem Wachstum dieses Unternehmens benötigt sowohl den konkreten Absatz als auch die Dokumentidentität. Bewahren Sie den Originaltext des Abschnitts und die Metadaten seines übergeordneten Dokuments zusammen mit dem entstandenen Vektor auf, damit das Ergebnis die Passage anzeigen und auf die vollständige Quelle verlinken kann.

Die Herstellerreferenz dokumentiert bis zu 120’000 Token über eine Anfrage hinweg, mit höchstens 1’000 Eingabegruppen und insgesamt 16’000 Abschnitten. Der Modellleitfaden nennt getrennt davon ein Fenster von 32’000 Token pro Abschnitt. Halten Sie diese Bezugsbereiche bei der Materialvorbereitung auseinander: Eine Grenze für einen einzelnen Abschnitt und eine Grenze für die vollständige Anfrage beschreiben unterschiedliche Eingabegrössen. Prüfen Sie die Gesamtsumme nach dem Aufteilen der Quelle, statt anzunehmen, jeder einzelne Abschnitt könne in derselben Anfrage seine Maximalgrösse füllen.

Kennzeichnen Sie die gruppierten Passagen für Dokumentensuche als Dokumenteingabe. Bereiten Sie jede Suchfrage als eigene Anfragegruppe vor. Der Hersteller empfiehlt nicht überlappende bereitgestellte Dokumentabschnitte, sodass die kontextualisierte Darstellung umgebende Informationen weitertragen kann, ohne Text in jeder Passage zu wiederholen. Erhalten Sie beim Schreiben des Index die Zuordnung zwischen Dokumentgruppe, Abschnittsposition und zurückgegebenem Vektor.

Voyage Context 3 unterstützt 2’048, 1’024, 512 und 256 Dimensionen, mit Gleitkomma-, Acht-Bit-Ganzzahl- und Binärausgabe als Optionen. Wählen Sie eine Indexdarstellung und bewerten Sie sie anhand derselben Quelldokumente und Fragen. Bewahren Sie gewählte Dimension und Datentyp zusammen mit dem Index auf, damit Anfragedarstellung und gespeicherte Vektoren konsistent bleiben.

Verwenden Sie die entstandenen Vektoren für Passagensuche, Dokumentrecherche oder die Suchstufe eines Assistenten, der mit Berichten, Forschungsarbeiten, Verträgen oder technischen Handbüchern arbeitet. Ein Ergebnis kann eine gezielte Passage bestimmen, während sein Quelllink Zugriff auf Definitionen und Einschränkungen andernorts im Dokument gibt. Erhalten Sie Dokumentversionen und Berechtigungen als Anwendungsmetadaten neben den Vektoren.

Prüfen Sie Fragen, die sowohl ein lokales Detail als auch Kontext auf Dokumentebene benötigen. Nehmen Sie ähnliche Passagen aus unterschiedlichen Quellen, nur am Anfang eingeführte benannte Entitäten und Fragen auf, deren Belege sich über mehrere Abschnitte verteilen. Prüfen Sie, ob der erwartete Abschnitt gefunden wird und ob die Anwendung genügend umgebenden Text zu seiner Interpretation zeigt. Erzeugen Sie bei einer Quelländerung die betroffene Dokumentgruppe bewusst neu, damit ihre kontextualisierten Abschnitte einer einheitlichen Version entsprechen.