VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 bettet Text, Bilder und Videoeinzelbilder in einen gemeinsamen Suchraum ein. Es verarbeitet abwechselnde Inhalte wie Dokument-Screenshots, Tabellen und Szenen mit Eingaben von 32.000 Tokens und einer standardmäßig 1024-dimensionalen Repräsentation.
Über das Modell
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
voyage-multimodal-3.5 ist das Embedding-Modell von Voyage AI für die Informationssuche über Text, Bilder und Video hinweg. Es verarbeitet abwechselnde textliche und visuelle Inhalte mit einem einzelnen Transformer-Encoder und repräsentiert eine vollständige multimodale Eingabe in einem gemeinsamen Vektorraum. Die Ausgabe 3.5 ergänzt die ausdrückliche Unterstützung von Videoeinzelbildern und flexible Embedding-Dimensionen.
Den Zusammenhang zwischen Text und visuellen Inhalten erhalten
Bereiten Sie eine Dokumentseite oder einen Abschnitt in einer Form vor, die die nützlichen visuellen Informationen bewahrt. Eine Folie mit einem Diagramm und einer kurzen Erklärung kann mit dem Folienbild und dem begleitenden Text in derselben geordneten Eingabe repräsentiert werden. Für eine PDF-basierte Sammlung ist die dokumentierte visuelle Eingabe ein Screenshot einer Seite oder eine andere Bildrepräsentation des Dokuments.
Bewahren Sie bei einem Berichtsdiagramm Titel, Achsenbeschriftungen und Legende im Bild. Fügen Sie erläuternden Text hinzu, wenn er den zum Verständnis der Darstellung nötigen Kontext liefert. Speichern Sie Seitenzahl und Quellkennung beim resultierenden Vektor, damit ein abgerufener Kandidat die relevante Seite öffnen kann, statt lediglich einen Dokumentnamen zurückzugeben.
Das Eingabeformat des Herstellers unterstützt Sequenzen aus Text, Bildern und Videos. Als Bildformate werden PNG, JPEG, WebP und GIF veröffentlicht, als Videoformat MP4. Visuelle Inhalte können im dokumentierten Rezept durch URLs oder Base64-Daten repräsentiert werden; verwenden Sie innerhalb einer Anfrage durchgehend denselben Repräsentationsstil.
Eine Szene statt eines ganzen langen Videos abrufen
Das Modell repräsentiert Video als geordnete Sequenz von Einzelbildern. Der Hersteller empfiehlt, lange Videos in zusammengehörige Szenen aufzuteilen, Szenengrenzen an verfügbaren Transkript-Zeitstempeln auszurichten und den zugehörigen Transkripttext zu bewahren. Eine geringere Auflösung oder Bildrate kann helfen, eine semantisch zusammenhängende Szene in ihr Kontextbudget einzupassen.
Bei einer Sammlung von Schulungsvideos könnte eine Anfrage nach der Szene suchen, in der die Einstellung eines bestimmten Bedienelements gezeigt wird. Verknüpfen Sie jede indizierte Szene mit ihrem Zeitbereich. Geben Sie die passende Szene zurück und prüfen Sie die Einzelbilder oder den Originalclip auf die tatsächliche Handlung, statt den abgerufenen Vektor als schriftliche Beschreibung sämtlicher Inhalte der Aufnahme zu behandeln.
Transkripttext kann beitragen, wenn er als Teil der multimodalen Eingabe vorbereitet wird. Das Embedding der Videoeinzelbilder selbst liefert kein Sprachtranskript.
Kontext- und Vorbereitungsgrenzen
Die angegebene Kontextlänge beträgt 32.000 Tokens pro Eingabe. Voyage zählt in seiner veröffentlichten Berechnung je 560 Bildpixel und je 1120 Videopixel als ein Token, sodass visuelle Inhalte dieses Budget mit Text teilen. Die dokumentierten Grenzen umfassen außerdem 16 Millionen Pixel und 20 MB pro Bild sowie 20 MB pro Video. Eine Liste enthält höchstens 1000 Eingaben und insgesamt 320.000 Tokens.
Die Standardeinstellung für das Kürzen schneidet überlange Eingaben ab; liegt die Grenze innerhalb eines Bildes, wird das gesamte Bild verworfen. Vollständige Seiten oder Szenen innerhalb des Budgets vorzubereiten sorgt daher für besser vorhersehbare Eingabeinhalte. Die alternativ dokumentierte Einstellung weist überlange Eingaben zurück, statt sie zu kürzen.
Vektordimensionen und Rollen in der Informationssuche
Die standardmäßige Ausgabedimension beträgt 1024; für diese Ausgabe sind auch 256, 512 und 2048 Dimensionen dokumentiert. Die Ankündigung beschreibt Matryoshka-Embeddings sowie Gleitkomma-, vorzeichenbehaftete oder vorzeichenlose 8-Bit- und binäre Repräsentationen. Speichern Sie die gewählte Dimension und Repräsentation zusammen mit dem Index.
Voyages Suchrezept unterscheidet Anfrage- und Dokumenteingaben. Eine Anfrage kann Text oder ein Bild sein, und indizierte Dokumente können Text und visuelle Inhalte kombinieren. Ein Vektor repräsentiert jede vollständige Eingabesequenz; speichern Sie seine Zuordnung zur Quellseite, zum Bild oder zur Szene, damit das sortierte Ergebnis überprüfbar bleibt.
Die zurückgegebene visuelle Quelle nutzen
Ein Suchschritt kann eine Berichtsseite, Tabelle, Folie oder Szene finden, die für die Anfrage relevant ist. Der Schritt zum Schreiben einer Antwort oder zur Analyse liest anschließend dieses Quellmaterial. Prüfen Sie bei einer Tabelle die tatsächlichen Überschriften und Werte, bevor Sie ein Ergebnis verwenden; prüfen Sie bei einer Szene die relevanten Einzelbilder und den zugehörigen Text.
Der wesentliche Unterschied zu voyage-multimodal-3 liegt in der ausdrücklichen Videounterstützung und den zusätzlichen Repräsentationsmöglichkeiten der Ausgabe 3.5. Dies sind Embedding-Fähigkeiten zum Auffinden von Quellmaterial, mit numerischen Vektoren als Ausgabe statt generierter Bilder, Videos oder einer erzählenden Antwort.
Ailoot Ultra · Embeddings POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Einstieg
Voyage AI voyage-multimodal-3.5 bettet Text, Bilder und Videoeinzelbilder in einen gemeinsamen Suchraum ein. Es verarbeitet abwechselnde Inhalte wie Dokument-Screenshots, Tabellen und Szenen mit Eingaben von 32.000 Tokens und einer standardmäßig 1024-dimensionalen Repräsentation.
- Zulässige Eingaben
- Text · token_ids
- Ergebnisse
- embedding
In Ailoot verfügbar · Eingaben und Methoden
Ailoot Ultra · Embeddings POST /v1/embeddings
- Eingabe
text,token_ids- Ausgabe
embedding- Kontext
- 32 000 tokens
- Ausgabeformat
- json
| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits voyageai/voyage-multimodal-3.5 | Standard— |
Feldinput | Typstring|string[]|integer[]|integer[][] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 Bedingungen: Nicht leerer, homogener Batch. Token-IDs sind nichtnegative Ganzzahlen. Eingabebudget: Maximum: 32 000 · Texteinheit: UTF8-Bytes · Tokeneinheit: Elemente des Token-Arrays | Standard— |
Feldencoding_format | Typstring | AnforderungOptional | Werte und Limits float | Standardfloat |
Felddimensions | Typinteger | AnforderungNicht unterstützt | Werte und Limits Minimum: 1 | Standard— |
Felduser | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldsession_id | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldtrace | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options abgelehnt | Standard— |
Kombinationen von Eingabematerialien
text_to_embedding
Methodenparameter und Lebenszyklus
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, input |
Parameterinput_shapes | Vertragstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Vertragfloat |
Parameterdimensions_override | Vertragfalse |
Parametermax_input_budget_units | Vertrag32000 |
Parametermultimodal_objects | Vertragfalse |
Parametermaterial_types | Vertragtext, token_ids |
Lebenszyklus: synchronous_json
Jeden Vektorindex und jede Dimension beibehalten.
Ein multimodaler Modellname erlaubt auf genau diesem Pfad keine Bildobjekte.
Tarife
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
- Schnellmodus
- Standardtarif Wenn der Schnellmodus ausgewählt ist
- Flex-Modus
- Standardtarif Wenn der Modus flex ausgewählt ist
- Maximaler Denkaufwand
- Standardtarif Wenn beim maximalen Denkaufwand die Standardanpassung (default) verwendet wird
Ailoot-Tarife
Preise nach Konfiguration
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.00024 / 1K Tokens Ausgabe · Ausgabetoken $0 / 1K Tokens Eingabe · Cache lesen — / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
Beispielanfragen
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Ergebnisse abrufen und speichern
Ailoot Ultra · Embeddings
json
Alle fertiggestellten Ergebnisse aufbewahren
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Jeden Vektor mit seinem Index beibehalten. Die Anzahl der Vektoren muss der Anzahl der Eingaben entsprechen; die Dimensionen müssen konsistent sein.
Wenn die ursprüngliche Antwort geprüft werden muss
Es wird kein Endpunkt für Embedding-Aufträge eingeführt.
Antwortfelder
| Feld | Typ |
|---|---|
Feldobject | Typstring |
Feldmodel | Typstring |
Felddata[].index | Typinteger |
Felddata[].embedding | Typfinite float[] |
Feldusage | Typobject |
Fehler und nächste Schritte
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Aliasnamen
Modellaliasnamen
Ailoot Ultra voyageai/voyage-multimodal-3.5
Aliasnamen für Methodenpfade
Verwenden Sie die oben angezeigten Methodenpfade.
Zugehörige Aufrufer-IDs
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Welche Eingaben und Ergebnisse sind verfügbar?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Welche Felder verwendet die Anfrage?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Welche Grenzen gelten?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8-Bytes);input.min_items:1