voyage-multimodal-3.5 ist das Embedding-Modell von Voyage AI für die Informationssuche über Text, Bilder und Video hinweg. Es verarbeitet abwechselnde textliche und visuelle Inhalte mit einem einzelnen Transformer-Encoder und repräsentiert eine vollständige multimodale Eingabe in einem gemeinsamen Vektorraum. Die Ausgabe 3.5 ergänzt die ausdrückliche Unterstützung von Videoeinzelbildern und flexible Embedding-Dimensionen.
Bereiten Sie eine Dokumentseite oder einen Abschnitt in einer Form vor, die die nützlichen visuellen Informationen bewahrt. Eine Folie mit einem Diagramm und einer kurzen Erklärung kann mit dem Folienbild und dem begleitenden Text in derselben geordneten Eingabe repräsentiert werden. Für eine PDF-basierte Sammlung ist die dokumentierte visuelle Eingabe ein Screenshot einer Seite oder eine andere Bildrepräsentation des Dokuments.
Bewahren Sie bei einem Berichtsdiagramm Titel, Achsenbeschriftungen und Legende im Bild. Fügen Sie erläuternden Text hinzu, wenn er den zum Verständnis der Darstellung nötigen Kontext liefert. Speichern Sie Seitenzahl und Quellkennung beim resultierenden Vektor, damit ein abgerufener Kandidat die relevante Seite öffnen kann, statt lediglich einen Dokumentnamen zurückzugeben.
Das Eingabeformat des Herstellers unterstützt Sequenzen aus Text, Bildern und Videos. Als Bildformate werden PNG, JPEG, WebP und GIF veröffentlicht, als Videoformat MP4. Visuelle Inhalte können im dokumentierten Rezept durch URLs oder Base64-Daten repräsentiert werden; verwenden Sie innerhalb einer Anfrage durchgehend denselben Repräsentationsstil.
Das Modell repräsentiert Video als geordnete Sequenz von Einzelbildern. Der Hersteller empfiehlt, lange Videos in zusammengehörige Szenen aufzuteilen, Szenengrenzen an verfügbaren Transkript-Zeitstempeln auszurichten und den zugehörigen Transkripttext zu bewahren. Eine geringere Auflösung oder Bildrate kann helfen, eine semantisch zusammenhängende Szene in ihr Kontextbudget einzupassen.
Bei einer Sammlung von Schulungsvideos könnte eine Anfrage nach der Szene suchen, in der die Einstellung eines bestimmten Bedienelements gezeigt wird. Verknüpfen Sie jede indizierte Szene mit ihrem Zeitbereich. Geben Sie die passende Szene zurück und prüfen Sie die Einzelbilder oder den Originalclip auf die tatsächliche Handlung, statt den abgerufenen Vektor als schriftliche Beschreibung sämtlicher Inhalte der Aufnahme zu behandeln.
Transkripttext kann beitragen, wenn er als Teil der multimodalen Eingabe vorbereitet wird. Das Embedding der Videoeinzelbilder selbst liefert kein Sprachtranskript.
Die angegebene Kontextlänge beträgt 32.000 Tokens pro Eingabe. Voyage zählt in seiner veröffentlichten Berechnung je 560 Bildpixel und je 1120 Videopixel als ein Token, sodass visuelle Inhalte dieses Budget mit Text teilen. Die dokumentierten Grenzen umfassen außerdem 16 Millionen Pixel und 20 MB pro Bild sowie 20 MB pro Video. Eine Liste enthält höchstens 1000 Eingaben und insgesamt 320.000 Tokens.
Die Standardeinstellung für das Kürzen schneidet überlange Eingaben ab; liegt die Grenze innerhalb eines Bildes, wird das gesamte Bild verworfen. Vollständige Seiten oder Szenen innerhalb des Budgets vorzubereiten sorgt daher für besser vorhersehbare Eingabeinhalte. Die alternativ dokumentierte Einstellung weist überlange Eingaben zurück, statt sie zu kürzen.
Die standardmäßige Ausgabedimension beträgt 1024; für diese Ausgabe sind auch 256, 512 und 2048 Dimensionen dokumentiert. Die Ankündigung beschreibt Matryoshka-Embeddings sowie Gleitkomma-, vorzeichenbehaftete oder vorzeichenlose 8-Bit- und binäre Repräsentationen. Speichern Sie die gewählte Dimension und Repräsentation zusammen mit dem Index.
Voyages Suchrezept unterscheidet Anfrage- und Dokumenteingaben. Eine Anfrage kann Text oder ein Bild sein, und indizierte Dokumente können Text und visuelle Inhalte kombinieren. Ein Vektor repräsentiert jede vollständige Eingabesequenz; speichern Sie seine Zuordnung zur Quellseite, zum Bild oder zur Szene, damit das sortierte Ergebnis überprüfbar bleibt.
Ein Suchschritt kann eine Berichtsseite, Tabelle, Folie oder Szene finden, die für die Anfrage relevant ist. Der Schritt zum Schreiben einer Antwort oder zur Analyse liest anschließend dieses Quellmaterial. Prüfen Sie bei einer Tabelle die tatsächlichen Überschriften und Werte, bevor Sie ein Ergebnis verwenden; prüfen Sie bei einer Szene die relevanten Einzelbilder und den zugehörigen Text.
Der wesentliche Unterschied zu voyage-multimodal-3 liegt in der ausdrücklichen Videounterstützung und den zusätzlichen Repräsentationsmöglichkeiten der Ausgabe 3.5. Dies sind Embedding-Fähigkeiten zum Auffinden von Quellmaterial, mit numerischen Vektoren als Ausgabe statt generierter Bilder, Videos oder einer erzählenden Antwort.
", "aboutText": "voyage-multimodal-3.5 ist das Embedding-Modell von Voyage AI für die Informationssuche über Text, Bilder und Video hinweg. Es verarbeitet abwechselnde textliche und visuelle Inhalte mit einem einzelnen Transformer-Encoder und repräsentiert eine vollständige multimodale Eingabe in einem gemeinsamen Vektorraum. Die Ausgabe 3.5 ergänzt die ausdrückliche Unterstützung von Videoeinzelbildern und flexible Embedding-Dimensionen.\n\n### Den Zusammenhang zwischen Text und visuellen Inhalten erhalten\n\nBereiten Sie eine Dokumentseite oder einen Abschnitt in einer Form vor, die die nützlichen visuellen Informationen bewahrt. Eine Folie mit einem Diagramm und einer kurzen Erklärung kann mit dem Folienbild und dem begleitenden Text in derselben geordneten Eingabe repräsentiert werden. Für eine PDF-basierte Sammlung ist die dokumentierte visuelle Eingabe ein Screenshot einer Seite oder eine andere Bildrepräsentation des Dokuments.\n\nBewahren Sie bei einem Berichtsdiagramm Titel, Achsenbeschriftungen und Legende im Bild. Fügen Sie erläuternden Text hinzu, wenn er den zum Verständnis der Darstellung nötigen Kontext liefert. Speichern Sie Seitenzahl und Quellkennung beim resultierenden Vektor, damit ein abgerufener Kandidat die relevante Seite öffnen kann, statt lediglich einen Dokumentnamen zurückzugeben.\n\nDas Eingabeformat des Herstellers unterstützt Sequenzen aus Text, Bildern und Videos. Als Bildformate werden PNG, JPEG, WebP und GIF veröffentlicht, als Videoformat MP4. Visuelle Inhalte können im dokumentierten Rezept durch URLs oder Base64-Daten repräsentiert werden; verwenden Sie innerhalb einer Anfrage durchgehend denselben Repräsentationsstil.\n\n### Eine Szene statt eines ganzen langen Videos abrufen\n\nDas Modell repräsentiert Video als geordnete Sequenz von Einzelbildern. Der Hersteller empfiehlt, lange Videos in zusammengehörige Szenen aufzuteilen, Szenengrenzen an verfügbaren Transkript-Zeitstempeln auszurichten und den zugehörigen Transkripttext zu bewahren. Eine geringere Auflösung oder Bildrate kann helfen, eine semantisch zusammenhängende Szene in ihr Kontextbudget einzupassen.\n\nBei einer Sammlung von Schulungsvideos könnte eine Anfrage nach der Szene suchen, in der die Einstellung eines bestimmten Bedienelements gezeigt wird. Verknüpfen Sie jede indizierte Szene mit ihrem Zeitbereich. Geben Sie die passende Szene zurück und prüfen Sie die Einzelbilder oder den Originalclip auf die tatsächliche Handlung, statt den abgerufenen Vektor als schriftliche Beschreibung sämtlicher Inhalte der Aufnahme zu behandeln.\n\nTranskripttext kann beitragen, wenn er als Teil der multimodalen Eingabe vorbereitet wird. Das Embedding der Videoeinzelbilder selbst liefert kein Sprachtranskript.\n\n### Kontext- und Vorbereitungsgrenzen\n\nDie angegebene Kontextlänge beträgt 32.000 Tokens pro Eingabe. Voyage zählt in seiner veröffentlichten Berechnung je 560 Bildpixel und je 1120 Videopixel als ein Token, sodass visuelle Inhalte dieses Budget mit Text teilen. Die dokumentierten Grenzen umfassen außerdem 16 Millionen Pixel und 20 MB pro Bild sowie 20 MB pro Video. Eine Liste enthält höchstens 1000 Eingaben und insgesamt 320.000 Tokens.\n\nDie Standardeinstellung für das Kürzen schneidet überlange Eingaben ab; liegt die Grenze innerhalb eines Bildes, wird das gesamte Bild verworfen. Vollständige Seiten oder Szenen innerhalb des Budgets vorzubereiten sorgt daher für besser vorhersehbare Eingabeinhalte. Die alternativ dokumentierte Einstellung weist überlange Eingaben zurück, statt sie zu kürzen.\n\n### Vektordimensionen und Rollen in der Informationssuche\n\nDie standardmäßige Ausgabedimension beträgt 1024; für diese Ausgabe sind auch 256, 512 und 2048 Dimensionen dokumentiert. Die Ankündigung beschreibt Matryoshka-Embeddings sowie Gleitkomma-, vorzeichenbehaftete oder vorzeichenlose 8-Bit- und binäre Repräsentationen. Speichern Sie die gewählte Dimension und Repräsentation zusammen mit dem Index.\n\nVoyages Suchrezept unterscheidet Anfrage- und Dokumenteingaben. Eine Anfrage kann Text oder ein Bild sein, und indizierte Dokumente können Text und visuelle Inhalte kombinieren. Ein Vektor repräsentiert jede vollständige Eingabesequenz; speichern Sie seine Zuordnung zur Quellseite, zum Bild oder zur Szene, damit das sortierte Ergebnis überprüfbar bleibt.\n\n### Die zurückgegebene visuelle Quelle nutzen\n\nEin Suchschritt kann eine Berichtsseite, Tabelle, Folie oder Szene finden, die für die Anfrage relevant ist. Der Schritt zum Schreiben einer Antwort oder zur Analyse liest anschließend dieses Quellmaterial. Prüfen Sie bei einer Tabelle die tatsächlichen Überschriften und Werte, bevor Sie ein Ergebnis verwenden; prüfen Sie bei einer Szene die relevanten Einzelbilder und den zugehörigen Text.\n\nDer wesentliche Unterschied zu voyage-multimodal-3 liegt in der ausdrücklichen Videounterstützung und den zusätzlichen Repräsentationsmöglichkeiten der Ausgabe 3.5. Dies sind Embedding-Fähigkeiten zum Auffinden von Quellmaterial, mit numerischen Vektoren als Ausgabe statt generierter Bilder, Videos oder einer erzählenden Antwort.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "786ed54f341f5f05645cb66436bf98506fea6c2959cc57bc822738576a3035e8", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "de-at", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 bettet Text, Bilder und Videoeinzelbilder in einen gemeinsamen Suchraum ein. Es verarbeitet abwechselnde Inhalte wie Dokument-Screenshots, Tabellen und Szenen mit Eingaben von 32.000 Tokens und einer standardmäßig 1024-dimensionalen Repräsentation.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
voyage-multimodal-3.5 ist das Embedding-Modell von Voyage AI für die Informationssuche über Text, Bilder und Video hinweg. Es verarbeitet abwechselnde textliche und visuelle Inhalte mit einem einzelnen Transformer-Encoder und repräsentiert eine vollständige multimodale Eingabe in einem gemeinsamen Vektorraum. Die Ausgabe 3.5 ergänzt die ausdrückliche Unterstützung von Videoeinzelbildern und flexible Embedding-Dimensionen.
Bereiten Sie eine Dokumentseite oder einen Abschnitt in einer Form vor, die die nützlichen visuellen Informationen bewahrt. Eine Folie mit einem Diagramm und einer kurzen Erklärung kann mit dem Folienbild und dem begleitenden Text in derselben geordneten Eingabe repräsentiert werden. Für eine PDF-basierte Sammlung ist die dokumentierte visuelle Eingabe ein Screenshot einer Seite oder eine andere Bildrepräsentation des Dokuments.
Bewahren Sie bei einem Berichtsdiagramm Titel, Achsenbeschriftungen und Legende im Bild. Fügen Sie erläuternden Text hinzu, wenn er den zum Verständnis der Darstellung nötigen Kontext liefert. Speichern Sie Seitenzahl und Quellkennung beim resultierenden Vektor, damit ein abgerufener Kandidat die relevante Seite öffnen kann, statt lediglich einen Dokumentnamen zurückzugeben.
Das Eingabeformat des Herstellers unterstützt Sequenzen aus Text, Bildern und Videos. Als Bildformate werden PNG, JPEG, WebP und GIF veröffentlicht, als Videoformat MP4. Visuelle Inhalte können im dokumentierten Rezept durch URLs oder Base64-Daten repräsentiert werden; verwenden Sie innerhalb einer Anfrage durchgehend denselben Repräsentationsstil.
Das Modell repräsentiert Video als geordnete Sequenz von Einzelbildern. Der Hersteller empfiehlt, lange Videos in zusammengehörige Szenen aufzuteilen, Szenengrenzen an verfügbaren Transkript-Zeitstempeln auszurichten und den zugehörigen Transkripttext zu bewahren. Eine geringere Auflösung oder Bildrate kann helfen, eine semantisch zusammenhängende Szene in ihr Kontextbudget einzupassen.
Bei einer Sammlung von Schulungsvideos könnte eine Anfrage nach der Szene suchen, in der die Einstellung eines bestimmten Bedienelements gezeigt wird. Verknüpfen Sie jede indizierte Szene mit ihrem Zeitbereich. Geben Sie die passende Szene zurück und prüfen Sie die Einzelbilder oder den Originalclip auf die tatsächliche Handlung, statt den abgerufenen Vektor als schriftliche Beschreibung sämtlicher Inhalte der Aufnahme zu behandeln.
Transkripttext kann beitragen, wenn er als Teil der multimodalen Eingabe vorbereitet wird. Das Embedding der Videoeinzelbilder selbst liefert kein Sprachtranskript.
Die angegebene Kontextlänge beträgt 32.000 Tokens pro Eingabe. Voyage zählt in seiner veröffentlichten Berechnung je 560 Bildpixel und je 1120 Videopixel als ein Token, sodass visuelle Inhalte dieses Budget mit Text teilen. Die dokumentierten Grenzen umfassen außerdem 16 Millionen Pixel und 20 MB pro Bild sowie 20 MB pro Video. Eine Liste enthält höchstens 1000 Eingaben und insgesamt 320.000 Tokens.
Die Standardeinstellung für das Kürzen schneidet überlange Eingaben ab; liegt die Grenze innerhalb eines Bildes, wird das gesamte Bild verworfen. Vollständige Seiten oder Szenen innerhalb des Budgets vorzubereiten sorgt daher für besser vorhersehbare Eingabeinhalte. Die alternativ dokumentierte Einstellung weist überlange Eingaben zurück, statt sie zu kürzen.
Die standardmäßige Ausgabedimension beträgt 1024; für diese Ausgabe sind auch 256, 512 und 2048 Dimensionen dokumentiert. Die Ankündigung beschreibt Matryoshka-Embeddings sowie Gleitkomma-, vorzeichenbehaftete oder vorzeichenlose 8-Bit- und binäre Repräsentationen. Speichern Sie die gewählte Dimension und Repräsentation zusammen mit dem Index.
Voyages Suchrezept unterscheidet Anfrage- und Dokumenteingaben. Eine Anfrage kann Text oder ein Bild sein, und indizierte Dokumente können Text und visuelle Inhalte kombinieren. Ein Vektor repräsentiert jede vollständige Eingabesequenz; speichern Sie seine Zuordnung zur Quellseite, zum Bild oder zur Szene, damit das sortierte Ergebnis überprüfbar bleibt.
Ein Suchschritt kann eine Berichtsseite, Tabelle, Folie oder Szene finden, die für die Anfrage relevant ist. Der Schritt zum Schreiben einer Antwort oder zur Analyse liest anschließend dieses Quellmaterial. Prüfen Sie bei einer Tabelle die tatsächlichen Überschriften und Werte, bevor Sie ein Ergebnis verwenden; prüfen Sie bei einer Szene die relevanten Einzelbilder und den zugehörigen Text.
Der wesentliche Unterschied zu voyage-multimodal-3 liegt in der ausdrücklichen Videounterstützung und den zusätzlichen Repräsentationsmöglichkeiten der Ausgabe 3.5. Dies sind Embedding-Fähigkeiten zum Auffinden von Quellmaterial, mit numerischen Vektoren als Ausgabe statt generierter Bilder, Videos oder einer erzählenden Antwort.
POST /v1/embeddingstext, token_idsembedding| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits voyageai/voyage-multimodal-3.5 | Standard— |
Feldinput | Typstring|string[]|integer[]|integer[][] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 Bedingungen: Nicht leerer, homogener Batch. Token-IDs sind nichtnegative Ganzzahlen. Eingabebudget: Maximum: 32 000 · Texteinheit: UTF8-Bytes · Tokeneinheit: Elemente des Token-Arrays | Standard— |
Feldencoding_format | Typstring | AnforderungOptional | Werte und Limits float | Standardfloat |
Felddimensions | Typinteger | AnforderungNicht unterstützt | Werte und Limits Minimum: 1 | Standard— |
Felduser | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldsession_id | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldtrace | Typjson_value | AnforderungOptional | Werte und Limits Bedingungen: Die Quelle lässt dieses JSON-Metadatenfeld zu; die genaue Semantik des vorgelagerten Systems ist modellspezifisch. | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options abgelehnt | Standard— |
text_to_embedding
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, input |
Parameterinput_shapes | Vertragstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Vertragfloat |
Parameterdimensions_override | Vertragfalse |
Parametermax_input_budget_units | Vertrag32000 |
Parametermultimodal_objects | Vertragfalse |
Parametermaterial_types | Vertragtext, token_ids |
Lebenszyklus: synchronous_json
Jeden Vektorindex und jede Dimension beibehalten.
Ein multimodaler Modellname erlaubt auf genau diesem Pfad keine Bildobjekte.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
| Konfiguration | Tarifstaffel | Gebühr |
|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Gebühr Eingabe · Eingabetoken $0.00024 / 1K Tokens Ausgabe · Ausgabetoken $0 / 1K Tokens Eingabe · Cache lesen — / 1K Tokens Eingabe · In Cache schreiben — / 1K Tokens Eingabe · In Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschließenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Jeden Vektor mit seinem Index beibehalten. Die Anzahl der Vektoren muss der Anzahl der Eingaben entsprechen; die Dimensionen müssen konsistent sein.
Es wird kein Endpunkt für Embedding-Aufträge eingeführt.
| Feld | Typ |
|---|---|
Feldobject | Typstring |
Feldmodel | Typstring |
Felddata[].index | Typinteger |
Felddata[].embedding | Typfinite float[] |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Verwenden Sie die oben angezeigten Methodenpfade.