voyage-multimodal-3.5 is het embeddingmodel van Voyage AI voor informatieopvraging over tekst, afbeeldingen en video. Het verwerkt afwisselende tekst en visuele inhoud via één transformerencoder en representeert een volledige multimodale invoer in een gedeelde vectorruimte. De editie 3.5 voegt expliciete ondersteuning voor videoframes en flexibele embeddingdimensies toe.
Bereid een documentpagina of sectie voor in de vorm die de bruikbare visuele informatie behoudt. Een dia met een grafiek en een korte uitleg kan worden gerepresenteerd met de dia-afbeelding en begeleidende tekst in dezelfde geordende invoer. Voor een op PDF gebaseerde verzameling is de gedocumenteerde visuele invoer een schermafbeelding van een pagina of een andere afbeeldingsrepresentatie van het document.
Behoud bij een grafiek uit een rapport de titel, aslabels en legenda in de afbeelding. Voeg verklarende tekst toe wanneer die de context biedt die nodig is om het beeld te interpreteren. Bewaar het paginanummer en de bronidentifier bij de resulterende vector, zodat een opgehaalde kandidaat de relevante pagina kan openen in plaats van alleen een documentnaam terug te geven.
Het invoerformaat van de maker ondersteunt reeksen van tekst, afbeeldingen en video's. De gepubliceerde afbeeldingsformaten zijn PNG, JPEG, WebP en GIF, met MP4 voor video. Visuele inhoud kan in het gedocumenteerde recept via URL's of Base64-gegevens worden gerepresenteerd; houd binnen één aanvraag consequent één representatiestijl aan.
Het model representeert video als een geordende reeks frames. De maker beveelt aan een lange video in samenhangende scènes te verdelen, scènegrenzen op beschikbare transcripttijdstempels af te stemmen en de bijbehorende transcripttekst te behouden. Een lagere resolutie of verminderde framesnelheid kan helpen om een semantisch doorlopende scène binnen het contextbudget te laten passen.
Voor een verzameling instructievideo's kan een zoekvraag om de scène vragen die het afstellen van een specifieke bediening toont. Koppel elke geïndexeerde scène aan haar tijdsbereik. Retourneer de overeenkomende scène en onderzoek de frames of oorspronkelijke clip op de daadwerkelijke handeling in plaats van de opgehaalde vector als een geschreven beschrijving van alles in de opname te behandelen.
Transcripttekst kan bijdragen wanneer die als onderdeel van de multimodale invoer wordt voorbereid. Het embedden van videoframes zelf levert geen spraaktranscript op.
De genoemde contextlengte is 32.000 tokens per invoer. Voyage telt in de gepubliceerde berekening elke 560 afbeeldingspixels en elke 1120 videopixels als een token, dus visuele inhoud deelt dat budget met tekst. De gedocumenteerde limieten omvatten ook 16 miljoen pixels en 20 MB per afbeelding en 20 MB per video. Een lijst bevat maximaal 1000 invoeritems en 320.000 tokens samen.
De standaardinstelling voor afkappen snijdt te lange invoer af; als die grens binnen een afbeelding valt, wordt de volledige afbeelding verwijderd. Volledige pagina's of scènes binnen het budget voorbereiden behoudt dus voorspelbaardere invoerinhoud. De alternatieve gedocumenteerde instelling weigert te lange invoer in plaats van die af te kappen.
De standaarduitvoerdimensie is 1024, met ook 256, 512 en 2048 dimensies gedocumenteerd voor deze editie. De aankondiging beschrijft Matryoshka-embeddings en representaties met drijvende-kommagetallen, 8-bits waarden met of zonder teken en binaire waarden. Bewaar de gekozen dimensie en representatie bij de index.
Het zoekrecept van Voyage onderscheidt query- en documentinvoer. Een zoekvraag kan tekst of een afbeelding zijn en geïndexeerde documenten kunnen tekst en beeld combineren. Eén vector representeert elke volledige invoerreeks; bewaar de koppeling aan de bronpagina, afbeelding of scène, zodat het gerangschikte resultaat inspecteerbaar blijft.
Een zoekfase kan een rapportpagina, tabel, dia of scène vinden die relevant is voor de zoekvraag. De antwoordschrijf- of analysefase leest vervolgens dat bronmateriaal. Onderzoek bij een tabel de daadwerkelijke kolomkoppen en waarden voordat u een resultaat gebruikt; onderzoek bij een scène de relevante frames en bijbehorende tekst.
Het inhoudelijke verschil met voyage-multimodal-3 is de expliciete video-ondersteuning en de extra representatiekeuzes van de editie 3.5. Dat zijn embeddingmogelijkheden om bronmateriaal te vinden, met numerieke vectoren als uitvoer in plaats van gegenereerde afbeeldingen, video of een verhalend antwoord.
", "aboutText": "voyage-multimodal-3.5 is het embeddingmodel van Voyage AI voor informatieopvraging over tekst, afbeeldingen en video. Het verwerkt afwisselende tekst en visuele inhoud via één transformerencoder en representeert een volledige multimodale invoer in een gedeelde vectorruimte. De editie 3.5 voegt expliciete ondersteuning voor videoframes en flexibele embeddingdimensies toe.\n\n### Behoud het verband tussen tekst en beeld\n\nBereid een documentpagina of sectie voor in de vorm die de bruikbare visuele informatie behoudt. Een dia met een grafiek en een korte uitleg kan worden gerepresenteerd met de dia-afbeelding en begeleidende tekst in dezelfde geordende invoer. Voor een op PDF gebaseerde verzameling is de gedocumenteerde visuele invoer een schermafbeelding van een pagina of een andere afbeeldingsrepresentatie van het document.\n\nBehoud bij een grafiek uit een rapport de titel, aslabels en legenda in de afbeelding. Voeg verklarende tekst toe wanneer die de context biedt die nodig is om het beeld te interpreteren. Bewaar het paginanummer en de bronidentifier bij de resulterende vector, zodat een opgehaalde kandidaat de relevante pagina kan openen in plaats van alleen een documentnaam terug te geven.\n\nHet invoerformaat van de maker ondersteunt reeksen van tekst, afbeeldingen en video's. De gepubliceerde afbeeldingsformaten zijn PNG, JPEG, WebP en GIF, met MP4 voor video. Visuele inhoud kan in het gedocumenteerde recept via URL's of Base64-gegevens worden gerepresenteerd; houd binnen één aanvraag consequent één representatiestijl aan.\n\n### Haal een scène op in plaats van een volledige lange video\n\nHet model representeert video als een geordende reeks frames. De maker beveelt aan een lange video in samenhangende scènes te verdelen, scènegrenzen op beschikbare transcripttijdstempels af te stemmen en de bijbehorende transcripttekst te behouden. Een lagere resolutie of verminderde framesnelheid kan helpen om een semantisch doorlopende scène binnen het contextbudget te laten passen.\n\nVoor een verzameling instructievideo's kan een zoekvraag om de scène vragen die het afstellen van een specifieke bediening toont. Koppel elke geïndexeerde scène aan haar tijdsbereik. Retourneer de overeenkomende scène en onderzoek de frames of oorspronkelijke clip op de daadwerkelijke handeling in plaats van de opgehaalde vector als een geschreven beschrijving van alles in de opname te behandelen.\n\nTranscripttekst kan bijdragen wanneer die als onderdeel van de multimodale invoer wordt voorbereid. Het embedden van videoframes zelf levert geen spraaktranscript op.\n\n### Context- en voorbereidingslimieten\n\nDe genoemde contextlengte is 32.000 tokens per invoer. Voyage telt in de gepubliceerde berekening elke 560 afbeeldingspixels en elke 1120 videopixels als een token, dus visuele inhoud deelt dat budget met tekst. De gedocumenteerde limieten omvatten ook 16 miljoen pixels en 20 MB per afbeelding en 20 MB per video. Een lijst bevat maximaal 1000 invoeritems en 320.000 tokens samen.\n\nDe standaardinstelling voor afkappen snijdt te lange invoer af; als die grens binnen een afbeelding valt, wordt de volledige afbeelding verwijderd. Volledige pagina's of scènes binnen het budget voorbereiden behoudt dus voorspelbaardere invoerinhoud. De alternatieve gedocumenteerde instelling weigert te lange invoer in plaats van die af te kappen.\n\n### Vectordimensies en zoekrollen\n\nDe standaarduitvoerdimensie is 1024, met ook 256, 512 en 2048 dimensies gedocumenteerd voor deze editie. De aankondiging beschrijft Matryoshka-embeddings en representaties met drijvende-kommagetallen, 8-bits waarden met of zonder teken en binaire waarden. Bewaar de gekozen dimensie en representatie bij de index.\n\nHet zoekrecept van Voyage onderscheidt query- en documentinvoer. Een zoekvraag kan tekst of een afbeelding zijn en geïndexeerde documenten kunnen tekst en beeld combineren. Eén vector representeert elke volledige invoerreeks; bewaar de koppeling aan de bronpagina, afbeelding of scène, zodat het gerangschikte resultaat inspecteerbaar blijft.\n\n### Gebruik de geretourneerde visuele bron\n\nEen zoekfase kan een rapportpagina, tabel, dia of scène vinden die relevant is voor de zoekvraag. De antwoordschrijf- of analysefase leest vervolgens dat bronmateriaal. Onderzoek bij een tabel de daadwerkelijke kolomkoppen en waarden voordat u een resultaat gebruikt; onderzoek bij een scène de relevante frames en bijbehorende tekst.\n\nHet inhoudelijke verschil met voyage-multimodal-3 is de expliciete video-ondersteuning en de extra representatiekeuzes van de editie 3.5. Dat zijn embeddingmogelijkheden om bronmateriaal te vinden, met numerieke vectoren als uitvoer in plaats van gegenereerde afbeeldingen, video of een verhalend antwoord.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "6873094d9b936d99c2697977870379f2a31fab2f210c3102f44e30c13ff4316e", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "nl-be", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 embedt tekst, afbeeldingen en videoframes in een gedeelde zoekruimte. Het verwerkt afwisselende inhoud zoals documentschermafbeeldingen, tabellen en scènes, met invoer van 32.000 tokens en een standaardrepresentatie van 1024 dimensies.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
voyage-multimodal-3.5 is het embeddingmodel van Voyage AI voor informatieopvraging over tekst, afbeeldingen en video. Het verwerkt afwisselende tekst en visuele inhoud via één transformerencoder en representeert een volledige multimodale invoer in een gedeelde vectorruimte. De editie 3.5 voegt expliciete ondersteuning voor videoframes en flexibele embeddingdimensies toe.
Bereid een documentpagina of sectie voor in de vorm die de bruikbare visuele informatie behoudt. Een dia met een grafiek en een korte uitleg kan worden gerepresenteerd met de dia-afbeelding en begeleidende tekst in dezelfde geordende invoer. Voor een op PDF gebaseerde verzameling is de gedocumenteerde visuele invoer een schermafbeelding van een pagina of een andere afbeeldingsrepresentatie van het document.
Behoud bij een grafiek uit een rapport de titel, aslabels en legenda in de afbeelding. Voeg verklarende tekst toe wanneer die de context biedt die nodig is om het beeld te interpreteren. Bewaar het paginanummer en de bronidentifier bij de resulterende vector, zodat een opgehaalde kandidaat de relevante pagina kan openen in plaats van alleen een documentnaam terug te geven.
Het invoerformaat van de maker ondersteunt reeksen van tekst, afbeeldingen en video's. De gepubliceerde afbeeldingsformaten zijn PNG, JPEG, WebP en GIF, met MP4 voor video. Visuele inhoud kan in het gedocumenteerde recept via URL's of Base64-gegevens worden gerepresenteerd; houd binnen één aanvraag consequent één representatiestijl aan.
Het model representeert video als een geordende reeks frames. De maker beveelt aan een lange video in samenhangende scènes te verdelen, scènegrenzen op beschikbare transcripttijdstempels af te stemmen en de bijbehorende transcripttekst te behouden. Een lagere resolutie of verminderde framesnelheid kan helpen om een semantisch doorlopende scène binnen het contextbudget te laten passen.
Voor een verzameling instructievideo's kan een zoekvraag om de scène vragen die het afstellen van een specifieke bediening toont. Koppel elke geïndexeerde scène aan haar tijdsbereik. Retourneer de overeenkomende scène en onderzoek de frames of oorspronkelijke clip op de daadwerkelijke handeling in plaats van de opgehaalde vector als een geschreven beschrijving van alles in de opname te behandelen.
Transcripttekst kan bijdragen wanneer die als onderdeel van de multimodale invoer wordt voorbereid. Het embedden van videoframes zelf levert geen spraaktranscript op.
De genoemde contextlengte is 32.000 tokens per invoer. Voyage telt in de gepubliceerde berekening elke 560 afbeeldingspixels en elke 1120 videopixels als een token, dus visuele inhoud deelt dat budget met tekst. De gedocumenteerde limieten omvatten ook 16 miljoen pixels en 20 MB per afbeelding en 20 MB per video. Een lijst bevat maximaal 1000 invoeritems en 320.000 tokens samen.
De standaardinstelling voor afkappen snijdt te lange invoer af; als die grens binnen een afbeelding valt, wordt de volledige afbeelding verwijderd. Volledige pagina's of scènes binnen het budget voorbereiden behoudt dus voorspelbaardere invoerinhoud. De alternatieve gedocumenteerde instelling weigert te lange invoer in plaats van die af te kappen.
De standaarduitvoerdimensie is 1024, met ook 256, 512 en 2048 dimensies gedocumenteerd voor deze editie. De aankondiging beschrijft Matryoshka-embeddings en representaties met drijvende-kommagetallen, 8-bits waarden met of zonder teken en binaire waarden. Bewaar de gekozen dimensie en representatie bij de index.
Het zoekrecept van Voyage onderscheidt query- en documentinvoer. Een zoekvraag kan tekst of een afbeelding zijn en geïndexeerde documenten kunnen tekst en beeld combineren. Eén vector representeert elke volledige invoerreeks; bewaar de koppeling aan de bronpagina, afbeelding of scène, zodat het gerangschikte resultaat inspecteerbaar blijft.
Een zoekfase kan een rapportpagina, tabel, dia of scène vinden die relevant is voor de zoekvraag. De antwoordschrijf- of analysefase leest vervolgens dat bronmateriaal. Onderzoek bij een tabel de daadwerkelijke kolomkoppen en waarden voordat u een resultaat gebruikt; onderzoek bij een scène de relevante frames en bijbehorende tekst.
Het inhoudelijke verschil met voyage-multimodal-3 is de expliciete video-ondersteuning en de extra representatiekeuzes van de editie 3.5. Dat zijn embeddingmogelijkheden om bronmateriaal te vinden, met numerieke vectoren als uitvoer in plaats van gegenereerde afbeeldingen, video of een verhalend antwoord.
POST /v1/embeddingstext, token_idsembedding| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten voyageai/voyage-multimodal-3.5 | Standaard— |
Veldinput | Typestring|string[]|integer[]|integer[][] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 Voorwaarden: Niet-lege homogene batch. Token-ID's zijn niet-negatieve gehele getallen. Invoerbudget: Maximum: 32.000 · Teksteenheid: UTF8-bytes · Tokeneenheid: elementen van de token-array | Standaard— |
Veldencoding_format | Typestring | VereisteOptioneel | Waarden en limieten float | Standaardfloat |
Velddimensions | Typeinteger | VereisteNiet ondersteund | Waarden en limieten Minimum: 1 | Standaard— |
Velduser | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldsession_id | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldtrace | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options geweigerd | Standaard— |
text_to_embedding
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, input |
Parameterinput_shapes | Contractstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Contractfloat |
Parameterdimensions_override | Contractfalse |
Parametermax_input_budget_units | Contract32000 |
Parametermultimodal_objects | Contractfalse |
Parametermaterial_types | Contracttext, token_ids |
Levenscyclus: synchronous_json
Bewaar elke vectorindex en -dimensie.
Ook bij een multimodale modelnaam zijn afbeeldingsobjecten op dit specifieke pad niet toegestaan.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.00024 / 1K tokens Uitvoer · Uitvoertokens $0 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke vector met zijn index. Het aantal vectoren moet gelijk zijn aan het aantal invoeritems; de dimensies moeten consistent zijn.
Er wordt geen endpoint voor embeddingtaken toegevoegd.
| Veld | Type |
|---|---|
Veldobject | Typestring |
Veldmodel | Typestring |
Velddata[].index | Typeinteger |
Velddata[].embedding | Typefinite float[] |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Gebruik de hierboven getoonde methodepaden.