VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 embedt tekst, afbeeldingen en videoframes in een gedeelde zoekruimte. Het verwerkt afwisselende inhoud zoals documentschermafbeeldingen, tabellen en scènes, met invoer van 32.000 tokens en een standaardrepresentatie van 1024 dimensies.
Over het model
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
voyage-multimodal-3.5 is het embeddingmodel van Voyage AI voor informatieopvraging over tekst, afbeeldingen en video. Het verwerkt afwisselende tekst en visuele inhoud via één transformerencoder en representeert een volledige multimodale invoer in een gedeelde vectorruimte. De editie 3.5 voegt expliciete ondersteuning voor videoframes en flexibele embeddingdimensies toe.
Behoud het verband tussen tekst en beeld
Bereid een documentpagina of sectie voor in de vorm die de bruikbare visuele informatie behoudt. Een dia met een grafiek en een korte uitleg kan worden gerepresenteerd met de dia-afbeelding en begeleidende tekst in dezelfde geordende invoer. Voor een op PDF gebaseerde verzameling is de gedocumenteerde visuele invoer een schermafbeelding van een pagina of een andere afbeeldingsrepresentatie van het document.
Behoud bij een grafiek uit een rapport de titel, aslabels en legenda in de afbeelding. Voeg verklarende tekst toe wanneer die de context biedt die nodig is om het beeld te interpreteren. Bewaar het paginanummer en de bronidentifier bij de resulterende vector, zodat een opgehaalde kandidaat de relevante pagina kan openen in plaats van alleen een documentnaam terug te geven.
Het invoerformaat van de maker ondersteunt reeksen van tekst, afbeeldingen en video's. De gepubliceerde afbeeldingsformaten zijn PNG, JPEG, WebP en GIF, met MP4 voor video. Visuele inhoud kan in het gedocumenteerde recept via URL's of Base64-gegevens worden gerepresenteerd; houd binnen één aanvraag consequent één representatiestijl aan.
Haal een scène op in plaats van een volledige lange video
Het model representeert video als een geordende reeks frames. De maker beveelt aan een lange video in samenhangende scènes te verdelen, scènegrenzen op beschikbare transcripttijdstempels af te stemmen en de bijbehorende transcripttekst te behouden. Een lagere resolutie of verminderde framesnelheid kan helpen om een semantisch doorlopende scène binnen het contextbudget te laten passen.
Voor een verzameling instructievideo's kan een zoekvraag om de scène vragen die het afstellen van een specifieke bediening toont. Koppel elke geïndexeerde scène aan haar tijdsbereik. Retourneer de overeenkomende scène en onderzoek de frames of oorspronkelijke clip op de daadwerkelijke handeling in plaats van de opgehaalde vector als een geschreven beschrijving van alles in de opname te behandelen.
Transcripttekst kan bijdragen wanneer die als onderdeel van de multimodale invoer wordt voorbereid. Het embedden van videoframes zelf levert geen spraaktranscript op.
Context- en voorbereidingslimieten
De genoemde contextlengte is 32.000 tokens per invoer. Voyage telt in de gepubliceerde berekening elke 560 afbeeldingspixels en elke 1120 videopixels als een token, dus visuele inhoud deelt dat budget met tekst. De gedocumenteerde limieten omvatten ook 16 miljoen pixels en 20 MB per afbeelding en 20 MB per video. Een lijst bevat maximaal 1000 invoeritems en 320.000 tokens samen.
De standaardinstelling voor afkappen snijdt te lange invoer af; als die grens binnen een afbeelding valt, wordt de volledige afbeelding verwijderd. Volledige pagina's of scènes binnen het budget voorbereiden behoudt dus voorspelbaardere invoerinhoud. De alternatieve gedocumenteerde instelling weigert te lange invoer in plaats van die af te kappen.
Vectordimensies en zoekrollen
De standaarduitvoerdimensie is 1024, met ook 256, 512 en 2048 dimensies gedocumenteerd voor deze editie. De aankondiging beschrijft Matryoshka-embeddings en representaties met drijvende-kommagetallen, 8-bits waarden met of zonder teken en binaire waarden. Bewaar de gekozen dimensie en representatie bij de index.
Het zoekrecept van Voyage onderscheidt query- en documentinvoer. Een zoekvraag kan tekst of een afbeelding zijn en geïndexeerde documenten kunnen tekst en beeld combineren. Eén vector representeert elke volledige invoerreeks; bewaar de koppeling aan de bronpagina, afbeelding of scène, zodat het gerangschikte resultaat inspecteerbaar blijft.
Gebruik de geretourneerde visuele bron
Een zoekfase kan een rapportpagina, tabel, dia of scène vinden die relevant is voor de zoekvraag. De antwoordschrijf- of analysefase leest vervolgens dat bronmateriaal. Onderzoek bij een tabel de daadwerkelijke kolomkoppen en waarden voordat u een resultaat gebruikt; onderzoek bij een scène de relevante frames en bijbehorende tekst.
Het inhoudelijke verschil met voyage-multimodal-3 is de expliciete video-ondersteuning en de extra representatiekeuzes van de editie 3.5. Dat zijn embeddingmogelijkheden om bronmateriaal te vinden, met numerieke vectoren als uitvoer in plaats van gegenereerde afbeeldingen, video of een verhalend antwoord.
Ailoot Ultra · Embeddings POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Aan de slag
Voyage AI voyage-multimodal-3.5 embedt tekst, afbeeldingen en videoframes in een gedeelde zoekruimte. Het verwerkt afwisselende inhoud zoals documentschermafbeeldingen, tabellen en scènes, met invoer van 32.000 tokens en een standaardrepresentatie van 1024 dimensies.
- Toegestane invoer
- Tekst · token_ids
- Resultaten
- embedding
Beschikbaar in Ailoot · invoer en methoden
Ailoot Ultra · Embeddings POST /v1/embeddings
- Invoer
text,token_ids- Uitvoer
embedding- Context
- 32.000 tokens
- Uitvoerformaat
- json
| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten voyageai/voyage-multimodal-3.5 | Standaard— |
Veldinput | Typestring|string[]|integer[]|integer[][] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 Voorwaarden: Niet-lege homogene batch. Token-ID's zijn niet-negatieve gehele getallen. Invoerbudget: Maximum: 32.000 · Teksteenheid: UTF8-bytes · Tokeneenheid: elementen van de token-array | Standaard— |
Veldencoding_format | Typestring | VereisteOptioneel | Waarden en limieten float | Standaardfloat |
Velddimensions | Typeinteger | VereisteNiet ondersteund | Waarden en limieten Minimum: 1 | Standaard— |
Velduser | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldsession_id | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldtrace | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de precieze betekenis bij de achterliggende leverancier is modelspecifiek. | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options geweigerd | Standaard— |
Combinaties van invoermaterialen
text_to_embedding
Methodeparameters en levenscyclus
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, input |
Parameterinput_shapes | Contractstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Contractfloat |
Parameterdimensions_override | Contractfalse |
Parametermax_input_budget_units | Contract32000 |
Parametermultimodal_objects | Contractfalse |
Parametermaterial_types | Contracttext, token_ids |
Levenscyclus: synchronous_json
Bewaar elke vectorindex en -dimensie.
Ook bij een multimodale modelnaam zijn afbeeldingsobjecten op dit specifieke pad niet toegestaan.
Tarieven
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
- Snelle modus
- Standaardtarief Wanneer de snelle modus geselecteerd is
- Flex-modus
- Standaardtarief Wanneer de flex-modus geselecteerd is
- Maximale redeneerinspanning
- Standaardtarief Wanneer voor maximale redeneerinspanning de default-aanpassing wordt gebruikt
Ailoot-tarieven
Prijzen per configuratie
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.00024 / 1K tokens Uitvoer · Uitvoertokens $0 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
Voorbeeldverzoeken
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Resultaten ophalen en opslaan
Ailoot Ultra · Embeddings
json
Alle voltooide resultaten bewaren
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke vector met zijn index. Het aantal vectoren moet gelijk zijn aan het aantal invoeritems; de dimensies moeten consistent zijn.
Als het oorspronkelijke antwoord moet worden gecontroleerd
Er wordt geen endpoint voor embeddingtaken toegevoegd.
Antwoordvelden
| Veld | Type |
|---|---|
Veldobject | Typestring |
Veldmodel | Typestring |
Velddata[].index | Typeinteger |
Velddata[].embedding | Typefinite float[] |
Veldusage | Typeobject |
Fouten en vervolgstappen
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Aliasnamen
Modelaliasnamen
Ailoot Ultra voyageai/voyage-multimodal-3.5
Aliasnamen voor methodepaden
Gebruik de hierboven getoonde methodepaden.
Gerelateerde aanroeper-ID’s
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Welke invoer en resultaten zijn beschikbaar?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Welke velden gebruikt het verzoek?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Welke limieten gelden?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8-bytes);input.min_items:1