VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 bäddar in text, bilder och videobildrutor i ett gemensamt sökrum. Den hanterar sammanflätat innehåll som dokumentskärmbilder, tabeller och scener, med indata på 32 000 token och en standardrepresentation på 1024 dimensioner.
Om modellen
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
voyage-multimodal-3.5 är Voyage AI:s inbäddningsmodell för sökning över text, bilder och video. Den behandlar sammanflätad text och visuellt innehåll genom en enda transformer-kodare och representerar kompletta multimodala indata i ett gemensamt vektorrum. 3.5-utgåvan tillför uttryckligt stöd för videobildrutor och flexibla inbäddningsdimensioner.
Bevara sambandet mellan text och visuellt innehåll
Förbered en dokumentsida eller ett avsnitt i den form som bevarar dess användbara visuella information. En presentationsbild med ett diagram och en kort förklaring kan representeras med bilden och tillhörande text i samma ordnade inmatning. För en PDF-baserad samling är dokumenterade visuella indata en skärmbild av en sida eller en annan bildrepresentation av dokumentet.
För ett rapportdiagram bevarar du titeln, axelrubrikerna och teckenförklaringen i bilden. Bifoga förklarande text när den ger sammanhanget som behövs för att tolka det visuella innehållet. Lagra sidnummer och källidentifierare bredvid den resulterande vektorn så att en hämtad kandidat kan öppna den relevanta sidan i stället för att bara returnera ett dokumentnamn.
Tillverkarens indataformat stöder sekvenser av text, bilder och videor. De publicerade bildformaten är PNG, JPEG, WebP och GIF, med MP4 för video. Visuellt innehåll kan representeras genom URL:er eller Base64-data i det dokumenterade receptet; håll en representationsstil konsekvent inom en begäran.
Hämta en scen i stället för en hel lång video
Modellen representerar video som en ordnad sekvens av bildrutor. Tillverkaren rekommenderar att dela en lång video i relaterade scener, anpassa scengränserna till tillgängliga transkriptionstidsstämplar och behålla motsvarande transkriptionstext. Lägre upplösning eller minskad bildfrekvens kan hjälpa en semantiskt sammanhängande scen att rymmas inom sin kontextbudget.
I en samling utbildningsvideor kan en fråga efterfråga scenen som visar justering av ett visst reglage. Koppla varje indexerad scen till dess tidsintervall. Returnera den matchande scenen och granska bildrutorna eller originalklippet för den faktiska åtgärden, i stället för att behandla den hämtade vektorn som en skriftlig beskrivning av allt i inspelningen.
Transkriptionstext kan bidra när den förbereds som del av de multimodala indata. Inbäddning av videobildrutor ger inte i sig en taltranskription.
Kontext- och förberedelsegränser
Den angivna kontextlängden är 32 000 token per inmatning. Voyage räknar varje grupp om 560 bildpixlar och varje grupp om 1120 videopixlar som en token i sin publicerade beräkning, så visuellt innehåll delar budgeten med text. De dokumenterade gränserna omfattar även 16 miljoner pixlar och 20 MB per bild samt 20 MB per video. En lista innehåller högst 1000 inmatningar och sammanlagt 320 000 token.
Standardinställningen för kapning klipper för långa indata; om gränsen hamnar inne i en bild kastas hela bilden bort. Att förbereda kompletta sidor eller scener inom budgeten bevarar därför ett mer förutsägbart indatainnehåll. Den alternativa dokumenterade inställningen avvisar för långa indata i stället för att kapa dem.
Vektordimensioner och sökroller
Standarddimensionen för resultatet är 1024, med 256, 512 och 2048 dimensioner också dokumenterade för denna utgåva. Tillkännagivandet beskriver Matryoshka-inbäddningar och flyttals-, 8-bitars representationer med eller utan tecken samt binärrepresentationer. Behåll vald dimension och representation tillsammans med indexet.
Voyages sökrecept skiljer mellan query- och document-indata. En fråga kan vara text eller en bild, och indexerade dokument kan kombinera text och visuellt innehåll. En vektor representerar varje komplett indatasekvens; lagra dess koppling till källsida, bild eller scen så att det rangordnade resultatet förblir granskningsbart.
Använd den returnerade visuella källan
Ett söksteg kan hitta en rapportsida, tabell, presentationsbild eller scen som är relevant för frågan. Svarsskrivnings- eller analyssteget läser sedan det källmaterialet. För en tabell granskar du de faktiska rubrikerna och värdena innan resultatet används; för en scen granskar du relevanta bildrutor och tillhörande text.
Den väsentliga skillnaden mot voyage-multimodal-3 är 3.5-utgåvans uttryckliga videostöd och ytterligare representationsval. Dessa är inbäddningsförmågor för att lokalisera källmaterial, med numeriska vektorer som resultat i stället för genererade bilder, video eller ett berättande svar.
Ailoot Ultra · Embeddings POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Start
Voyage AI voyage-multimodal-3.5 bäddar in text, bilder och videobildrutor i ett gemensamt sökrum. Den hanterar sammanflätat innehåll som dokumentskärmbilder, tabeller och scener, med indata på 32 000 token och en standardrepresentation på 1024 dimensioner.
- Godkända indata
- Text · token_ids
- Resultat
- embedding
Tillgängligt i Ailoot · indata & metoder
Ailoot Ultra · Embeddings POST /v1/embeddings
- Indatatyper
text,token_ids- Utdatatyper
embedding- Kontext
- 32 000 tokens
- Utdataformat
- json
| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser voyageai/voyage-multimodal-3.5 | Standard— |
Fältinput | Typstring|string[]|integer[]|integer[][] | KravObligatoriskt | Värden & gränser Minsta antal objekt: 1 Villkor: En homogen batch som inte är tom. Token-ID:n är heltal som är större än eller lika med noll. Indatabudget: Maximum: 32 000 · Textenhet: UTF8-byte · Tokenenhet: element i en tokenarray | Standard— |
Fältencoding_format | Typstring | KravValfritt | Värden & gränser float | Standardfloat |
Fältdimensions | Typinteger | KravStöds inte | Värden & gränser Minimum: 1 | Standard— |
Fältuser | Typjson_value | KravValfritt | Värden & gränser Villkor: Källan tillåter detta JSON-metadatafält; den exakta innebörden hos leverantören beror på modellen. | Standard— |
Fältsession_id | Typjson_value | KravValfritt | Värden & gränser Villkor: Källan tillåter detta JSON-metadatafält; den exakta innebörden hos leverantören beror på modellen. | Standard— |
Fälttrace | Typjson_value | KravValfritt | Värden & gränser Villkor: Källan tillåter detta JSON-metadatafält; den exakta innebörden hos leverantören beror på modellen. | Standard— |
Fältprovider | Typobject | KravValfritt | Värden & gränser Villkor: provider.options avvisades | Standard— |
Kombinationer av indatamaterial
text_to_embedding
Metodparametrar och livscykel
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, input |
Parameterinput_shapes | Avtalstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Avtalfloat |
Parameterdimensions_override | Avtalfalse |
Parametermax_input_budget_units | Avtal32000 |
Parametermultimodal_objects | Avtalfalse |
Parametermaterial_types | Avtaltext, token_ids |
Livscykel: synchronous_json
Behåll varje vektorindex och dimension.
Att modellen har ett multimodalt namn innebär inte att bildobjekt tillåts på just denna anropsväg.
Priser
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
- Snabbt läge
- Standardpris När snabbt läge är valt
- Flex-läge
- Standardpris När läget flex är valt
- Högsta resonemangsnivå
- Standardpris När den högsta resonemangsnivån använder standardjusteringen (default)
Ailoot-priser
Priser efter konfiguration
| Konfiguration | Prislista | Avgift |
|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Avgift Indata · Indatatoken $0.00024 / 1K token Utdata · Utdatatoken $0 / 1K token Indata · Cacheläsning — / 1K token Indata · Skrivning till cache — / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
Exempelbegäranden
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Ta emot och spara resultat
Ailoot Ultra · Embeddings
json
Behåll alla färdiga resultat
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll varje vektor tillsammans med dess index. Antalet vektorer måste vara lika med antalet indataobjekt; dimensionerna måste vara konsekventa.
Om det ursprungliga svaret behöver kontrolleras
Ingen endpoint för inbäddningsjobb införs.
Svarsfält
| Fält | Typ |
|---|---|
Fältobject | Typstring |
Fältmodel | Typstring |
Fältdata[].index | Typinteger |
Fältdata[].embedding | Typfinite float[] |
Fältusage | Typobject |
Fel och nästa steg
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Alias
Modellalias
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias för metodsökvägar
Använd metodsökvägarna som visas ovan.
Relaterade anropar-ID:n
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Vilka indata och resultat finns?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Vilka fält använder begäran?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Vilka gränser gäller?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8-byte);input.min_items:1