voyage-multimodal-3.5 er Voyage AI’s embeddingmodel til genfinding på tværs af tekst, billeder og video. Den behandler sammenflettet tekst og visuelt indhold gennem én transformer-encoder og repræsenterer et komplet multimodalt input i et fælles vektorrum. 3.5-udgaven tilføjer eksplicit understøttelse af videobilleder og fleksible embeddingdimensioner.
Forbered en dokumentside eller et afsnit i en form, der bevarer den nyttige visuelle information. En slide med et diagram og en kort forklaring kan repræsenteres med slidebilledet og den tilhørende tekst i samme ordnede input. Ved en PDF-baseret samling er det dokumenterede visuelle input et skærmbillede af en side eller en anden billedrepræsentation af dokumentet.
Ved et rapportdiagram skal du bevare titlen, akseetiketterne og tegnforklaringen i billedet. Vedhæft forklarende tekst, når den giver den kontekst, der kræves for at fortolke det visuelle indhold. Gem sidetallet og kildeidentifikatoren ved siden af den resulterende vektor, så en genfundet kandidat kan åbne den relevante side frem for blot at returnere et dokumentnavn.
Producentens inputformat understøtter sekvenser af tekst, billeder og videoer. De offentliggjorte billedformater er PNG, JPEG, WebP og GIF, med MP4 til video. Visuelt indhold kan repræsenteres gennem URL’er eller Base64-data i den dokumenterede opskrift; hold én repræsentationsform konsekvent inden for en anmodning.
Modellen repræsenterer video som en ordnet sekvens af billeder. Producenten anbefaler at opdele en lang video i relaterede scener, afstemme scenegrænser med tilgængelige tidsstempler i transskriptionen og bevare den tilsvarende transskriptionstekst. Lavere opløsning eller en reduceret billedfrekvens kan hjælpe en semantisk sammenhængende scene med at passe i sit kontekstbudget.
Ved en samling af undervisningsvideoer kan en forespørgsel spørge efter den scene, der demonstrerer justering af et bestemt betjeningselement. Knyt hver indekseret scene til sit tidsinterval. Returnér den matchende scene, og undersøg billederne eller det oprindelige klip for den faktiske handling frem for at behandle den genfundne vektor som en skriftlig beskrivelse af alt i optagelsen.
Transskriptionstekst kan bidrage, når den forberedes som del af det multimodale input. Embedding af videobilleder leverer ikke i sig selv en taletransskription.
Den angivne kontekstlængde er 32.000 tokens pr. input. Voyage tæller hver gruppe på 560 billedpixels og hver gruppe på 1120 videopixels som én token i den offentliggjorte beregning, så visuelt indhold deler budgettet med tekst. De dokumenterede grænser omfatter også 16 millioner pixels og 20 MB pr. billede samt 20 MB pr. video. En liste indeholder højst 1000 input og 320.000 tokens samlet.
Standardindstillingen for afkortning klipper et for langt input; hvis grænsen falder inde i et billede, kasseres hele billedet. Forberedelse af komplette sider eller scener inden for budgettet bevarer derfor mere forudsigeligt inputindhold. Den alternative dokumenterede indstilling afviser for lange input frem for at afkorte dem.
Standardoutputdimensionen er 1024, og 256, 512 og 2048 dimensioner er også dokumenteret for denne udgave. Annonceringen beskriver Matryoshka-embeddings og repræsentationer med flydende tal, 8-bit-værdier med eller uden fortegn samt binære repræsentationer. Gem den valgte dimension og repræsentation sammen med indekset.
Voyages genfindingsopskrift skelner mellem query- og document-input. En forespørgsel kan være tekst eller et billede, og indekserede dokumenter kan kombinere tekst og visuelt indhold. Én vektor repræsenterer hver komplette inputsekvens; gem dens tilknytning til kildesiden, billedet eller scenen, så det rangerede resultat fortsat kan undersøges.
Et genfindingstrin kan finde en rapportside, tabel, slide eller scene, der er relevant for forespørgslen. Svarskrivnings- eller analysetrinnet læser derefter kildematerialet. Ved en tabel skal de faktiske overskrifter og værdier undersøges, før resultatet bruges; ved en scene skal de relevante billeder og den tilknyttede tekst undersøges.
Den væsentlige forskel fra voyage-multimodal-3 er 3.5-udgavens eksplicitte videounderstøttelse og yderligere repræsentationsvalg. Det er embeddingevner til at finde kildemateriale med numeriske vektorer som output frem for genererede billeder, video eller et fortællende svar.
", "aboutText": "voyage-multimodal-3.5 er Voyage AI’s embeddingmodel til genfinding på tværs af tekst, billeder og video. Den behandler sammenflettet tekst og visuelt indhold gennem én transformer-encoder og repræsenterer et komplet multimodalt input i et fælles vektorrum. 3.5-udgaven tilføjer eksplicit understøttelse af videobilleder og fleksible embeddingdimensioner.\n\n### Bevar forholdet mellem tekst og visuelt indhold\n\nForbered en dokumentside eller et afsnit i en form, der bevarer den nyttige visuelle information. En slide med et diagram og en kort forklaring kan repræsenteres med slidebilledet og den tilhørende tekst i samme ordnede input. Ved en PDF-baseret samling er det dokumenterede visuelle input et skærmbillede af en side eller en anden billedrepræsentation af dokumentet.\n\nVed et rapportdiagram skal du bevare titlen, akseetiketterne og tegnforklaringen i billedet. Vedhæft forklarende tekst, når den giver den kontekst, der kræves for at fortolke det visuelle indhold. Gem sidetallet og kildeidentifikatoren ved siden af den resulterende vektor, så en genfundet kandidat kan åbne den relevante side frem for blot at returnere et dokumentnavn.\n\nProducentens inputformat understøtter sekvenser af tekst, billeder og videoer. De offentliggjorte billedformater er PNG, JPEG, WebP og GIF, med MP4 til video. Visuelt indhold kan repræsenteres gennem URL’er eller Base64-data i den dokumenterede opskrift; hold én repræsentationsform konsekvent inden for en anmodning.\n\n### Genfind en scene frem for en hel lang video\n\nModellen repræsenterer video som en ordnet sekvens af billeder. Producenten anbefaler at opdele en lang video i relaterede scener, afstemme scenegrænser med tilgængelige tidsstempler i transskriptionen og bevare den tilsvarende transskriptionstekst. Lavere opløsning eller en reduceret billedfrekvens kan hjælpe en semantisk sammenhængende scene med at passe i sit kontekstbudget.\n\nVed en samling af undervisningsvideoer kan en forespørgsel spørge efter den scene, der demonstrerer justering af et bestemt betjeningselement. Knyt hver indekseret scene til sit tidsinterval. Returnér den matchende scene, og undersøg billederne eller det oprindelige klip for den faktiske handling frem for at behandle den genfundne vektor som en skriftlig beskrivelse af alt i optagelsen.\n\nTransskriptionstekst kan bidrage, når den forberedes som del af det multimodale input. Embedding af videobilleder leverer ikke i sig selv en taletransskription.\n\n### Kontekst- og forberedelsesgrænser\n\nDen angivne kontekstlængde er 32.000 tokens pr. input. Voyage tæller hver gruppe på 560 billedpixels og hver gruppe på 1120 videopixels som én token i den offentliggjorte beregning, så visuelt indhold deler budgettet med tekst. De dokumenterede grænser omfatter også 16 millioner pixels og 20 MB pr. billede samt 20 MB pr. video. En liste indeholder højst 1000 input og 320.000 tokens samlet.\n\nStandardindstillingen for afkortning klipper et for langt input; hvis grænsen falder inde i et billede, kasseres hele billedet. Forberedelse af komplette sider eller scener inden for budgettet bevarer derfor mere forudsigeligt inputindhold. Den alternative dokumenterede indstilling afviser for lange input frem for at afkorte dem.\n\n### Vektordimensioner og genfindingsroller\n\nStandardoutputdimensionen er 1024, og 256, 512 og 2048 dimensioner er også dokumenteret for denne udgave. Annonceringen beskriver Matryoshka-embeddings og repræsentationer med flydende tal, 8-bit-værdier med eller uden fortegn samt binære repræsentationer. Gem den valgte dimension og repræsentation sammen med indekset.\n\nVoyages genfindingsopskrift skelner mellem query- og document-input. En forespørgsel kan være tekst eller et billede, og indekserede dokumenter kan kombinere tekst og visuelt indhold. Én vektor repræsenterer hver komplette inputsekvens; gem dens tilknytning til kildesiden, billedet eller scenen, så det rangerede resultat fortsat kan undersøges.\n\n### Brug den returnerede visuelle kilde\n\nEt genfindingstrin kan finde en rapportside, tabel, slide eller scene, der er relevant for forespørgslen. Svarskrivnings- eller analysetrinnet læser derefter kildematerialet. Ved en tabel skal de faktiske overskrifter og værdier undersøges, før resultatet bruges; ved en scene skal de relevante billeder og den tilknyttede tekst undersøges.\n\nDen væsentlige forskel fra voyage-multimodal-3 er 3.5-udgavens eksplicitte videounderstøttelse og yderligere repræsentationsvalg. Det er embeddingevner til at finde kildemateriale med numeriske vektorer som output frem for genererede billeder, video eller et fortællende svar.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "346d7477ff8e28a5e7d6587bdd96e97501965d6aa8bf4ac22c6857bb059e0e07", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "da", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 koder tekst, billeder og videobilleder til et fælles genfindingsrum. Den håndterer sammenflettet indhold såsom dokumentskærmbilleder, tabeller og scener med input på 32.000 tokens og en 1024-dimensional standardrepræsentation.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
voyage-multimodal-3.5 er Voyage AI’s embeddingmodel til genfinding på tværs af tekst, billeder og video. Den behandler sammenflettet tekst og visuelt indhold gennem én transformer-encoder og repræsenterer et komplet multimodalt input i et fælles vektorrum. 3.5-udgaven tilføjer eksplicit understøttelse af videobilleder og fleksible embeddingdimensioner.
Forbered en dokumentside eller et afsnit i en form, der bevarer den nyttige visuelle information. En slide med et diagram og en kort forklaring kan repræsenteres med slidebilledet og den tilhørende tekst i samme ordnede input. Ved en PDF-baseret samling er det dokumenterede visuelle input et skærmbillede af en side eller en anden billedrepræsentation af dokumentet.
Ved et rapportdiagram skal du bevare titlen, akseetiketterne og tegnforklaringen i billedet. Vedhæft forklarende tekst, når den giver den kontekst, der kræves for at fortolke det visuelle indhold. Gem sidetallet og kildeidentifikatoren ved siden af den resulterende vektor, så en genfundet kandidat kan åbne den relevante side frem for blot at returnere et dokumentnavn.
Producentens inputformat understøtter sekvenser af tekst, billeder og videoer. De offentliggjorte billedformater er PNG, JPEG, WebP og GIF, med MP4 til video. Visuelt indhold kan repræsenteres gennem URL’er eller Base64-data i den dokumenterede opskrift; hold én repræsentationsform konsekvent inden for en anmodning.
Modellen repræsenterer video som en ordnet sekvens af billeder. Producenten anbefaler at opdele en lang video i relaterede scener, afstemme scenegrænser med tilgængelige tidsstempler i transskriptionen og bevare den tilsvarende transskriptionstekst. Lavere opløsning eller en reduceret billedfrekvens kan hjælpe en semantisk sammenhængende scene med at passe i sit kontekstbudget.
Ved en samling af undervisningsvideoer kan en forespørgsel spørge efter den scene, der demonstrerer justering af et bestemt betjeningselement. Knyt hver indekseret scene til sit tidsinterval. Returnér den matchende scene, og undersøg billederne eller det oprindelige klip for den faktiske handling frem for at behandle den genfundne vektor som en skriftlig beskrivelse af alt i optagelsen.
Transskriptionstekst kan bidrage, når den forberedes som del af det multimodale input. Embedding af videobilleder leverer ikke i sig selv en taletransskription.
Den angivne kontekstlængde er 32.000 tokens pr. input. Voyage tæller hver gruppe på 560 billedpixels og hver gruppe på 1120 videopixels som én token i den offentliggjorte beregning, så visuelt indhold deler budgettet med tekst. De dokumenterede grænser omfatter også 16 millioner pixels og 20 MB pr. billede samt 20 MB pr. video. En liste indeholder højst 1000 input og 320.000 tokens samlet.
Standardindstillingen for afkortning klipper et for langt input; hvis grænsen falder inde i et billede, kasseres hele billedet. Forberedelse af komplette sider eller scener inden for budgettet bevarer derfor mere forudsigeligt inputindhold. Den alternative dokumenterede indstilling afviser for lange input frem for at afkorte dem.
Standardoutputdimensionen er 1024, og 256, 512 og 2048 dimensioner er også dokumenteret for denne udgave. Annonceringen beskriver Matryoshka-embeddings og repræsentationer med flydende tal, 8-bit-værdier med eller uden fortegn samt binære repræsentationer. Gem den valgte dimension og repræsentation sammen med indekset.
Voyages genfindingsopskrift skelner mellem query- og document-input. En forespørgsel kan være tekst eller et billede, og indekserede dokumenter kan kombinere tekst og visuelt indhold. Én vektor repræsenterer hver komplette inputsekvens; gem dens tilknytning til kildesiden, billedet eller scenen, så det rangerede resultat fortsat kan undersøges.
Et genfindingstrin kan finde en rapportside, tabel, slide eller scene, der er relevant for forespørgslen. Svarskrivnings- eller analysetrinnet læser derefter kildematerialet. Ved en tabel skal de faktiske overskrifter og værdier undersøges, før resultatet bruges; ved en scene skal de relevante billeder og den tilknyttede tekst undersøges.
Den væsentlige forskel fra voyage-multimodal-3 er 3.5-udgavens eksplicitte videounderstøttelse og yderligere repræsentationsvalg. Det er embeddingevner til at finde kildemateriale med numeriske vektorer som output frem for genererede billeder, video eller et fortællende svar.
POST /v1/embeddingstext, token_idsembedding| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser voyageai/voyage-multimodal-3.5 | Standard— |
Feltinput | Typestring|string[]|integer[]|integer[][] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 Betingelser: Ikke-tom batch med ensartede elementer. Token-ID’er er ikke-negative heltal. Inputbudget: Maksimum: 32.000 · Tekstenhed: UTF8-bytes · Tokenenhed: elementer i et tokenarray | Standard— |
Feltencoding_format | Typestring | KravValgfrit | Værdier og grænser float | Standardfloat |
Feltdimensions | Typeinteger | KravIkke understøttet | Værdier og grænser Minimum: 1 | Standard— |
Feltuser | Typejson_value | KravValgfrit | Værdier og grænser Betingelser: Kilden tillader dette JSON-metadatafelt; den præcise betydning hos den bagvedliggende udbyder afhænger af modellen. | Standard— |
Feltsession_id | Typejson_value | KravValgfrit | Værdier og grænser Betingelser: Kilden tillader dette JSON-metadatafelt; den præcise betydning hos den bagvedliggende udbyder afhænger af modellen. | Standard— |
Felttrace | Typejson_value | KravValgfrit | Værdier og grænser Betingelser: Kilden tillader dette JSON-metadatafelt; den præcise betydning hos den bagvedliggende udbyder afhænger af modellen. | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvist | Standard— |
text_to_embedding
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, input |
Parameterinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontraktfloat |
Parameterdimensions_override | Kontraktfalse |
Parametermax_input_budget_units | Kontrakt32000 |
Parametermultimodal_objects | Kontraktfalse |
Parametermaterial_types | Kontrakttext, token_ids |
Livscyklus: synchronous_json
Gem hver vektors indeks og dimension.
Et multimodalt modelnavn giver ikke adgang til at bruge billedobjekter på denne præcise sti.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
| Konfiguration | Takstplan | Beløb |
|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Beløb Input · Inputtokens $0.00024 / 1K tokens Output · Outputtokens $0 / 1K tokens Input · Cachelæsning — / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Gem hver vektor med dens indeks. Antallet af vektorer skal svare til antallet af input; dimensionerne skal være ensartede.
Der indføres intet endpoint til embedding-job.
| Felt | Type |
|---|---|
Feltobject | Typestring |
Feltmodel | Typestring |
Feltdata[].index | Typeinteger |
Feltdata[].embedding | Typefinite float[] |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Brug metodestierne vist ovenfor.