voyage-multimodal-3.5 er Voyage AIs embeddingmodell for gjenfinning på tvers av tekst, bilder og video. Den behandler sammenflettet tekst og visuelt innhold gjennom én transformer-encoder og representerer en komplett multimodal inndatasekvens i et felles vektorrom. 3.5-utgaven legger til uttrykkelig støtte for videobilder og fleksible embeddingdimensjoner.
Forbered en dokumentside eller seksjon i formen som bevarer den nyttige visuelle informasjonen. En presentasjonsside med et diagram og en kort forklaring kan representeres med sidebildet og tilhørende tekst i samme ordnede inndatasekvens. For en PDF-basert samling er den dokumenterte visuelle inndataformen et skjermbilde av en side eller en annen bilderepresentasjon av dokumentet.
For et diagram i en rapport bevarer du tittelen, akseetikettene og tegnforklaringen i bildet. Legg ved forklarende tekst når den gir konteksten som trengs for å tolke det visuelle innholdet. Lagre sidetallet og kildeidentifikatoren ved siden av den resulterende vektoren, slik at en gjenfunnet kandidat kan åpne den relevante siden fremfor bare å returnere et dokumentnavn.
Produsentens inndataformat støtter sekvenser av tekst, bilder og videoer. De publiserte bildeformatene er PNG, JPEG, WebP og GIF, med MP4 for video. Visuelt innhold kan representeres med URL-er eller Base64-data i den dokumenterte oppskriften; bruk én representasjonsstil konsekvent innenfor en forespørsel.
Modellen representerer video som en ordnet sekvens av bilder. Produsenten anbefaler å dele en lang video i relaterte scener, justere scenegrensene etter tilgjengelige tidsstempler i transkripsjonen og beholde den tilsvarende transkripsjonsteksten. Lavere oppløsning eller redusert bildefrekvens kan hjelpe en semantisk sammenhengende scene å passe innenfor kontekstbudsjettet.
For en opplæringsvideosamling kan en forespørsel spørre etter scenen som viser justering av et bestemt betjeningselement. Knytt hver indekserte scene til tidsintervallet. Returner den samsvarende scenen og undersøk bildene eller originalklippet for den faktiske handlingen, fremfor å behandle den gjenfunne vektoren som en skriftlig beskrivelse av alt i opptaket.
Transkripsjonstekst kan bidra når den forberedes som del av de multimodale inndataene. Beregning av embeddingvektorer for videobilder gir ikke i seg selv en transkripsjon av tale.
Den oppgitte kontekstlengden er 32 000 tokener per inndatasekvens. Voyage teller hver gruppe på 560 bildepiksler og hver gruppe på 1120 videopiksler som én token i den publiserte beregningen, så visuelt innhold deler budsjettet med tekst. De dokumenterte grensene inkluderer også 16 millioner piksler og 20 MB per bilde og 20 MB per video. En liste inneholder høyst 1000 inndatasekvenser og 320 000 tokener samlet.
Standardinnstillingen for avkorting klipper en for lang inndatasekvens; hvis grensen faller inne i et bilde, forkastes hele bildet. Å forberede hele sider eller scener innenfor budsjettet bevarer derfor et mer forutsigbart inndatainnhold. Den alternative dokumenterte innstillingen avviser for lange inndata fremfor å avkorte dem.
Standarddimensjonen for resultatet er 1024, med 256, 512 og 2048 dimensjoner også dokumentert for denne utgaven. Kunngjøringen beskriver Matryoshka-embeddinger og flyttalls-, 8-biters representasjoner med eller uten fortegn og binærrepresentasjoner. Behold den valgte dimensjonen og representasjonen med indeksen.
Voyages gjenfinningsoppskrift skiller mellom query- og document-inndata. En forespørsel kan være tekst eller et bilde, og indekserte dokumenter kan kombinere tekst og visuelt innhold. Én vektor representerer hver komplette inndatasekvens; lagre koblingen til kildesiden, bildet eller scenen, slik at det rangerte resultatet fortsatt kan undersøkes.
Et gjenfinningstrinn kan finne en rapportside, tabell, presentasjonsside eller scene som er relevant for forespørselen. Svarskrivings- eller analysetrinnet leser deretter kildematerialet. For en tabell undersøker du de faktiske overskriftene og verdiene før resultatet brukes; for en scene undersøker du relevante bilder og tilhørende tekst.
Den vesentlige forskjellen fra voyage-multimodal-3 er 3.5-utgavens uttrykkelige videostøtte og flere representasjonsvalg. Dette er embeddingevner for å finne kildemateriale, med numeriske vektorer som resultat fremfor genererte bilder, video eller et fortellende svar.
", "aboutText": "voyage-multimodal-3.5 er Voyage AIs embeddingmodell for gjenfinning på tvers av tekst, bilder og video. Den behandler sammenflettet tekst og visuelt innhold gjennom én transformer-encoder og representerer en komplett multimodal inndatasekvens i et felles vektorrom. 3.5-utgaven legger til uttrykkelig støtte for videobilder og fleksible embeddingdimensjoner.\n\n### Bevar forholdet mellom tekst og visuelt innhold\n\nForbered en dokumentside eller seksjon i formen som bevarer den nyttige visuelle informasjonen. En presentasjonsside med et diagram og en kort forklaring kan representeres med sidebildet og tilhørende tekst i samme ordnede inndatasekvens. For en PDF-basert samling er den dokumenterte visuelle inndataformen et skjermbilde av en side eller en annen bilderepresentasjon av dokumentet.\n\nFor et diagram i en rapport bevarer du tittelen, akseetikettene og tegnforklaringen i bildet. Legg ved forklarende tekst når den gir konteksten som trengs for å tolke det visuelle innholdet. Lagre sidetallet og kildeidentifikatoren ved siden av den resulterende vektoren, slik at en gjenfunnet kandidat kan åpne den relevante siden fremfor bare å returnere et dokumentnavn.\n\nProdusentens inndataformat støtter sekvenser av tekst, bilder og videoer. De publiserte bildeformatene er PNG, JPEG, WebP og GIF, med MP4 for video. Visuelt innhold kan representeres med URL-er eller Base64-data i den dokumenterte oppskriften; bruk én representasjonsstil konsekvent innenfor en forespørsel.\n\n### Gjenfinn en scene fremfor en hel lang video\n\nModellen representerer video som en ordnet sekvens av bilder. Produsenten anbefaler å dele en lang video i relaterte scener, justere scenegrensene etter tilgjengelige tidsstempler i transkripsjonen og beholde den tilsvarende transkripsjonsteksten. Lavere oppløsning eller redusert bildefrekvens kan hjelpe en semantisk sammenhengende scene å passe innenfor kontekstbudsjettet.\n\nFor en opplæringsvideosamling kan en forespørsel spørre etter scenen som viser justering av et bestemt betjeningselement. Knytt hver indekserte scene til tidsintervallet. Returner den samsvarende scenen og undersøk bildene eller originalklippet for den faktiske handlingen, fremfor å behandle den gjenfunne vektoren som en skriftlig beskrivelse av alt i opptaket.\n\nTranskripsjonstekst kan bidra når den forberedes som del av de multimodale inndataene. Beregning av embeddingvektorer for videobilder gir ikke i seg selv en transkripsjon av tale.\n\n### Kontekst- og forberedelsesgrenser\n\nDen oppgitte kontekstlengden er 32 000 tokener per inndatasekvens. Voyage teller hver gruppe på 560 bildepiksler og hver gruppe på 1120 videopiksler som én token i den publiserte beregningen, så visuelt innhold deler budsjettet med tekst. De dokumenterte grensene inkluderer også 16 millioner piksler og 20 MB per bilde og 20 MB per video. En liste inneholder høyst 1000 inndatasekvenser og 320 000 tokener samlet.\n\nStandardinnstillingen for avkorting klipper en for lang inndatasekvens; hvis grensen faller inne i et bilde, forkastes hele bildet. Å forberede hele sider eller scener innenfor budsjettet bevarer derfor et mer forutsigbart inndatainnhold. Den alternative dokumenterte innstillingen avviser for lange inndata fremfor å avkorte dem.\n\n### Vektordimensjoner og gjenfinningsroller\n\nStandarddimensjonen for resultatet er 1024, med 256, 512 og 2048 dimensjoner også dokumentert for denne utgaven. Kunngjøringen beskriver Matryoshka-embeddinger og flyttalls-, 8-biters representasjoner med eller uten fortegn og binærrepresentasjoner. Behold den valgte dimensjonen og representasjonen med indeksen.\n\nVoyages gjenfinningsoppskrift skiller mellom query- og document-inndata. En forespørsel kan være tekst eller et bilde, og indekserte dokumenter kan kombinere tekst og visuelt innhold. Én vektor representerer hver komplette inndatasekvens; lagre koblingen til kildesiden, bildet eller scenen, slik at det rangerte resultatet fortsatt kan undersøkes.\n\n### Bruk den returnerte visuelle kilden\n\nEt gjenfinningstrinn kan finne en rapportside, tabell, presentasjonsside eller scene som er relevant for forespørselen. Svarskrivings- eller analysetrinnet leser deretter kildematerialet. For en tabell undersøker du de faktiske overskriftene og verdiene før resultatet brukes; for en scene undersøker du relevante bilder og tilhørende tekst.\n\nDen vesentlige forskjellen fra voyage-multimodal-3 er 3.5-utgavens uttrykkelige videostøtte og flere representasjonsvalg. Dette er embeddingevner for å finne kildemateriale, med numeriske vektorer som resultat fremfor genererte bilder, video eller et fortellende svar.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "27bb6c973b7706cf228c42520a05b52a44892bc2255bd28a59290efc7b6ea8ff", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "nb", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 koder tekst, bilder og videobilder til et felles gjenfinningsrom. Den håndterer sammenflettet innhold som skjermbilder av dokumenter, tabeller og scener, med inndata på 32 000 tokener og en standardrepresentasjon på 1024 dimensjoner.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
voyage-multimodal-3.5 er Voyage AIs embeddingmodell for gjenfinning på tvers av tekst, bilder og video. Den behandler sammenflettet tekst og visuelt innhold gjennom én transformer-encoder og representerer en komplett multimodal inndatasekvens i et felles vektorrom. 3.5-utgaven legger til uttrykkelig støtte for videobilder og fleksible embeddingdimensjoner.
Forbered en dokumentside eller seksjon i formen som bevarer den nyttige visuelle informasjonen. En presentasjonsside med et diagram og en kort forklaring kan representeres med sidebildet og tilhørende tekst i samme ordnede inndatasekvens. For en PDF-basert samling er den dokumenterte visuelle inndataformen et skjermbilde av en side eller en annen bilderepresentasjon av dokumentet.
For et diagram i en rapport bevarer du tittelen, akseetikettene og tegnforklaringen i bildet. Legg ved forklarende tekst når den gir konteksten som trengs for å tolke det visuelle innholdet. Lagre sidetallet og kildeidentifikatoren ved siden av den resulterende vektoren, slik at en gjenfunnet kandidat kan åpne den relevante siden fremfor bare å returnere et dokumentnavn.
Produsentens inndataformat støtter sekvenser av tekst, bilder og videoer. De publiserte bildeformatene er PNG, JPEG, WebP og GIF, med MP4 for video. Visuelt innhold kan representeres med URL-er eller Base64-data i den dokumenterte oppskriften; bruk én representasjonsstil konsekvent innenfor en forespørsel.
Modellen representerer video som en ordnet sekvens av bilder. Produsenten anbefaler å dele en lang video i relaterte scener, justere scenegrensene etter tilgjengelige tidsstempler i transkripsjonen og beholde den tilsvarende transkripsjonsteksten. Lavere oppløsning eller redusert bildefrekvens kan hjelpe en semantisk sammenhengende scene å passe innenfor kontekstbudsjettet.
For en opplæringsvideosamling kan en forespørsel spørre etter scenen som viser justering av et bestemt betjeningselement. Knytt hver indekserte scene til tidsintervallet. Returner den samsvarende scenen og undersøk bildene eller originalklippet for den faktiske handlingen, fremfor å behandle den gjenfunne vektoren som en skriftlig beskrivelse av alt i opptaket.
Transkripsjonstekst kan bidra når den forberedes som del av de multimodale inndataene. Beregning av embeddingvektorer for videobilder gir ikke i seg selv en transkripsjon av tale.
Den oppgitte kontekstlengden er 32 000 tokener per inndatasekvens. Voyage teller hver gruppe på 560 bildepiksler og hver gruppe på 1120 videopiksler som én token i den publiserte beregningen, så visuelt innhold deler budsjettet med tekst. De dokumenterte grensene inkluderer også 16 millioner piksler og 20 MB per bilde og 20 MB per video. En liste inneholder høyst 1000 inndatasekvenser og 320 000 tokener samlet.
Standardinnstillingen for avkorting klipper en for lang inndatasekvens; hvis grensen faller inne i et bilde, forkastes hele bildet. Å forberede hele sider eller scener innenfor budsjettet bevarer derfor et mer forutsigbart inndatainnhold. Den alternative dokumenterte innstillingen avviser for lange inndata fremfor å avkorte dem.
Standarddimensjonen for resultatet er 1024, med 256, 512 og 2048 dimensjoner også dokumentert for denne utgaven. Kunngjøringen beskriver Matryoshka-embeddinger og flyttalls-, 8-biters representasjoner med eller uten fortegn og binærrepresentasjoner. Behold den valgte dimensjonen og representasjonen med indeksen.
Voyages gjenfinningsoppskrift skiller mellom query- og document-inndata. En forespørsel kan være tekst eller et bilde, og indekserte dokumenter kan kombinere tekst og visuelt innhold. Én vektor representerer hver komplette inndatasekvens; lagre koblingen til kildesiden, bildet eller scenen, slik at det rangerte resultatet fortsatt kan undersøkes.
Et gjenfinningstrinn kan finne en rapportside, tabell, presentasjonsside eller scene som er relevant for forespørselen. Svarskrivings- eller analysetrinnet leser deretter kildematerialet. For en tabell undersøker du de faktiske overskriftene og verdiene før resultatet brukes; for en scene undersøker du relevante bilder og tilhørende tekst.
Den vesentlige forskjellen fra voyage-multimodal-3 er 3.5-utgavens uttrykkelige videostøtte og flere representasjonsvalg. Dette er embeddingevner for å finne kildemateriale, med numeriske vektorer som resultat fremfor genererte bilder, video eller et fortellende svar.
POST /v1/embeddingstext, token_idsembedding| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser voyageai/voyage-multimodal-3.5 | Standard— |
Feltinput | Typestring|string[]|integer[]|integer[][] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 Vilkår: Ikke-tom batch med ensartede elementer. Token-ID-er er ikke-negative heltall. Inndatabudsjett: Maksimum: 32 000 · Tekstenhet: UTF8-byte · Tokenenhet: elementer i token-arrayet | Standard— |
Feltencoding_format | Typestring | KravValgfritt | Verdier & grenser float | Standardfloat |
Feltdimensions | Typeinteger | KravStøttes ikke | Verdier & grenser Minimum: 1 | Standard— |
Feltuser | Typejson_value | KravValgfritt | Verdier & grenser Vilkår: Kilden tillater dette JSON-metadatafeltet; den nøyaktige semantikken hos den underliggende leverandøren er modellavhengig. | Standard— |
Feltsession_id | Typejson_value | KravValgfritt | Verdier & grenser Vilkår: Kilden tillater dette JSON-metadatafeltet; den nøyaktige semantikken hos den underliggende leverandøren er modellavhengig. | Standard— |
Felttrace | Typejson_value | KravValgfritt | Verdier & grenser Vilkår: Kilden tillater dette JSON-metadatafeltet; den nøyaktige semantikken hos den underliggende leverandøren er modellavhengig. | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises | Standard— |
text_to_embedding
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, input |
Parameterinput_shapes | Avtalestring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Avtalefloat |
Parameterdimensions_override | Avtalefalse |
Parametermax_input_budget_units | Avtale32000 |
Parametermultimodal_objects | Avtalefalse |
Parametermaterial_types | Avtaletext, token_ids |
Livssyklus: synchronous_json
Bevar hver vektors indeks og dimensjon.
Et multimodalt modellnavn innebærer ikke at bildeobjekter er tillatt på denne nøyaktige stien.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
| Konfigurasjon | Prisplan | Kostnad |
|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Kostnad Inndata · Inngående tokener $0.00024 / 1K tokener Utdata · Utgående tokener $0 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Bevar hver vektor sammen med indeksen. Antall vektorer må være lik antall inndata; dimensjonene må være konsistente.
Det innføres ikke noe endepunkt for embedding-jobber.
| Felt | Type |
|---|---|
Feltobject | Typestring |
Feltmodel | Typestring |
Feltdata[].index | Typeinteger |
Feltdata[].embedding | Typefinite float[] |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Bruk metodestiene som vises ovenfor.