A voyage-multimodal-3.5 a Voyage AI beágyazási modellje szövegek, képek és videók közötti kereséshez. Az egymással váltakozó szöveges és vizuális tartalmat egyetlen transzformeralapú kódolóval dolgozza fel, és a teljes multimodális bemenetet közös vektortérben reprezentálja. A 3.5-ös kiadás kifejezett videóképkocka-támogatást és rugalmas beágyazási dimenziókat ad hozzá.
A dokumentumoldalt vagy -szakaszt olyan formában készítse elő, amely megőrzi a hasznos vizuális információt. Egy diagramot és rövid magyarázatot tartalmazó dia a dia képével és a hozzá tartozó szöveggel reprezentálható, ugyanabban a rendezett bemenetben. PDF-ekből álló gyűjteménynél a dokumentált vizuális bemenet az oldal képernyőképe vagy a dokumentum más képi reprezentációja.
Egy jelentés diagramjánál őrizze meg a képen a címet, a tengelyfeliratokat és a jelmagyarázatot. Csatoljon magyarázó szöveget, ha az biztosítja a vizuális tartalom értelmezéséhez szükséges kontextust. Az eredményül kapott vektor mellett tárolja az oldalszámot és a forrásazonosítót, hogy a lekért találat megnyithassa a megfelelő oldalt, ahelyett, hogy csupán egy dokumentumnevet adna vissza.
A gyártó bemeneti formátuma szövegek, képek és videók sorozatát támogatja. A közzétett képformátumok a PNG, JPEG, WebP és GIF, a videóformátum pedig az MP4. A dokumentált eljárásban a vizuális tartalom URL-ekkel vagy Base64-adatokkal adható meg; egy kérésen belül következetesen egyféle reprezentációt használjon.
A modell a videót képkockák rendezett sorozataként reprezentálja. A gyártó azt javasolja, hogy a hosszú videót összetartozó jelenetekre ossza fel, a jelenethatárokat igazítsa a rendelkezésre álló átirat időbélyegeihez, és őrizze meg a megfelelő átiratszöveget. Az alacsonyabb felbontás vagy képkockasebesség segíthet abban, hogy egy szemantikailag folytonos jelenet elférjen a kontextuskeretben.
Oktatóvideók gyűjteményénél egy lekérdezés kérheti például azt a jelenetet, amely egy adott kezelőelem beállítását mutatja be. Minden indexelt jelenethez rendelje hozzá annak időtartományát. Adja vissza az egyező jelenetet, és a tényleges művelet megállapításához vizsgálja meg a képkockákat vagy az eredeti videórészletet, ahelyett, hogy a lekért vektort a felvétel teljes tartalmának írott leírásaként kezelné.
Az átiratszöveg hozzájárulhat az eredményhez, ha a multimodális bemenet részeként készítik elő. A videóképkockák beágyazása önmagában nem készít beszédátiratot.
A megadott kontextushossz bemenetenként 32 000 token. A Voyage a közzétett számításában minden 560 képpixelt és minden 1120 videóképpixelt egy tokenként számol el, így a vizuális tartalom a szöveggel közös keretet használ. A dokumentált korlátok képenként 16 millió pixelt és 20 MB-ot, videónként pedig 20 MB-ot is előírnak. Egy lista legfeljebb 1000 bemenetet és összesen 320 000 tokent tartalmazhat.
Az alapértelmezett csonkolási beállítás levágja a túl hosszú bemenetet; ha a határ egy kép belsejébe esik, a teljes képet eldobja. Ezért a keretbe beleférő teljes oldalak vagy jelenetek előkészítése kiszámíthatóbb bemeneti tartalmat őriz meg. A másik dokumentált beállítás csonkolás helyett elutasítja a túl hosszú bemeneteket.
Az alapértelmezett kimeneti dimenzió 1024, és ehhez a kiadáshoz 256, 512 és 2048 dimenzió is dokumentált. A bejelentés Matryoshka-beágyazásokat, valamint lebegőpontos, előjeles vagy előjel nélküli 8 bites és bináris reprezentációkat ismertet. Az index mellett őrizze meg a kiválasztott dimenziót és reprezentációt.
A Voyage keresési eljárása megkülönbözteti a lekérdezési és dokumentumbemeneteket. A lekérdezés lehet szöveg vagy kép, az indexelt dokumentumok pedig szöveget és vizuális tartalmat is kombinálhatnak. Minden teljes bemeneti sorozatot egyetlen vektor reprezentál; tárolja a vektor kapcsolatát a forrásoldallal, képpel vagy jelenettel, hogy a rangsorolt eredmény ellenőrizhető maradjon.
A keresési lépés megtalálhatja a lekérdezéshez kapcsolódó jelentésoldalt, táblázatot, diát vagy jelenetet. A válaszírási vagy elemzési lépés ezután elolvassa ezt a forrásanyagot. Táblázatnál az eredmény felhasználása előtt vizsgálja meg a tényleges fejléceket és értékeket; jelenetnél a megfelelő képkockákat és a hozzájuk kapcsolódó szöveget.
A voyage-multimodal-3-hoz képest az érdemi különbség a 3.5-ös kiadás kifejezett videótámogatása és a további reprezentációs lehetőségek. Ezek a forrásanyag megtalálását szolgáló beágyazási képességek, amelyek kimenete numerikus vektor, nem pedig generált kép, videó vagy szöveges válasz.
", "aboutText": "A voyage-multimodal-3.5 a Voyage AI beágyazási modellje szövegek, képek és videók közötti kereséshez. Az egymással váltakozó szöveges és vizuális tartalmat egyetlen transzformeralapú kódolóval dolgozza fel, és a teljes multimodális bemenetet közös vektortérben reprezentálja. A 3.5-ös kiadás kifejezett videóképkocka-támogatást és rugalmas beágyazási dimenziókat ad hozzá.\n\n### Őrizze meg a szöveg és a vizuális tartalom kapcsolatát\n\nA dokumentumoldalt vagy -szakaszt olyan formában készítse elő, amely megőrzi a hasznos vizuális információt. Egy diagramot és rövid magyarázatot tartalmazó dia a dia képével és a hozzá tartozó szöveggel reprezentálható, ugyanabban a rendezett bemenetben. PDF-ekből álló gyűjteménynél a dokumentált vizuális bemenet az oldal képernyőképe vagy a dokumentum más képi reprezentációja.\n\nEgy jelentés diagramjánál őrizze meg a képen a címet, a tengelyfeliratokat és a jelmagyarázatot. Csatoljon magyarázó szöveget, ha az biztosítja a vizuális tartalom értelmezéséhez szükséges kontextust. Az eredményül kapott vektor mellett tárolja az oldalszámot és a forrásazonosítót, hogy a lekért találat megnyithassa a megfelelő oldalt, ahelyett, hogy csupán egy dokumentumnevet adna vissza.\n\nA gyártó bemeneti formátuma szövegek, képek és videók sorozatát támogatja. A közzétett képformátumok a PNG, JPEG, WebP és GIF, a videóformátum pedig az MP4. A dokumentált eljárásban a vizuális tartalom URL-ekkel vagy Base64-adatokkal adható meg; egy kérésen belül következetesen egyféle reprezentációt használjon.\n\n### Jelenetet keressen a teljes hosszú videó helyett\n\nA modell a videót képkockák rendezett sorozataként reprezentálja. A gyártó azt javasolja, hogy a hosszú videót összetartozó jelenetekre ossza fel, a jelenethatárokat igazítsa a rendelkezésre álló átirat időbélyegeihez, és őrizze meg a megfelelő átiratszöveget. Az alacsonyabb felbontás vagy képkockasebesség segíthet abban, hogy egy szemantikailag folytonos jelenet elférjen a kontextuskeretben.\n\nOktatóvideók gyűjteményénél egy lekérdezés kérheti például azt a jelenetet, amely egy adott kezelőelem beállítását mutatja be. Minden indexelt jelenethez rendelje hozzá annak időtartományát. Adja vissza az egyező jelenetet, és a tényleges művelet megállapításához vizsgálja meg a képkockákat vagy az eredeti videórészletet, ahelyett, hogy a lekért vektort a felvétel teljes tartalmának írott leírásaként kezelné.\n\nAz átiratszöveg hozzájárulhat az eredményhez, ha a multimodális bemenet részeként készítik elő. A videóképkockák beágyazása önmagában nem készít beszédátiratot.\n\n### A kontextus és az előkészítés korlátai\n\nA megadott kontextushossz bemenetenként 32 000 token. A Voyage a közzétett számításában minden 560 képpixelt és minden 1120 videóképpixelt egy tokenként számol el, így a vizuális tartalom a szöveggel közös keretet használ. A dokumentált korlátok képenként 16 millió pixelt és 20 MB-ot, videónként pedig 20 MB-ot is előírnak. Egy lista legfeljebb 1000 bemenetet és összesen 320 000 tokent tartalmazhat.\n\nAz alapértelmezett csonkolási beállítás levágja a túl hosszú bemenetet; ha a határ egy kép belsejébe esik, a teljes képet eldobja. Ezért a keretbe beleférő teljes oldalak vagy jelenetek előkészítése kiszámíthatóbb bemeneti tartalmat őriz meg. A másik dokumentált beállítás csonkolás helyett elutasítja a túl hosszú bemeneteket.\n\n### Vektordimenziók és keresési szerepek\n\nAz alapértelmezett kimeneti dimenzió 1024, és ehhez a kiadáshoz 256, 512 és 2048 dimenzió is dokumentált. A bejelentés Matryoshka-beágyazásokat, valamint lebegőpontos, előjeles vagy előjel nélküli 8 bites és bináris reprezentációkat ismertet. Az index mellett őrizze meg a kiválasztott dimenziót és reprezentációt.\n\nA Voyage keresési eljárása megkülönbözteti a lekérdezési és dokumentumbemeneteket. A lekérdezés lehet szöveg vagy kép, az indexelt dokumentumok pedig szöveget és vizuális tartalmat is kombinálhatnak. Minden teljes bemeneti sorozatot egyetlen vektor reprezentál; tárolja a vektor kapcsolatát a forrásoldallal, képpel vagy jelenettel, hogy a rangsorolt eredmény ellenőrizhető maradjon.\n\n### Használja a visszaadott vizuális forrást\n\nA keresési lépés megtalálhatja a lekérdezéshez kapcsolódó jelentésoldalt, táblázatot, diát vagy jelenetet. A válaszírási vagy elemzési lépés ezután elolvassa ezt a forrásanyagot. Táblázatnál az eredmény felhasználása előtt vizsgálja meg a tényleges fejléceket és értékeket; jelenetnél a megfelelő képkockákat és a hozzájuk kapcsolódó szöveget.\n\nA voyage-multimodal-3-hoz képest az érdemi különbség a 3.5-ös kiadás kifejezett videótámogatása és a további reprezentációs lehetőségek. Ezek a forrásanyag megtalálását szolgáló beágyazási képességek, amelyek kimenete numerikus vektor, nem pedig generált kép, videó vagy szöveges válasz.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "f9ce2b9f3a71891744e916321fa98f9d456e66c48788b01d7d557b7135a24fde", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "hu", "methods": [ { "html": "voyageai/voyage-multimodal-3.5A Voyage AI voyage-multimodal-3.5 modellje szöveget, képeket és videóképkockákat ágyaz be közös keresési térbe. Egymással váltakozó tartalmakat, például dokumentumok képernyőképeit, táblázatokat és jeleneteket kezel, 32 000 tokenes bemenetekkel és alapértelmezés szerint 1024 dimenziós reprezentációval.
Ez a leírás a modell képességeit ismerteti. Az Ailootban elérhető bemenetek, kimenetek és lehetőségek alább, a kiválasztott metódusnál láthatók.
A voyage-multimodal-3.5 a Voyage AI beágyazási modellje szövegek, képek és videók közötti kereséshez. Az egymással váltakozó szöveges és vizuális tartalmat egyetlen transzformeralapú kódolóval dolgozza fel, és a teljes multimodális bemenetet közös vektortérben reprezentálja. A 3.5-ös kiadás kifejezett videóképkocka-támogatást és rugalmas beágyazási dimenziókat ad hozzá.
A dokumentumoldalt vagy -szakaszt olyan formában készítse elő, amely megőrzi a hasznos vizuális információt. Egy diagramot és rövid magyarázatot tartalmazó dia a dia képével és a hozzá tartozó szöveggel reprezentálható, ugyanabban a rendezett bemenetben. PDF-ekből álló gyűjteménynél a dokumentált vizuális bemenet az oldal képernyőképe vagy a dokumentum más képi reprezentációja.
Egy jelentés diagramjánál őrizze meg a képen a címet, a tengelyfeliratokat és a jelmagyarázatot. Csatoljon magyarázó szöveget, ha az biztosítja a vizuális tartalom értelmezéséhez szükséges kontextust. Az eredményül kapott vektor mellett tárolja az oldalszámot és a forrásazonosítót, hogy a lekért találat megnyithassa a megfelelő oldalt, ahelyett, hogy csupán egy dokumentumnevet adna vissza.
A gyártó bemeneti formátuma szövegek, képek és videók sorozatát támogatja. A közzétett képformátumok a PNG, JPEG, WebP és GIF, a videóformátum pedig az MP4. A dokumentált eljárásban a vizuális tartalom URL-ekkel vagy Base64-adatokkal adható meg; egy kérésen belül következetesen egyféle reprezentációt használjon.
A modell a videót képkockák rendezett sorozataként reprezentálja. A gyártó azt javasolja, hogy a hosszú videót összetartozó jelenetekre ossza fel, a jelenethatárokat igazítsa a rendelkezésre álló átirat időbélyegeihez, és őrizze meg a megfelelő átiratszöveget. Az alacsonyabb felbontás vagy képkockasebesség segíthet abban, hogy egy szemantikailag folytonos jelenet elférjen a kontextuskeretben.
Oktatóvideók gyűjteményénél egy lekérdezés kérheti például azt a jelenetet, amely egy adott kezelőelem beállítását mutatja be. Minden indexelt jelenethez rendelje hozzá annak időtartományát. Adja vissza az egyező jelenetet, és a tényleges művelet megállapításához vizsgálja meg a képkockákat vagy az eredeti videórészletet, ahelyett, hogy a lekért vektort a felvétel teljes tartalmának írott leírásaként kezelné.
Az átiratszöveg hozzájárulhat az eredményhez, ha a multimodális bemenet részeként készítik elő. A videóképkockák beágyazása önmagában nem készít beszédátiratot.
A megadott kontextushossz bemenetenként 32 000 token. A Voyage a közzétett számításában minden 560 képpixelt és minden 1120 videóképpixelt egy tokenként számol el, így a vizuális tartalom a szöveggel közös keretet használ. A dokumentált korlátok képenként 16 millió pixelt és 20 MB-ot, videónként pedig 20 MB-ot is előírnak. Egy lista legfeljebb 1000 bemenetet és összesen 320 000 tokent tartalmazhat.
Az alapértelmezett csonkolási beállítás levágja a túl hosszú bemenetet; ha a határ egy kép belsejébe esik, a teljes képet eldobja. Ezért a keretbe beleférő teljes oldalak vagy jelenetek előkészítése kiszámíthatóbb bemeneti tartalmat őriz meg. A másik dokumentált beállítás csonkolás helyett elutasítja a túl hosszú bemeneteket.
Az alapértelmezett kimeneti dimenzió 1024, és ehhez a kiadáshoz 256, 512 és 2048 dimenzió is dokumentált. A bejelentés Matryoshka-beágyazásokat, valamint lebegőpontos, előjeles vagy előjel nélküli 8 bites és bináris reprezentációkat ismertet. Az index mellett őrizze meg a kiválasztott dimenziót és reprezentációt.
A Voyage keresési eljárása megkülönbözteti a lekérdezési és dokumentumbemeneteket. A lekérdezés lehet szöveg vagy kép, az indexelt dokumentumok pedig szöveget és vizuális tartalmat is kombinálhatnak. Minden teljes bemeneti sorozatot egyetlen vektor reprezentál; tárolja a vektor kapcsolatát a forrásoldallal, képpel vagy jelenettel, hogy a rangsorolt eredmény ellenőrizhető maradjon.
A keresési lépés megtalálhatja a lekérdezéshez kapcsolódó jelentésoldalt, táblázatot, diát vagy jelenetet. A válaszírási vagy elemzési lépés ezután elolvassa ezt a forrásanyagot. Táblázatnál az eredmény felhasználása előtt vizsgálja meg a tényleges fejléceket és értékeket; jelenetnél a megfelelő képkockákat és a hozzájuk kapcsolódó szöveget.
A voyage-multimodal-3-hoz képest az érdemi különbség a 3.5-ös kiadás kifejezett videótámogatása és a további reprezentációs lehetőségek. Ezek a forrásanyag megtalálását szolgáló beágyazási képességek, amelyek kimenete numerikus vektor, nem pedig generált kép, videó vagy szöveges válasz.
POST /v1/embeddingstext, token_idsembedding| Mező | Típus | Követelmény | Értékek és korlátok | Alapértelmezett |
|---|---|---|---|---|
Mezőmodel | Típusstring | KövetelményKötelező | Értékek és korlátok voyageai/voyage-multimodal-3.5 | Alapértelmezett— |
Mezőinput | Típusstring|string[]|integer[]|integer[][] | KövetelményKötelező | Értékek és korlátok Minimális elemszám: 1 Feltételek: Nem üres, homogén köteg. A tokenazonosítók nemnegatív egész számok. Bemeneti keret: Maximum: 32 000 · Szövegegység: UTF8-bájtok · Tokenegység: tokentömb elemei | Alapértelmezett— |
Mezőencoding_format | Típusstring | KövetelményOpcionális | Értékek és korlátok float | Alapértelmezettfloat |
Meződimensions | Típusinteger | KövetelményNem támogatott | Értékek és korlátok Minimum: 1 | Alapértelmezett— |
Mezőuser | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezősession_id | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezőtrace | Típusjson_value | KövetelményOpcionális | Értékek és korlátok Feltételek: A forrás engedélyezi ezt a JSON-metaadatmezőt; a szolgáltatónál érvényes pontos jelentése modellenként eltér. | Alapértelmezett— |
Mezőprovider | Típusobject | KövetelményOpcionális | Értékek és korlátok Feltételek: A provider.options elutasítva | Alapértelmezett— |
text_to_embedding
| Paraméter | Szerződés |
|---|---|
Paramétercontent_type | Szerződésapplication/json |
Paraméterrequired | Szerződésmodel, input |
Paraméterinput_shapes | Szerződésstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Paraméterencoding_format | Szerződésfloat |
Paraméterdimensions_override | Szerződésfalse |
Paramétermax_input_budget_units | Szerződés32000 |
Paramétermultimodal_objects | Szerződésfalse |
Paramétermaterial_types | Szerződéstext, token_ids |
Életciklus: synchronous_json
Őrizze meg minden vektor indexét és dimenzióját.
A multimodális modell neve ezen a pontos útvonalon nem teszi lehetővé képobjektumok használatát.
A díjszabás nem ad új kérési lehetőségeket. A támogatott paraméterek a kiválasztott módszernél szerepelnek.
| Beállítás | Díjtáblázat | Díj |
|---|---|---|
| BeállításTokenenkénti alapárak | DíjtáblázatAlapdíj | Díj Bemenet · Bemeneti tokenek $0.00024 / 1K token Kimenet · Kimeneti tokenek $0 / 1K token Bemenet · Gyorsítótár olvasása — / 1K token Bemenet · Írás a gyorsítótárba — / 1K token Bemenet · Írás a gyorsítótárba, 1 óra — / 1K token |
Az Ailoot a kérés előtt becsült összeget foglal le. Az eredmény után a mért használat alapján elszámolja a végső díjat. Folyamatos átvitel esetén a végső használati rekordot használja. A foglalás és az elszámolás működése →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Őrizzen meg minden teljes visszaadott választ, fájlt és tartalomrészt.
Őrizzen meg minden vektort az indexével együtt. A vektorok számának meg kell egyeznie a bemenetek számával; a dimenzióknak egységesnek kell lenniük.
Nem kerül bevezetésre külön beágyazási feladatvégpont.
| Mező | Típus |
|---|---|
Mezőobject | Típusstring |
Mezőmodel | Típusstring |
Meződata[].index | Típusinteger |
Meződata[].embedding | Típusfinite float[] |
Mezőusage | Típusobject |
| Válasz | Feltétel | Következő lépés |
|---|---|---|
Válasz400 · invalid_request_error | FeltételÉrvénytelen kötelező mezők, az anyag érvénytelen reprezentációja vagy érvénytelen paraméterérték | Következő lépésJavítsa a jelzett mezőket egy új létrehozási kérés előtt. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Használja a fent látható metódusútvonalakat.