voyage-multimodal-3.5 je model embeddingov od Voyage AI na vyhľadávanie naprieč textom, obrázkami a videom. Striedajúci sa textový a vizuálny obsah spracúva jediným transformerovým enkodérom a celý multimodálny vstup reprezentuje v spoločnom vektorovom priestore. Edícia 3.5 pridáva výslovnú podporu snímok videa a flexibilné rozmery embeddingov.
Stranu alebo časť dokumentu pripravte vo forme zachovávajúcej užitočné vizuálne informácie. Snímku prezentácie s grafom a krátkym vysvetlením možno reprezentovať obrázkom snímky a sprievodným textom v jednom usporiadanom vstupe. Pri kolekcii založenej na PDF je zdokumentovaným vizuálnym vstupom snímka obrazovky strany alebo iná obrazová reprezentácia dokumentu.
Pri grafe z reportu zachovajte na obrázku názov, označenia osí a legendu. Vysvetľujúci text pripojte vtedy, keď poskytuje kontext potrebný na interpretáciu vizuálneho obsahu. Vedľa výsledného vektora uložte číslo strany a identifikátor zdroja, aby vyhľadaný kandidát mohol otvoriť príslušnú stranu namiesto vrátenia iba názvu dokumentu.
Vstupný formát výrobcu podporuje sekvencie textu, obrázkov a videí. Zverejnené obrazové formáty sú PNG, JPEG, WebP a GIF, pre video MP4. V zdokumentovanom postupe možno vizuálny obsah reprezentovať pomocou URL alebo dát Base64; v jednej požiadavke dôsledne používajte jeden spôsob reprezentácie.
Model reprezentuje video ako usporiadanú sekvenciu snímok. Výrobca odporúča rozdeliť dlhé video na súvisiace scény, zosúladiť hranice scén s dostupnými časovými značkami prepisu a zachovať zodpovedajúci text prepisu. Nižšie rozlíšenie alebo znížená snímková frekvencia môžu pomôcť zmestiť významovo súvislú scénu do jej kontextového rozpočtu.
Pri kolekcii školiacich videí sa dopyt môže pýtať na scénu predvádzajúcu nastavenie konkrétneho ovládacieho prvku. Každú indexovanú scénu spojte s časovým rozsahom. Vráťte zodpovedajúcu scénu a preskúmajte snímky alebo pôvodný klip vzhľadom na skutočný úkon namiesto považovania vyhľadaného vektora za písomný opis všetkého v nahrávke.
Text prepisu môže prispieť, keď je pripravený ako súčasť multimodálneho vstupu. Samotné vytváranie embeddingov snímok videa neposkytuje prepis reči.
Uvedená dĺžka kontextu je 32 000 tokenov na vstup. Voyage v zverejnenom výpočte počíta každých 560 obrazových pixelov a každých 1120 pixelov videa ako jeden token, takže vizuálny obsah zdieľa rozpočet s textom. Zdokumentované limity tiež zahŕňajú 16 miliónov pixelov a 20 MB na obrázok a 20 MB na video. Zoznam obsahuje najviac 1000 vstupov a spolu 320 000 tokenov.
Predvolené nastavenie skracovania odreže príliš dlhý vstup; ak hranica padne dovnútra obrázka, zahodí sa celý obrázok. Príprava úplných strán alebo scén v rámci rozpočtu preto zachováva predvídateľnejší obsah vstupu. Alternatívne zdokumentované nastavenie príliš dlhé vstupy odmieta namiesto skracovania.
Predvolený výstupný rozmer je 1024, pričom pre túto edíciu sú zdokumentované aj rozmery 256, 512 a 2048. Oznámenie opisuje embeddingy Matryoshka a reprezentácie s pohyblivou rádovou čiarkou, 8-bitové so znamienkom či bez znamienka a binárne reprezentácie. Zvolený rozmer a reprezentáciu uchovajte s indexom.
Vyhľadávací postup Voyage rozlišuje vstupy query a document. Dopytom môže byť text alebo obrázok a indexované dokumenty môžu kombinovať text a vizuálny obsah. Jeden vektor reprezentuje každú úplnú vstupnú sekvenciu; uložte jej prepojenie na zdrojovú stranu, obrázok alebo scénu, aby zoradený výsledok zostal preskúmateľný.
Fáza vyhľadávania môže nájsť stranu reportu, tabuľku, snímku prezentácie alebo scénu relevantnú pre dopyt. Fáza písania odpovede alebo analýzy potom číta tento zdrojový materiál. Pri tabuľke pred použitím výsledku preskúmajte skutočné hlavičky a hodnoty; pri scéne príslušné snímky a súvisiaci text.
Podstatným rozdielom oproti voyage-multimodal-3 je výslovná podpora videa a ďalšie možnosti reprezentácie edície 3.5. Ide o schopnosti embeddingov na vyhľadávanie zdrojového materiálu, ktorých výstupom sú číselné vektory namiesto generovaných obrázkov, videa či naratívnej odpovede.
", "aboutText": "voyage-multimodal-3.5 je model embeddingov od Voyage AI na vyhľadávanie naprieč textom, obrázkami a videom. Striedajúci sa textový a vizuálny obsah spracúva jediným transformerovým enkodérom a celý multimodálny vstup reprezentuje v spoločnom vektorovom priestore. Edícia 3.5 pridáva výslovnú podporu snímok videa a flexibilné rozmery embeddingov.\n\n### Zachovajte vzťah medzi textom a vizuálnym obsahom\n\nStranu alebo časť dokumentu pripravte vo forme zachovávajúcej užitočné vizuálne informácie. Snímku prezentácie s grafom a krátkym vysvetlením možno reprezentovať obrázkom snímky a sprievodným textom v jednom usporiadanom vstupe. Pri kolekcii založenej na PDF je zdokumentovaným vizuálnym vstupom snímka obrazovky strany alebo iná obrazová reprezentácia dokumentu.\n\nPri grafe z reportu zachovajte na obrázku názov, označenia osí a legendu. Vysvetľujúci text pripojte vtedy, keď poskytuje kontext potrebný na interpretáciu vizuálneho obsahu. Vedľa výsledného vektora uložte číslo strany a identifikátor zdroja, aby vyhľadaný kandidát mohol otvoriť príslušnú stranu namiesto vrátenia iba názvu dokumentu.\n\nVstupný formát výrobcu podporuje sekvencie textu, obrázkov a videí. Zverejnené obrazové formáty sú PNG, JPEG, WebP a GIF, pre video MP4. V zdokumentovanom postupe možno vizuálny obsah reprezentovať pomocou URL alebo dát Base64; v jednej požiadavke dôsledne používajte jeden spôsob reprezentácie.\n\n### Vyhľadajte scénu namiesto celého dlhého videa\n\nModel reprezentuje video ako usporiadanú sekvenciu snímok. Výrobca odporúča rozdeliť dlhé video na súvisiace scény, zosúladiť hranice scén s dostupnými časovými značkami prepisu a zachovať zodpovedajúci text prepisu. Nižšie rozlíšenie alebo znížená snímková frekvencia môžu pomôcť zmestiť významovo súvislú scénu do jej kontextového rozpočtu.\n\nPri kolekcii školiacich videí sa dopyt môže pýtať na scénu predvádzajúcu nastavenie konkrétneho ovládacieho prvku. Každú indexovanú scénu spojte s časovým rozsahom. Vráťte zodpovedajúcu scénu a preskúmajte snímky alebo pôvodný klip vzhľadom na skutočný úkon namiesto považovania vyhľadaného vektora za písomný opis všetkého v nahrávke.\n\nText prepisu môže prispieť, keď je pripravený ako súčasť multimodálneho vstupu. Samotné vytváranie embeddingov snímok videa neposkytuje prepis reči.\n\n### Kontext a limity prípravy\n\nUvedená dĺžka kontextu je 32 000 tokenov na vstup. Voyage v zverejnenom výpočte počíta každých 560 obrazových pixelov a každých 1120 pixelov videa ako jeden token, takže vizuálny obsah zdieľa rozpočet s textom. Zdokumentované limity tiež zahŕňajú 16 miliónov pixelov a 20 MB na obrázok a 20 MB na video. Zoznam obsahuje najviac 1000 vstupov a spolu 320 000 tokenov.\n\nPredvolené nastavenie skracovania odreže príliš dlhý vstup; ak hranica padne dovnútra obrázka, zahodí sa celý obrázok. Príprava úplných strán alebo scén v rámci rozpočtu preto zachováva predvídateľnejší obsah vstupu. Alternatívne zdokumentované nastavenie príliš dlhé vstupy odmieta namiesto skracovania.\n\n### Rozmery vektorov a vyhľadávacie roly\n\nPredvolený výstupný rozmer je 1024, pričom pre túto edíciu sú zdokumentované aj rozmery 256, 512 a 2048. Oznámenie opisuje embeddingy Matryoshka a reprezentácie s pohyblivou rádovou čiarkou, 8-bitové so znamienkom či bez znamienka a binárne reprezentácie. Zvolený rozmer a reprezentáciu uchovajte s indexom.\n\nVyhľadávací postup Voyage rozlišuje vstupy query a document. Dopytom môže byť text alebo obrázok a indexované dokumenty môžu kombinovať text a vizuálny obsah. Jeden vektor reprezentuje každú úplnú vstupnú sekvenciu; uložte jej prepojenie na zdrojovú stranu, obrázok alebo scénu, aby zoradený výsledok zostal preskúmateľný.\n\n### Použite vrátený vizuálny zdroj\n\nFáza vyhľadávania môže nájsť stranu reportu, tabuľku, snímku prezentácie alebo scénu relevantnú pre dopyt. Fáza písania odpovede alebo analýzy potom číta tento zdrojový materiál. Pri tabuľke pred použitím výsledku preskúmajte skutočné hlavičky a hodnoty; pri scéne príslušné snímky a súvisiaci text.\n\nPodstatným rozdielom oproti voyage-multimodal-3 je výslovná podpora videa a ďalšie možnosti reprezentácie edície 3.5. Ide o schopnosti embeddingov na vyhľadávanie zdrojového materiálu, ktorých výstupom sú číselné vektory namiesto generovaných obrázkov, videa či naratívnej odpovede.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "3703c796af644e8975d68dab904fb57080f2f4d98053e9305ae5a07aa825090e", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "sk", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 vytvára embeddingy textu, obrázkov a snímok videa v spoločnom vyhľadávacom priestore. Spracúva striedajúci sa obsah, napríklad snímky dokumentov, tabuľky a scény, so vstupmi do 32 000 tokenov a predvolenou 1024-rozmernou reprezentáciou.
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
voyage-multimodal-3.5 je model embeddingov od Voyage AI na vyhľadávanie naprieč textom, obrázkami a videom. Striedajúci sa textový a vizuálny obsah spracúva jediným transformerovým enkodérom a celý multimodálny vstup reprezentuje v spoločnom vektorovom priestore. Edícia 3.5 pridáva výslovnú podporu snímok videa a flexibilné rozmery embeddingov.
Stranu alebo časť dokumentu pripravte vo forme zachovávajúcej užitočné vizuálne informácie. Snímku prezentácie s grafom a krátkym vysvetlením možno reprezentovať obrázkom snímky a sprievodným textom v jednom usporiadanom vstupe. Pri kolekcii založenej na PDF je zdokumentovaným vizuálnym vstupom snímka obrazovky strany alebo iná obrazová reprezentácia dokumentu.
Pri grafe z reportu zachovajte na obrázku názov, označenia osí a legendu. Vysvetľujúci text pripojte vtedy, keď poskytuje kontext potrebný na interpretáciu vizuálneho obsahu. Vedľa výsledného vektora uložte číslo strany a identifikátor zdroja, aby vyhľadaný kandidát mohol otvoriť príslušnú stranu namiesto vrátenia iba názvu dokumentu.
Vstupný formát výrobcu podporuje sekvencie textu, obrázkov a videí. Zverejnené obrazové formáty sú PNG, JPEG, WebP a GIF, pre video MP4. V zdokumentovanom postupe možno vizuálny obsah reprezentovať pomocou URL alebo dát Base64; v jednej požiadavke dôsledne používajte jeden spôsob reprezentácie.
Model reprezentuje video ako usporiadanú sekvenciu snímok. Výrobca odporúča rozdeliť dlhé video na súvisiace scény, zosúladiť hranice scén s dostupnými časovými značkami prepisu a zachovať zodpovedajúci text prepisu. Nižšie rozlíšenie alebo znížená snímková frekvencia môžu pomôcť zmestiť významovo súvislú scénu do jej kontextového rozpočtu.
Pri kolekcii školiacich videí sa dopyt môže pýtať na scénu predvádzajúcu nastavenie konkrétneho ovládacieho prvku. Každú indexovanú scénu spojte s časovým rozsahom. Vráťte zodpovedajúcu scénu a preskúmajte snímky alebo pôvodný klip vzhľadom na skutočný úkon namiesto považovania vyhľadaného vektora za písomný opis všetkého v nahrávke.
Text prepisu môže prispieť, keď je pripravený ako súčasť multimodálneho vstupu. Samotné vytváranie embeddingov snímok videa neposkytuje prepis reči.
Uvedená dĺžka kontextu je 32 000 tokenov na vstup. Voyage v zverejnenom výpočte počíta každých 560 obrazových pixelov a každých 1120 pixelov videa ako jeden token, takže vizuálny obsah zdieľa rozpočet s textom. Zdokumentované limity tiež zahŕňajú 16 miliónov pixelov a 20 MB na obrázok a 20 MB na video. Zoznam obsahuje najviac 1000 vstupov a spolu 320 000 tokenov.
Predvolené nastavenie skracovania odreže príliš dlhý vstup; ak hranica padne dovnútra obrázka, zahodí sa celý obrázok. Príprava úplných strán alebo scén v rámci rozpočtu preto zachováva predvídateľnejší obsah vstupu. Alternatívne zdokumentované nastavenie príliš dlhé vstupy odmieta namiesto skracovania.
Predvolený výstupný rozmer je 1024, pričom pre túto edíciu sú zdokumentované aj rozmery 256, 512 a 2048. Oznámenie opisuje embeddingy Matryoshka a reprezentácie s pohyblivou rádovou čiarkou, 8-bitové so znamienkom či bez znamienka a binárne reprezentácie. Zvolený rozmer a reprezentáciu uchovajte s indexom.
Vyhľadávací postup Voyage rozlišuje vstupy query a document. Dopytom môže byť text alebo obrázok a indexované dokumenty môžu kombinovať text a vizuálny obsah. Jeden vektor reprezentuje každú úplnú vstupnú sekvenciu; uložte jej prepojenie na zdrojovú stranu, obrázok alebo scénu, aby zoradený výsledok zostal preskúmateľný.
Fáza vyhľadávania môže nájsť stranu reportu, tabuľku, snímku prezentácie alebo scénu relevantnú pre dopyt. Fáza písania odpovede alebo analýzy potom číta tento zdrojový materiál. Pri tabuľke pred použitím výsledku preskúmajte skutočné hlavičky a hodnoty; pri scéne príslušné snímky a súvisiaci text.
Podstatným rozdielom oproti voyage-multimodal-3 je výslovná podpora videa a ďalšie možnosti reprezentácie edície 3.5. Ide o schopnosti embeddingov na vyhľadávanie zdrojového materiálu, ktorých výstupom sú číselné vektory namiesto generovaných obrázkov, videa či naratívnej odpovede.
POST /v1/embeddingstext, token_idsembedding| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity voyageai/voyage-multimodal-3.5 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 32 000 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
text_to_embedding
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia32000 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00024 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Použite cesty metód uvedené vyššie.