voyage-multimodal-3.5 je embeddingový model společnosti Voyage AI pro vyhledávání napříč textem, obrázky a videem. Zpracovává prokládaný text a vizuální obsah pomocí jediného transformerového enkodéru a reprezentuje celý multimodální vstup ve společném vektorovém prostoru. Edice 3.5 přidává výslovnou podporu snímků videa a flexibilní rozměry embeddingů.
Připravte stránku nebo oddíl dokumentu ve formě, která zachovává užitečné vizuální informace. Snímek prezentace obsahující graf a krátké vysvětlení lze reprezentovat obrázkem snímku a doprovodným textem v témže uspořádaném vstupu. U kolekce založené na PDF je dokumentovaným vizuálním vstupem snímek stránky nebo jiná obrazová reprezentace dokumentu.
U grafu ze zprávy zachovejte na obrázku název, popisky os a legendu. Připojte vysvětlující text, pokud poskytuje kontext potřebný k interpretaci vizuálního obsahu. S výsledným vektorem ukládejte číslo stránky a identifikátor zdroje, aby nalezený kandidát umožnil otevřít příslušnou stránku, místo aby pouze vracel název dokumentu.
Vstupní formát výrobce podporuje sekvence textu, obrázků a videí. Publikované formáty obrázků jsou PNG, JPEG, WebP a GIF, pro video pak MP4. V dokumentovaném postupu lze vizuální obsah reprezentovat pomocí URL nebo dat Base64; v rámci jednoho požadavku používejte konzistentně jediný způsob reprezentace.
Model reprezentuje video jako uspořádanou sekvenci snímků. Výrobce doporučuje rozdělit dlouhé video na související scény, zarovnat jejich hranice s dostupnými časovými značkami přepisu a zachovat odpovídající text přepisu. Nižší rozlišení nebo snížená snímková frekvence mohou pomoci vměstnat sémanticky souvislou scénu do jejího rozpočtu kontextu.
V kolekci školicích videí se dotaz může ptát na scénu, která ukazuje nastavení konkrétního ovládacího prvku. Každou indexovanou scénu propojte s jejím časovým rozsahem. Vraťte odpovídající scénu a prohlédněte si snímky nebo původní klip, abyste ověřili skutečnou činnost, místo abyste nalezený vektor považovali za písemný popis všeho v záznamu.
Text přepisu může přispět, je-li připraven jako součást multimodálního vstupu. Samotné vytváření embeddingů snímků videa neposkytuje přepis řeči.
Uváděná délka kontextu je 32 000 tokenů na vstup. Voyage ve svém publikovaném výpočtu počítá každých 560 pixelů obrázku a každých 1120 pixelů videa jako token, takže vizuální obsah sdílí tento rozpočet s textem. Dokumentované limity zahrnují také 16 milionů pixelů a 20 MB na obrázek a 20 MB na video. Seznam obsahuje nejvýše 1000 vstupů a celkem 320 000 tokenů.
Výchozí nastavení ořezávání zkrátí příliš dlouhý vstup; pokud hranice padne dovnitř obrázku, zahodí se celý obrázek. Příprava úplných stránek nebo scén v rámci rozpočtu proto zachovává předvídatelnější obsah vstupu. Alternativní dokumentované nastavení příliš dlouhé vstupy odmítá místo ořezávání.
Výchozí rozměr výstupu je 1024; pro tuto edici jsou dokumentovány také rozměry 256, 512 a 2048. Oznámení popisuje embeddingy Matryoshka a reprezentace s plovoucí řádovou čárkou, s 8bitovými hodnotami se znaménkem nebo bez znaménka a binární reprezentace. Zvolený rozměr a reprezentaci uchovávejte s indexem.
Postup vyhledávání Voyage rozlišuje vstupy dotazu a dokumentu. Dotazem může být text nebo obrázek a indexované dokumenty mohou kombinovat text s vizuálním obsahem. Jeden vektor reprezentuje každou úplnou vstupní sekvenci; ukládejte jeho propojení se zdrojovou stránkou, obrázkem nebo scénou, aby seřazený výsledek zůstal ověřitelný.
Fáze vyhledávání může najít stránku zprávy, tabulku, snímek prezentace nebo scénu relevantní pro dotaz. Fáze psaní odpovědi nebo analýzy pak čte tento zdrojový materiál. U tabulky před použitím výsledku zkontrolujte skutečná záhlaví a hodnoty; u scény prohlédněte příslušné snímky a související text.
Podstatným rozdílem oproti voyage-multimodal-3 je výslovná podpora videa a další možnosti reprezentace v edici 3.5. Jde o embeddingové schopnosti pro hledání zdrojového materiálu s číselnými vektory jako výstupem, nikoli s generovanými obrázky, videem nebo slovní odpovědí.
", "aboutText": "voyage-multimodal-3.5 je embeddingový model společnosti Voyage AI pro vyhledávání napříč textem, obrázky a videem. Zpracovává prokládaný text a vizuální obsah pomocí jediného transformerového enkodéru a reprezentuje celý multimodální vstup ve společném vektorovém prostoru. Edice 3.5 přidává výslovnou podporu snímků videa a flexibilní rozměry embeddingů.\n\n### Zachování vztahu mezi textem a vizuálním obsahem\n\nPřipravte stránku nebo oddíl dokumentu ve formě, která zachovává užitečné vizuální informace. Snímek prezentace obsahující graf a krátké vysvětlení lze reprezentovat obrázkem snímku a doprovodným textem v témže uspořádaném vstupu. U kolekce založené na PDF je dokumentovaným vizuálním vstupem snímek stránky nebo jiná obrazová reprezentace dokumentu.\n\nU grafu ze zprávy zachovejte na obrázku název, popisky os a legendu. Připojte vysvětlující text, pokud poskytuje kontext potřebný k interpretaci vizuálního obsahu. S výsledným vektorem ukládejte číslo stránky a identifikátor zdroje, aby nalezený kandidát umožnil otevřít příslušnou stránku, místo aby pouze vracel název dokumentu.\n\nVstupní formát výrobce podporuje sekvence textu, obrázků a videí. Publikované formáty obrázků jsou PNG, JPEG, WebP a GIF, pro video pak MP4. V dokumentovaném postupu lze vizuální obsah reprezentovat pomocí URL nebo dat Base64; v rámci jednoho požadavku používejte konzistentně jediný způsob reprezentace.\n\n### Vyhledání scény místo celého dlouhého videa\n\nModel reprezentuje video jako uspořádanou sekvenci snímků. Výrobce doporučuje rozdělit dlouhé video na související scény, zarovnat jejich hranice s dostupnými časovými značkami přepisu a zachovat odpovídající text přepisu. Nižší rozlišení nebo snížená snímková frekvence mohou pomoci vměstnat sémanticky souvislou scénu do jejího rozpočtu kontextu.\n\nV kolekci školicích videí se dotaz může ptát na scénu, která ukazuje nastavení konkrétního ovládacího prvku. Každou indexovanou scénu propojte s jejím časovým rozsahem. Vraťte odpovídající scénu a prohlédněte si snímky nebo původní klip, abyste ověřili skutečnou činnost, místo abyste nalezený vektor považovali za písemný popis všeho v záznamu.\n\nText přepisu může přispět, je-li připraven jako součást multimodálního vstupu. Samotné vytváření embeddingů snímků videa neposkytuje přepis řeči.\n\n### Limity kontextu a přípravy\n\nUváděná délka kontextu je 32 000 tokenů na vstup. Voyage ve svém publikovaném výpočtu počítá každých 560 pixelů obrázku a každých 1120 pixelů videa jako token, takže vizuální obsah sdílí tento rozpočet s textem. Dokumentované limity zahrnují také 16 milionů pixelů a 20 MB na obrázek a 20 MB na video. Seznam obsahuje nejvýše 1000 vstupů a celkem 320 000 tokenů.\n\nVýchozí nastavení ořezávání zkrátí příliš dlouhý vstup; pokud hranice padne dovnitř obrázku, zahodí se celý obrázek. Příprava úplných stránek nebo scén v rámci rozpočtu proto zachovává předvídatelnější obsah vstupu. Alternativní dokumentované nastavení příliš dlouhé vstupy odmítá místo ořezávání.\n\n### Rozměry vektorů a role při vyhledávání\n\nVýchozí rozměr výstupu je 1024; pro tuto edici jsou dokumentovány také rozměry 256, 512 a 2048. Oznámení popisuje embeddingy Matryoshka a reprezentace s plovoucí řádovou čárkou, s 8bitovými hodnotami se znaménkem nebo bez znaménka a binární reprezentace. Zvolený rozměr a reprezentaci uchovávejte s indexem.\n\nPostup vyhledávání Voyage rozlišuje vstupy dotazu a dokumentu. Dotazem může být text nebo obrázek a indexované dokumenty mohou kombinovat text s vizuálním obsahem. Jeden vektor reprezentuje každou úplnou vstupní sekvenci; ukládejte jeho propojení se zdrojovou stránkou, obrázkem nebo scénou, aby seřazený výsledek zůstal ověřitelný.\n\n### Použití vráceného vizuálního zdroje\n\nFáze vyhledávání může najít stránku zprávy, tabulku, snímek prezentace nebo scénu relevantní pro dotaz. Fáze psaní odpovědi nebo analýzy pak čte tento zdrojový materiál. U tabulky před použitím výsledku zkontrolujte skutečná záhlaví a hodnoty; u scény prohlédněte příslušné snímky a související text.\n\nPodstatným rozdílem oproti voyage-multimodal-3 je výslovná podpora videa a další možnosti reprezentace v edici 3.5. Jde o embeddingové schopnosti pro hledání zdrojového materiálu s číselnými vektory jako výstupem, nikoli s generovanými obrázky, videem nebo slovní odpovědí.", "editorialOverlay": { "copy_fields": null, "copy_sha256": null, "copy_source": null, "html_sha256": "6d40bc72222000a2719f4edcd01d2b7ddc9126c3e96a0af73ad8d5dce09edd66", "module_sha256": "ee9dc1c50b1e6a8fb7fa062030fcb4646b9aaaeb08be513b723a5a92a7290f06", "raw_model_unchanged": true, "schema": "ailoot-native-model-editorial-v1" }, "locale": "cs", "methods": [ { "html": "voyageai/voyage-multimodal-3.5Voyage AI voyage-multimodal-3.5 vytváří embeddingy textu, obrázků a snímků videa ve společném prostoru pro vyhledávání. Zpracovává prokládaný obsah, například snímky stránek dokumentů, tabulky a scény, se vstupy o délce 32 000 tokenů a výchozí 1024rozměrnou reprezentací.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
voyage-multimodal-3.5 je embeddingový model společnosti Voyage AI pro vyhledávání napříč textem, obrázky a videem. Zpracovává prokládaný text a vizuální obsah pomocí jediného transformerového enkodéru a reprezentuje celý multimodální vstup ve společném vektorovém prostoru. Edice 3.5 přidává výslovnou podporu snímků videa a flexibilní rozměry embeddingů.
Připravte stránku nebo oddíl dokumentu ve formě, která zachovává užitečné vizuální informace. Snímek prezentace obsahující graf a krátké vysvětlení lze reprezentovat obrázkem snímku a doprovodným textem v témže uspořádaném vstupu. U kolekce založené na PDF je dokumentovaným vizuálním vstupem snímek stránky nebo jiná obrazová reprezentace dokumentu.
U grafu ze zprávy zachovejte na obrázku název, popisky os a legendu. Připojte vysvětlující text, pokud poskytuje kontext potřebný k interpretaci vizuálního obsahu. S výsledným vektorem ukládejte číslo stránky a identifikátor zdroje, aby nalezený kandidát umožnil otevřít příslušnou stránku, místo aby pouze vracel název dokumentu.
Vstupní formát výrobce podporuje sekvence textu, obrázků a videí. Publikované formáty obrázků jsou PNG, JPEG, WebP a GIF, pro video pak MP4. V dokumentovaném postupu lze vizuální obsah reprezentovat pomocí URL nebo dat Base64; v rámci jednoho požadavku používejte konzistentně jediný způsob reprezentace.
Model reprezentuje video jako uspořádanou sekvenci snímků. Výrobce doporučuje rozdělit dlouhé video na související scény, zarovnat jejich hranice s dostupnými časovými značkami přepisu a zachovat odpovídající text přepisu. Nižší rozlišení nebo snížená snímková frekvence mohou pomoci vměstnat sémanticky souvislou scénu do jejího rozpočtu kontextu.
V kolekci školicích videí se dotaz může ptát na scénu, která ukazuje nastavení konkrétního ovládacího prvku. Každou indexovanou scénu propojte s jejím časovým rozsahem. Vraťte odpovídající scénu a prohlédněte si snímky nebo původní klip, abyste ověřili skutečnou činnost, místo abyste nalezený vektor považovali za písemný popis všeho v záznamu.
Text přepisu může přispět, je-li připraven jako součást multimodálního vstupu. Samotné vytváření embeddingů snímků videa neposkytuje přepis řeči.
Uváděná délka kontextu je 32 000 tokenů na vstup. Voyage ve svém publikovaném výpočtu počítá každých 560 pixelů obrázku a každých 1120 pixelů videa jako token, takže vizuální obsah sdílí tento rozpočet s textem. Dokumentované limity zahrnují také 16 milionů pixelů a 20 MB na obrázek a 20 MB na video. Seznam obsahuje nejvýše 1000 vstupů a celkem 320 000 tokenů.
Výchozí nastavení ořezávání zkrátí příliš dlouhý vstup; pokud hranice padne dovnitř obrázku, zahodí se celý obrázek. Příprava úplných stránek nebo scén v rámci rozpočtu proto zachovává předvídatelnější obsah vstupu. Alternativní dokumentované nastavení příliš dlouhé vstupy odmítá místo ořezávání.
Výchozí rozměr výstupu je 1024; pro tuto edici jsou dokumentovány také rozměry 256, 512 a 2048. Oznámení popisuje embeddingy Matryoshka a reprezentace s plovoucí řádovou čárkou, s 8bitovými hodnotami se znaménkem nebo bez znaménka a binární reprezentace. Zvolený rozměr a reprezentaci uchovávejte s indexem.
Postup vyhledávání Voyage rozlišuje vstupy dotazu a dokumentu. Dotazem může být text nebo obrázek a indexované dokumenty mohou kombinovat text s vizuálním obsahem. Jeden vektor reprezentuje každou úplnou vstupní sekvenci; ukládejte jeho propojení se zdrojovou stránkou, obrázkem nebo scénou, aby seřazený výsledek zůstal ověřitelný.
Fáze vyhledávání může najít stránku zprávy, tabulku, snímek prezentace nebo scénu relevantní pro dotaz. Fáze psaní odpovědi nebo analýzy pak čte tento zdrojový materiál. U tabulky před použitím výsledku zkontrolujte skutečná záhlaví a hodnoty; u scény prohlédněte příslušné snímky a související text.
Podstatným rozdílem oproti voyage-multimodal-3 je výslovná podpora videa a další možnosti reprezentace v edici 3.5. Jde o embeddingové schopnosti pro hledání zdrojového materiálu s číselnými vektory jako výstupem, nikoli s generovanými obrázky, videem nebo slovní odpovědí.
POST /v1/embeddingstext, token_idsembedding| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity voyageai/voyage-multimodal-3.5 | Výchozí— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 Podmínky: Neprázdná homogenní dávka. ID tokenů jsou nezáporná celá čísla. Rozpočet vstupu: Maximum: 32 000 · Jednotka textu: bajty UTF8 · Jednotka tokenů: prvky pole tokenů | Výchozí— |
Poleencoding_format | Typstring | PožadavekVolitelné | Hodnoty a limity float | Výchozífloat |
Poledimensions | Typinteger | PožadavekNepodporováno | Hodnoty a limity Minimum: 1 | Výchozí— |
Poleuser | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Polesession_id | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poletrace | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: Parametr provider.options byl odmítnut | Výchozí— |
text_to_embedding
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input |
Parametrinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Kontraktfloat |
Parametrdimensions_override | Kontraktfalse |
Parametrmax_input_budget_units | Kontrakt32000 |
Parametrmultimodal_objects | Kontraktfalse |
Parametrmaterial_types | Kontrakttext, token_ids |
Životní cyklus: synchronous_json
Uchovejte index i rozměr každého vektoru.
Multimodální název modelu neznamená, že tato konkrétní cesta přijímá obrazové objekty.
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.00024 / 1K tokenů Výstup · Výstupní tokeny $0 / 1K tokenů Vstup · Čtení z mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])\nprint(result)\nfor item in result.data:print(item.index,item.embedding)\njson
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Uchovejte každý vektor spolu s jeho indexem. Počet vektorů musí odpovídat počtu vstupů; jejich rozměr musí být jednotný.
Samostatný endpoint úloh pro embeddingy se nezavádí.
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra voyageai/voyage-multimodal-3.5
Použijte cesty metod uvedené výše.