VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 vytváří embeddingy textu, obrázků a snímků videa ve společném prostoru pro vyhledávání. Zpracovává prokládaný obsah, například snímky stránek dokumentů, tabulky a scény, se vstupy o délce 32 000 tokenů a výchozí 1024rozměrnou reprezentací.
O modelu
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
voyage-multimodal-3.5 je embeddingový model společnosti Voyage AI pro vyhledávání napříč textem, obrázky a videem. Zpracovává prokládaný text a vizuální obsah pomocí jediného transformerového enkodéru a reprezentuje celý multimodální vstup ve společném vektorovém prostoru. Edice 3.5 přidává výslovnou podporu snímků videa a flexibilní rozměry embeddingů.
Zachování vztahu mezi textem a vizuálním obsahem
Připravte stránku nebo oddíl dokumentu ve formě, která zachovává užitečné vizuální informace. Snímek prezentace obsahující graf a krátké vysvětlení lze reprezentovat obrázkem snímku a doprovodným textem v témže uspořádaném vstupu. U kolekce založené na PDF je dokumentovaným vizuálním vstupem snímek stránky nebo jiná obrazová reprezentace dokumentu.
U grafu ze zprávy zachovejte na obrázku název, popisky os a legendu. Připojte vysvětlující text, pokud poskytuje kontext potřebný k interpretaci vizuálního obsahu. S výsledným vektorem ukládejte číslo stránky a identifikátor zdroje, aby nalezený kandidát umožnil otevřít příslušnou stránku, místo aby pouze vracel název dokumentu.
Vstupní formát výrobce podporuje sekvence textu, obrázků a videí. Publikované formáty obrázků jsou PNG, JPEG, WebP a GIF, pro video pak MP4. V dokumentovaném postupu lze vizuální obsah reprezentovat pomocí URL nebo dat Base64; v rámci jednoho požadavku používejte konzistentně jediný způsob reprezentace.
Vyhledání scény místo celého dlouhého videa
Model reprezentuje video jako uspořádanou sekvenci snímků. Výrobce doporučuje rozdělit dlouhé video na související scény, zarovnat jejich hranice s dostupnými časovými značkami přepisu a zachovat odpovídající text přepisu. Nižší rozlišení nebo snížená snímková frekvence mohou pomoci vměstnat sémanticky souvislou scénu do jejího rozpočtu kontextu.
V kolekci školicích videí se dotaz může ptát na scénu, která ukazuje nastavení konkrétního ovládacího prvku. Každou indexovanou scénu propojte s jejím časovým rozsahem. Vraťte odpovídající scénu a prohlédněte si snímky nebo původní klip, abyste ověřili skutečnou činnost, místo abyste nalezený vektor považovali za písemný popis všeho v záznamu.
Text přepisu může přispět, je-li připraven jako součást multimodálního vstupu. Samotné vytváření embeddingů snímků videa neposkytuje přepis řeči.
Limity kontextu a přípravy
Uváděná délka kontextu je 32 000 tokenů na vstup. Voyage ve svém publikovaném výpočtu počítá každých 560 pixelů obrázku a každých 1120 pixelů videa jako token, takže vizuální obsah sdílí tento rozpočet s textem. Dokumentované limity zahrnují také 16 milionů pixelů a 20 MB na obrázek a 20 MB na video. Seznam obsahuje nejvýše 1000 vstupů a celkem 320 000 tokenů.
Výchozí nastavení ořezávání zkrátí příliš dlouhý vstup; pokud hranice padne dovnitř obrázku, zahodí se celý obrázek. Příprava úplných stránek nebo scén v rámci rozpočtu proto zachovává předvídatelnější obsah vstupu. Alternativní dokumentované nastavení příliš dlouhé vstupy odmítá místo ořezávání.
Rozměry vektorů a role při vyhledávání
Výchozí rozměr výstupu je 1024; pro tuto edici jsou dokumentovány také rozměry 256, 512 a 2048. Oznámení popisuje embeddingy Matryoshka a reprezentace s plovoucí řádovou čárkou, s 8bitovými hodnotami se znaménkem nebo bez znaménka a binární reprezentace. Zvolený rozměr a reprezentaci uchovávejte s indexem.
Postup vyhledávání Voyage rozlišuje vstupy dotazu a dokumentu. Dotazem může být text nebo obrázek a indexované dokumenty mohou kombinovat text s vizuálním obsahem. Jeden vektor reprezentuje každou úplnou vstupní sekvenci; ukládejte jeho propojení se zdrojovou stránkou, obrázkem nebo scénou, aby seřazený výsledek zůstal ověřitelný.
Použití vráceného vizuálního zdroje
Fáze vyhledávání může najít stránku zprávy, tabulku, snímek prezentace nebo scénu relevantní pro dotaz. Fáze psaní odpovědi nebo analýzy pak čte tento zdrojový materiál. U tabulky před použitím výsledku zkontrolujte skutečná záhlaví a hodnoty; u scény prohlédněte příslušné snímky a související text.
Podstatným rozdílem oproti voyage-multimodal-3 je výslovná podpora videa a další možnosti reprezentace v edici 3.5. Jde o embeddingové schopnosti pro hledání zdrojového materiálu s číselnými vektory jako výstupem, nikoli s generovanými obrázky, videem nebo slovní odpovědí.
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Úvod
Voyage AI voyage-multimodal-3.5 vytváří embeddingy textu, obrázků a snímků videa ve společném prostoru pro vyhledávání. Zpracovává prokládaný obsah, například snímky stránek dokumentů, tabulky a scény, se vstupy o délce 32 000 tokenů a výchozí 1024rozměrnou reprezentací.
- Přijímané vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metody
Ailoot Ultra · Vektorové reprezentace POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 32 000 tokens
- Výstupní formát
- json
| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity voyageai/voyage-multimodal-3.5 | Výchozí— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 Podmínky: Neprázdná homogenní dávka. ID tokenů jsou nezáporná celá čísla. Rozpočet vstupu: Maximum: 32 000 · Jednotka textu: bajty UTF8 · Jednotka tokenů: prvky pole tokenů | Výchozí— |
Poleencoding_format | Typstring | PožadavekVolitelné | Hodnoty a limity float | Výchozífloat |
Poledimensions | Typinteger | PožadavekNepodporováno | Hodnoty a limity Minimum: 1 | Výchozí— |
Poleuser | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Polesession_id | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poletrace | Typjson_value | PožadavekVolitelné | Hodnoty a limity Podmínky: Zdroj povoluje toto pole metadat JSON; jeho přesný význam u poskytovatele závisí na konkrétním modelu. | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: Parametr provider.options byl odmítnut | Výchozí— |
Kombinace vstupních materiálů
text_to_embedding
Parametry a životní cyklus metody
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, input |
Parametrinput_shapes | Kontraktstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Kontraktfloat |
Parametrdimensions_override | Kontraktfalse |
Parametrmax_input_budget_units | Kontrakt32000 |
Parametrmultimodal_objects | Kontraktfalse |
Parametrmaterial_types | Kontrakttext, token_ids |
Životní cyklus: synchronous_json
Uchovejte index i rozměr každého vektoru.
Multimodální název modelu neznamená, že tato konkrétní cesta přijímá obrazové objekty.
Tarify
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
- Rychlý režim
- Standardní sazba Při výběru rychlého režimu
- Režim flex
- Standardní sazba Při výběru režimu flex
- Maximální intenzita uvažování
- Standardní sazba Když se při maximální intenzitě uvažování použije výchozí úprava (default)
Sazby Ailoot
Ceny podle konfigurace
| Konfigurace | Tabulka sazeb | Poplatek |
|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Poplatek Vstup · Vstupní tokeny $0.00024 / 1K tokenů Výstup · Výstupní tokeny $0 / 1K tokenů Vstup · Čtení z mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
Příklady požadavků
Ailoot Ultra · Vektorové reprezentace
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Přijímání a ukládání výsledků
Ailoot Ultra · Vektorové reprezentace
json
Uchovejte všechny dokončené výsledky
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Uchovejte každý vektor spolu s jeho indexem. Počet vektorů musí odpovídat počtu vstupů; jejich rozměr musí být jednotný.
Pokud je nutné ověřit původní odpověď
Samostatný endpoint úloh pro embeddingy se nezavádí.
Pole odpovědi
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a další kroky
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Aliasy
Aliasy modelu
Ailoot Ultra voyageai/voyage-multimodal-3.5
Aliasy cest metod
Použijte cesty metod uvedené výše.
Související ID modelů
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Jaké vstupy a výsledky jsou dostupné?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Jaká pole požadavek používá?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Jaké limity platí?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bajty UTF8);input.min_items:1