VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 vytvára embeddingy textu, obrázkov a snímok videa v spoločnom vyhľadávacom priestore. Spracúva striedajúci sa obsah, napríklad snímky dokumentov, tabuľky a scény, so vstupmi do 32 000 tokenov a predvolenou 1024-rozmernou reprezentáciou.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
voyage-multimodal-3.5 je model embeddingov od Voyage AI na vyhľadávanie naprieč textom, obrázkami a videom. Striedajúci sa textový a vizuálny obsah spracúva jediným transformerovým enkodérom a celý multimodálny vstup reprezentuje v spoločnom vektorovom priestore. Edícia 3.5 pridáva výslovnú podporu snímok videa a flexibilné rozmery embeddingov.
Zachovajte vzťah medzi textom a vizuálnym obsahom
Stranu alebo časť dokumentu pripravte vo forme zachovávajúcej užitočné vizuálne informácie. Snímku prezentácie s grafom a krátkym vysvetlením možno reprezentovať obrázkom snímky a sprievodným textom v jednom usporiadanom vstupe. Pri kolekcii založenej na PDF je zdokumentovaným vizuálnym vstupom snímka obrazovky strany alebo iná obrazová reprezentácia dokumentu.
Pri grafe z reportu zachovajte na obrázku názov, označenia osí a legendu. Vysvetľujúci text pripojte vtedy, keď poskytuje kontext potrebný na interpretáciu vizuálneho obsahu. Vedľa výsledného vektora uložte číslo strany a identifikátor zdroja, aby vyhľadaný kandidát mohol otvoriť príslušnú stranu namiesto vrátenia iba názvu dokumentu.
Vstupný formát výrobcu podporuje sekvencie textu, obrázkov a videí. Zverejnené obrazové formáty sú PNG, JPEG, WebP a GIF, pre video MP4. V zdokumentovanom postupe možno vizuálny obsah reprezentovať pomocou URL alebo dát Base64; v jednej požiadavke dôsledne používajte jeden spôsob reprezentácie.
Vyhľadajte scénu namiesto celého dlhého videa
Model reprezentuje video ako usporiadanú sekvenciu snímok. Výrobca odporúča rozdeliť dlhé video na súvisiace scény, zosúladiť hranice scén s dostupnými časovými značkami prepisu a zachovať zodpovedajúci text prepisu. Nižšie rozlíšenie alebo znížená snímková frekvencia môžu pomôcť zmestiť významovo súvislú scénu do jej kontextového rozpočtu.
Pri kolekcii školiacich videí sa dopyt môže pýtať na scénu predvádzajúcu nastavenie konkrétneho ovládacieho prvku. Každú indexovanú scénu spojte s časovým rozsahom. Vráťte zodpovedajúcu scénu a preskúmajte snímky alebo pôvodný klip vzhľadom na skutočný úkon namiesto považovania vyhľadaného vektora za písomný opis všetkého v nahrávke.
Text prepisu môže prispieť, keď je pripravený ako súčasť multimodálneho vstupu. Samotné vytváranie embeddingov snímok videa neposkytuje prepis reči.
Kontext a limity prípravy
Uvedená dĺžka kontextu je 32 000 tokenov na vstup. Voyage v zverejnenom výpočte počíta každých 560 obrazových pixelov a každých 1120 pixelov videa ako jeden token, takže vizuálny obsah zdieľa rozpočet s textom. Zdokumentované limity tiež zahŕňajú 16 miliónov pixelov a 20 MB na obrázok a 20 MB na video. Zoznam obsahuje najviac 1000 vstupov a spolu 320 000 tokenov.
Predvolené nastavenie skracovania odreže príliš dlhý vstup; ak hranica padne dovnútra obrázka, zahodí sa celý obrázok. Príprava úplných strán alebo scén v rámci rozpočtu preto zachováva predvídateľnejší obsah vstupu. Alternatívne zdokumentované nastavenie príliš dlhé vstupy odmieta namiesto skracovania.
Rozmery vektorov a vyhľadávacie roly
Predvolený výstupný rozmer je 1024, pričom pre túto edíciu sú zdokumentované aj rozmery 256, 512 a 2048. Oznámenie opisuje embeddingy Matryoshka a reprezentácie s pohyblivou rádovou čiarkou, 8-bitové so znamienkom či bez znamienka a binárne reprezentácie. Zvolený rozmer a reprezentáciu uchovajte s indexom.
Vyhľadávací postup Voyage rozlišuje vstupy query a document. Dopytom môže byť text alebo obrázok a indexované dokumenty môžu kombinovať text a vizuálny obsah. Jeden vektor reprezentuje každú úplnú vstupnú sekvenciu; uložte jej prepojenie na zdrojovú stranu, obrázok alebo scénu, aby zoradený výsledok zostal preskúmateľný.
Použite vrátený vizuálny zdroj
Fáza vyhľadávania môže nájsť stranu reportu, tabuľku, snímku prezentácie alebo scénu relevantnú pre dopyt. Fáza písania odpovede alebo analýzy potom číta tento zdrojový materiál. Pri tabuľke pred použitím výsledku preskúmajte skutočné hlavičky a hodnoty; pri scéne príslušné snímky a súvisiaci text.
Podstatným rozdielom oproti voyage-multimodal-3 je výslovná podpora videa a ďalšie možnosti reprezentácie edície 3.5. Ide o schopnosti embeddingov na vyhľadávanie zdrojového materiálu, ktorých výstupom sú číselné vektory namiesto generovaných obrázkov, videa či naratívnej odpovede.
Ailoot Ultra · Embeddingy POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Úvod
Voyage AI voyage-multimodal-3.5 vytvára embeddingy textu, obrázkov a snímok videa v spoločnom vyhľadávacom priestore. Spracúva striedajúci sa obsah, napríklad snímky dokumentov, tabuľky a scény, so vstupmi do 32 000 tokenov a predvolenou 1024-rozmernou reprezentáciou.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 32 000 tokens
- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity voyageai/voyage-multimodal-3.5 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 32 000 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia32000 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Štandardná sadzba Keď je zvolený rýchly režim
- Režim Flex
- Štandardná sadzba Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00024 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra voyageai/voyage-multimodal-3.5
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bajty UTF8);input.min_items:1