VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 pretvori besedilo, slike in sličice videa v vektorske vložitve v skupnem prostoru za iskanje. Obdeluje prepleteno vsebino, kot so posnetki dokumentov, tabele in prizori, z vhodi do 32 000 žetonov in privzeto 1024-dimenzionalno predstavitvijo.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
voyage-multimodal-3.5 je model vektorskih vložitev podjetja Voyage AI za iskanje po besedilu, slikah in videu. Prepleteno besedilno in vizualno vsebino obdeluje z enim transformatorskim kodirnikom ter celoten multimodalni vhod predstavi v skupnem vektorskem prostoru. Različica 3.5 dodaja izrecno podporo sličicam videa in prilagodljivo število dimenzij vektorskih vložitev.
Ohranite povezavo med besedilom in vizualnimi elementi
Stran ali razdelek dokumenta pripravite v obliki, ki ohrani uporabne vizualne informacije. Diapozitiv z grafom in kratko razlago lahko predstavite s sliko diapozitiva in spremljevalnim besedilom v istem urejenem vhodu. Za zbirko na podlagi PDF je dokumentirani vizualni vhod posnetek strani ali druga slikovna predstavitev dokumenta.
Pri grafu iz poročila na sliki ohranite naslov, oznake osi in legendo. Dodajte razlagalno besedilo, kadar zagotavlja kontekst, potreben za razumevanje vizualnega prikaza. Ob nastalem vektorju shranite številko strani in identifikator vira, da lahko najdeni kandidat odpre ustrezno stran, namesto da vrne zgolj ime dokumenta.
Proizvajalčev vhodni format podpira zaporedja besedila, slik in videov. Objavljeni slikovni formati so PNG, JPEG, WebP in GIF, video format pa MP4. V dokumentiranem postopku je vizualno vsebino mogoče predstaviti z URL-ji ali podatki Base64; znotraj zahteve dosledno uporabljajte en način predstavitve.
Poiščite prizor namesto celotnega dolgega videa
Model video predstavi kot urejeno zaporedje sličic. Proizvajalec priporoča razdelitev dolgega videa na povezane prizore, uskladitev njihovih meja z razpoložljivimi časovnimi oznakami prepisa in ohranitev ustreznega besedila prepisa. Nižja ločljivost ali manjša hitrost sličic lahko pomaga pomensko neprekinjen prizor umestiti v razpoložljivi kontekst.
Pri zbirki učnih videov lahko poizvedba išče prizor, ki prikazuje nastavitev določenega upravljalnega elementa. Vsak indeksirani prizor povežite z njegovim časovnim razponom. Vrnite ustrezni prizor in na sličicah ali v izvirnem posnetku preverite dejansko dejanje, namesto da najdeni vektor obravnavate kot pisni opis vsega v posnetku.
Besedilo prepisa lahko prispeva k predstavitvi, kadar je pripravljeno kot del multimodalnega vhoda. Sama izdelava vektorskih vložitev sličic videa ne zagotovi prepisa govora.
Kontekst in omejitve priprave
Navedena dolžina konteksta je 32 000 žetonov na vhod. Voyage v objavljenem izračunu vsakih 560 slikovnih pik slike in vsakih 1120 slikovnih pik videa šteje kot en žeton, zato vizualna vsebina ta obseg deli z besedilom. Dokumentirane omejitve vključujejo tudi 16 milijonov slikovnih pik in 20 MB na sliko ter 20 MB na video. Seznam vsebuje največ 1000 vhodov in skupno 320 000 žetonov.
Privzeta nastavitev krajšanja odreže predolg vhod; če meja pade v sliko, se zavrže celotna slika. Priprava celih strani ali prizorov znotraj omejitve zato ohrani bolj predvidljivo vhodno vsebino. Alternativna dokumentirana nastavitev predolge vhode zavrne, namesto da bi jih skrajšala.
Dimenzije vektorjev in vloge pri iskanju
Privzeta izhodna dimenzija je 1024, za to različico pa so dokumentirane tudi dimenzije 256, 512 in 2048. Objava opisuje vektorske vložitve Matryoshka ter predstavitve s plavajočo vejico, predznačene ali nepredznačene 8-bitne predstavitve in binarne predstavitve. Izbrano dimenzijo in predstavitev ohranite z indeksom.
Voyageov postopek iskanja razlikuje med vhodi poizvedb in dokumentov. Poizvedba je lahko besedilo ali slika, indeksirani dokumenti pa lahko združujejo besedilo in vizualne elemente. En vektor predstavlja vsako celotno vhodno zaporedje; shranite njegovo povezavo z izvorno stranjo, sliko ali prizorom, da je razvrščeni rezultat mogoče preveriti.
Uporabite vrnjeni vizualni vir
Iskalna stopnja lahko poišče stran poročila, tabelo, diapozitiv ali prizor, pomemben za poizvedbo. Stopnja pisanja odgovora ali analize nato prebere ta izvorni material. Pri tabeli pred uporabo rezultata preverite dejanske glave in vrednosti; pri prizoru preverite ustrezne sličice in povezano besedilo.
Bistvena razlika od voyage-multimodal-3 je izrecna podpora videu in dodatna izbira predstavitev v različici 3.5. To so zmožnosti vektorskih vložitev za iskanje izvornega materiala, z numeričnimi vektorji kot izhodom namesto ustvarjenih slik, videa ali pripovednega odgovora.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Začetek
Voyage AI voyage-multimodal-3.5 pretvori besedilo, slike in sličice videa v vektorske vložitve v skupnem prostoru za iskanje. Obdeluje prepleteno vsebino, kot so posnetki dokumentov, tabele in prizori, z vhodi do 32 000 žetonov in privzeto 1024-dimenzionalno predstavitvijo.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Kontekst
- 32.000 tokens
- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve voyageai/voyage-multimodal-3.5 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 32.000 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija32000 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Standardna tarifa Ko je izbran hitri način
- Način flex
- Standardna tarifa Ko je izbran način flex
- Najvišja raven razmišljanja
- Standardna tarifa Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00024 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra voyageai/voyage-multimodal-3.5
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bajti UTF8);input.min_items:1