VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 tekstą, vaizdus ir vaizdo įrašo kadrus atvaizduoja įterpiniais bendroje paieškos erdvėje. Jis apdoroja persipinantį turinį, pavyzdžiui, dokumentų puslapių ekrano kopijas, lenteles ir scenas, su 32 000 žetonų įvestimis ir numatytąja 1024 matmenų reprezentacija.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
voyage-multimodal-3.5 yra Voyage AI įterpinių modelis paieškai tekste, vaizduose ir vaizdo įrašuose. Jis apdoroja persipinantį tekstą ir vaizdinį turinį vienu transformerių koduotuvu, atvaizduodamas visą multimodalinę įvestį bendroje vektorių erdvėje. 3.5 versija prideda aiškiai nurodytą vaizdo įrašų kadrų palaikymą ir lankstų įterpinių matmenų skaičių.
Išsaugokite ryšį tarp teksto ir vaizdų
Dokumento puslapį ar skyrių paruoškite tokia forma, kuri išsaugo naudingą vaizdinę informaciją. Skaidrę su diagrama ir trumpu paaiškinimu galima atvaizduoti naudojant skaidrės vaizdą ir lydintį tekstą toje pačioje sutvarkytoje įvestyje. PDF pagrįstoje kolekcijoje dokumentuota vaizdinė įvestis yra puslapio ekrano kopija arba kitas dokumento atvaizdas.
Ataskaitos diagramos vaizde išsaugokite pavadinimą, ašių žymas ir legendą. Pridėkite paaiškinamąjį tekstą, kai jis suteikia vaizdui interpretuoti reikalingą kontekstą. Puslapio numerį ir šaltinio identifikatorių saugokite šalia gauto vektoriaus, kad rastas kandidatas leistų atverti atitinkamą puslapį, o ne tik grąžintų dokumento pavadinimą.
Gamintojo įvesties formatas palaiko teksto, vaizdų ir vaizdo įrašų sekas. Paskelbti vaizdų formatai yra PNG, JPEG, WebP ir GIF, o vaizdo įrašų – MP4. Dokumentuotame procese vaizdinį turinį galima pateikti URL adresais arba Base64 duomenimis; vienoje užklausoje nuosekliai naudokite vieną pateikimo būdą.
Raskite sceną, o ne visą ilgą vaizdo įrašą
Modelis vaizdo įrašą atvaizduoja kaip sutvarkytą kadrų seką. Gamintojas rekomenduoja ilgą vaizdo įrašą padalyti į susijusias scenas, jų ribas suderinti su turimomis transkripcijos laiko žymomis ir išsaugoti atitinkamą transkripcijos tekstą. Mažesnė raiška arba sumažintas kadrų dažnis gali padėti semantiškai vientisą sceną sutalpinti į jos konteksto biudžetą.
Mokomųjų vaizdo įrašų kolekcijoje užklausa gali prašyti scenos, kurioje parodomas konkretaus valdiklio reguliavimas. Kiekvieną indeksuojamą sceną susiekite su jos laiko intervalu. Grąžinkite atitinkančią sceną ir patikrinkite kadrus arba originalų klipą, kad matytumėte tikrąjį veiksmą, užuot rastą vektorių laikę rašytiniu visko, kas yra įraše, aprašymu.
Transkripcijos tekstas gali suteikti informacijos, jei paruošiamas kaip multimodalinės įvesties dalis. Pats vaizdo įrašo kadrų įterpinių kūrimas kalbos transkripcijos nepateikia.
Konteksto ir paruošimo ribos
Nurodytas konteksto ilgis yra 32 000 žetonų vienai įvesčiai. Paskelbtame skaičiavime Voyage kiekvienus 560 vaizdo pikselių ir kiekvienus 1120 vaizdo įrašo pikselių skaičiuoja kaip žetoną, todėl vaizdinis turinys šiuo biudžetu dalijasi su tekstu. Dokumentuotos ribos taip pat apima 16 milijonų pikselių ir 20 MB vienam vaizdui bei 20 MB vienam vaizdo įrašui. Sąraše gali būti daugiausia 1000 įvesčių ir iš viso 320 000 žetonų.
Numatytasis nukirpimo nustatymas sutrumpina per ilgą įvestį; jei riba patenka į vaizdo vidų, visas vaizdas atmetamas. Todėl paruošus ištisus puslapius ar scenas, telpančius į biudžetą, išsaugomas labiau nuspėjamas įvesties turinys. Alternatyvus dokumentuotas nustatymas per ilgas įvestis atmeta, užuot jas nukirpęs.
Vektorių matmenys ir paieškos vaidmenys
Numatytasis išvesties matmenų skaičius yra 1024; šiai versijai taip pat dokumentuoti 256, 512 ir 2048 matmenys. Pranešime aprašomi Matryoshka įterpiniai ir slankiojo kablelio, 8 bitų su ženklu arba be ženklo bei dvejetainės reprezentacijos. Pasirinktą matmenų skaičių ir reprezentaciją saugokite kartu su indeksu.
Voyage paieškos procedūra skiria užklausos ir dokumento įvestis. Užklausa gali būti tekstas arba vaizdas, o indeksuojami dokumentai gali derinti tekstą ir vaizdinį turinį. Vienas vektorius atvaizduoja kiekvieną visą įvesties seką; saugokite jo ryšį su šaltinio puslapiu, vaizdu ar scena, kad surikiuotą rezultatą būtų galima patikrinti.
Naudokite grąžintą vaizdinį šaltinį
Paieškos etapas gali rasti užklausai aktualų ataskaitos puslapį, lentelę, skaidrę ar sceną. Atsakymo rašymo arba analizės etapas tada perskaito šią šaltinio medžiagą. Prieš naudodami lentelės rezultatą patikrinkite tikrąsias antraštes ir reikšmes; scenos atveju patikrinkite atitinkamus kadrus ir susietą tekstą.
Esminis skirtumas nuo voyage-multimodal-3 yra aiškiai nurodytas vaizdo įrašų palaikymas ir papildomi reprezentacijos pasirinkimai 3.5 versijoje. Tai įterpinių galimybės šaltinio medžiagai rasti, kurių išvestis yra skaitiniai vektoriai, o ne generuojami vaizdai, vaizdo įrašai ar pasakojamasis atsakymas.
Ailoot Ultra · Įterpiniai POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Pradžia
Voyage AI voyage-multimodal-3.5 tekstą, vaizdus ir vaizdo įrašo kadrus atvaizduoja įterpiniais bendroje paieškos erdvėje. Jis apdoroja persipinantį turinį, pavyzdžiui, dokumentų puslapių ekrano kopijas, lenteles ir scenas, su 32 000 žetonų įvestimis ir numatytąja 1024 matmenų reprezentacija.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Kontekstas
- 32 000 tokens
- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos voyageai/voyage-multimodal-3.5 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 32 000 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija32000 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Standartinis įkainis Pasirinkus spartųjį režimą
- Flex režimas
- Standartinis įkainis Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Standartinis įkainis Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00024 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra voyageai/voyage-multimodal-3.5
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8 baitai);input.min_items:1