VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 matn, rasm va video kadrlarini umumiy qidiruv makonida embedding qiladi. U hujjat skrinshotlari, jadvallar va sahnalar kabi aralash mazmunni qayta ishlaydi; kirish 32 000 token, odatiy ifoda esa 1024 o‘lchamli.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
voyage-multimodal-3.5 — matn, rasm va video bo‘ylab qidiruv uchun Voyage AI embedding modeli. U aralash ketma-ketlikdagi matn va vizual mazmunni bitta transformer enkoderi orqali qayta ishlab, to‘liq multimodal kirishni umumiy vektor makonida ifodalaydi. 3.5 nashri video kadrlarini bevosita qo‘llab-quvvatlash va moslashuvchan embedding o‘lchamlarini qo‘shadi.
Matn va tasvirlar orasidagi bog‘liqlikni saqlang
Hujjat sahifasi yoki bo‘limini foydali vizual ma’lumotni saqlaydigan shaklda tayyorlang. Grafik va qisqa izohi bor slaydni slayd rasmi hamda unga tegishli matn bilan ayni tartibli kirishda ifodalash mumkin. PDF asosidagi to‘plamda hujjatlashtirilgan vizual kirish sahifa skrinshoti yoki hujjatning boshqa rasmli ifodasidir.
Hisobot grafigida sarlavha, o‘q yorliqlari va shartli belgilar izohini rasmda saqlang. Tasvirni talqin qilish uchun kerakli kontekstni bersa, tushuntiruvchi matnni ilova qiling. Topilgan nomzod faqat hujjat nomini qaytarish o‘rniga tegishli sahifani ocha olishi uchun sahifa raqami va manba identifikatorini natijaviy vektor yonida saqlang.
Ishlab chiqaruvchi kirish formati matn, rasm va video ketma-ketliklarini qo‘llaydi. E’lon qilingan rasm formatlari PNG, JPEG, WebP va GIF, video uchun esa MP4. Hujjatlashtirilgan usulda vizual mazmunni URL yoki Base64 ma’lumotlari orqali berish mumkin; bitta so‘rov ichida bir ifoda uslubini izchil saqlang.
Butun uzun video o‘rniga sahnani toping
Model videoni tartibli kadrlar ketma-ketligi sifatida ifodalaydi. Ishlab chiqaruvchi uzun videoni bog‘liq sahnalarga ajratish, sahna chegaralarini mavjud transkript vaqt belgilari bilan moslash va tegishli transkript matnini saqlashni tavsiya qiladi. Pastroq tasvir aniqligi yoki kamaytirilgan kadr tezligi semantik jihatdan uzluksiz sahnani kontekst budjetiga sig‘dirishga yordam berishi mumkin.
O‘quv videolari to‘plamida so‘rov muayyan boshqaruv elementini sozlashni ko‘rsatadigan sahnani so‘rashi mumkin. Har indekslangan sahnani vaqt oralig‘iga bog‘lang. Topilgan vektorni yozuvdagi hamma narsaning yozma tavsifi deb bilish o‘rniga, mos sahnani qaytaring va haqiqiy amalni ko‘rish uchun kadrlar yoki asl klipni tekshiring.
Transkript matni multimodal kirishning bir qismi sifatida tayyorlansa hissa qo‘shishi mumkin. Video kadrlarini embedding qilishning o‘zi nutq transkriptini bermaydi.
Kontekst va tayyorlash chegaralari
Ko‘rsatilgan kontekst uzunligi har bir kirish uchun 32 000 token. Voyage e’lon qilingan hisoblashda har 560 rasm pikseli va har 1120 video pikselini bitta token deb hisoblaydi; vizual mazmun shu budjetni matn bilan bo‘lishadi. Hujjatlashtirilgan chegaralarga har rasm uchun 16 million piksel va 20 MB, har video uchun 20 MB ham kiradi. Bitta ro‘yxatda ko‘pi bilan 1000 kirish va jami 320 000 token bo‘ladi.
Odatiy kesish sozlamasi haddan uzun kirishni kesadi; chegara rasm ichiga tushsa, butun rasm tashlanadi. Demak, to‘liq sahifa yoki sahnalarni budjet ichida tayyorlash kirish mazmunini oldindan bilishni osonlashtiradi. Hujjatlashtirilgan muqobil sozlama haddan uzun kirishni kesish o‘rniga rad etadi.
Vektor o‘lchamlari va qidiruv rollari
Odatiy chiqish o‘lchami 1024; bu nashr uchun 256, 512 va 2048 o‘lcham ham hujjatlashtirilgan. E’londa Matryoshka embeddinglari hamda suzuvchi nuqtali, ishorali yoki ishorasiz 8 bitli va ikkilik ifodalar tasvirlanadi. Tanlangan o‘lcham va ifodani indeks bilan saqlang.
Voyage qidiruv usuli query va document kirishlarini ajratadi. So‘rov matn yoki rasm bo‘lishi, indekslangan hujjatlar esa matn va tasvirlarni birlashtirishi mumkin. Har to‘liq kirish ketma-ketligini bitta vektor ifodalaydi; reytinglangan natija tekshiriladigan bo‘lib qolishi uchun manba sahifasi, rasm yoki sahna bog‘liqligini saqlang.
Qaytgan vizual manbadan foydalaning
Qidiruv bosqichi so‘rovga tegishli hisobot sahifasi, jadval, slayd yoki sahnani topishi mumkin. Keyin javob yozish yoki tahlil bosqichi shu manba materialini o‘qiydi. Jadvalda natijani ishlatishdan oldin haqiqiy sarlavhalar va qiymatlarni, sahnada esa tegishli kadrlar va bog‘liq matnni tekshiring.
voyage-multimodal-3’dan asosiy farq — 3.5 nashrining videoni bevosita qo‘llab-quvvatlashi va qo‘shimcha ifoda tanlovlari. Bular manba materialini topish uchun embedding imkoniyatlari; chiqish yaratilgan rasm, video yoki hikoyaviy javob emas, raqamli vektorlardir.
Ailoot Ultra · Embeddinglar POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Boshlash
Voyage AI voyage-multimodal-3.5 matn, rasm va video kadrlarini umumiy qidiruv makonida embedding qiladi. U hujjat skrinshotlari, jadvallar va sahnalar kabi aralash mazmunni qayta ishlaydi; kirish 32 000 token, odatiy ifoda esa 1024 o‘lchamli.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Kontekst
- 32 000 tokens
- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar voyageai/voyage-multimodal-3.5 | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 32 000 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari32000 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Standart tarif Tezkor rejim tanlanganda
- Flex rejimi
- Standart tarif flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Standart tarif Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00024 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra voyageai/voyage-multimodal-3.5
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(UTF8 baytlari);input.min_items:1