VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 menghasilkan embedding teks, imej dan bingkai video dalam ruang pemerolehan semula bersama. Ia mengendalikan kandungan berselang-seli seperti tangkapan skrin dokumen, jadual dan adegan, dengan input 32,000 token dan perwakilan lalai 1024 dimensi.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
voyage-multimodal-3.5 ialah model embedding Voyage AI untuk pemerolehan semula merentas teks, imej dan video. Ia memproses teks dan kandungan visual berselang-seli melalui satu pengekod transformer, lalu mewakili input multimodal lengkap dalam ruang vektor bersama. Edisi 3.5 menambah sokongan bingkai video secara jelas dan dimensi embedding fleksibel.
Kekalkan hubungan antara teks dan visual
Sediakan halaman atau bahagian dokumen dalam bentuk yang mengekalkan maklumat visual bergunanya. Slaid yang mengandungi carta dan penjelasan pendek boleh diwakili dengan imej slaid serta teks iringan dalam input bertertib yang sama. Untuk koleksi berasaskan PDF, input visual yang didokumenkan ialah tangkapan skrin halaman atau perwakilan imej lain bagi dokumen.
Untuk carta laporan, simpan tajuk, label paksi dan petunjuk dalam imej. Lampirkan teks penjelasan apabila ia membekalkan konteks yang diperlukan untuk mentafsir visual. Simpan nombor halaman dan pengecam sumber di sisi vektor hasil supaya calon yang diperoleh semula dapat membuka halaman relevan, bukannya sekadar mengembalikan nama dokumen.
Format input pembuat menyokong jujukan teks, imej dan video. Format imej yang diterbitkan ialah PNG, JPEG, WebP dan GIF, dengan MP4 untuk video. Kandungan visual boleh diwakili melalui URL atau data Base64 dalam kaedah yang didokumenkan; gunakan satu gaya perwakilan secara konsisten dalam satu permintaan.
Dapatkan adegan, bukannya seluruh video panjang
Model mewakili video sebagai jujukan bingkai bertertib. Pembuat mengesyorkan pembahagian video panjang kepada adegan berkaitan, menyelaraskan sempadan adegan dengan cap masa transkrip yang tersedia dan mengekalkan teks transkrip yang sepadan. Resolusi lebih rendah atau kadar bingkai dikurangkan boleh membantu adegan yang berterusan secara semantik muat dalam peruntukan konteksnya.
Untuk koleksi video latihan, pertanyaan mungkin meminta adegan yang menunjukkan pelarasan kawalan tertentu. Kaitkan setiap adegan berindeks dengan julat masanya. Kembalikan adegan sepadan dan periksa bingkai atau klip asal untuk tindakan sebenar, bukannya menganggap vektor yang diperoleh semula sebagai penerangan bertulis tentang segala-galanya dalam rakaman.
Teks transkrip boleh menyumbang apabila disediakan sebagai sebahagian daripada input multimodal. Embedding bingkai video sendiri tidak membekalkan transkrip pertuturan.
Had konteks dan penyediaan
Panjang konteks yang dinyatakan ialah 32,000 token bagi setiap input. Voyage mengira setiap 560 piksel imej dan setiap 1120 piksel video sebagai satu token dalam pengiraan yang diterbitkan, maka kandungan visual berkongsi peruntukan itu dengan teks. Had yang didokumenkan turut merangkumi 16 juta piksel dan 20 MB bagi setiap imej, serta 20 MB bagi setiap video. Senarai mengandungi paling banyak 1000 input dan 320,000 token gabungan.
Tetapan pemotongan lalai memotong input terlalu panjang; jika sempadan itu jatuh dalam imej, seluruh imej dibuang. Oleh itu, penyediaan halaman atau adegan lengkap dalam peruntukan mengekalkan kandungan input yang lebih boleh dijangka. Tetapan alternatif yang didokumenkan menolak input terlalu panjang, bukannya memotongnya.
Dimensi vektor dan peranan pemerolehan semula
Dimensi output lalai ialah 1024, dengan 256, 512 dan 2048 dimensi turut didokumenkan bagi edisi ini. Pengumuman menerangkan embedding Matryoshka serta perwakilan titik terapung, 8 bit bertanda atau tanpa tanda dan binari. Simpan dimensi serta perwakilan terpilih bersama indeks.
Kaedah pemerolehan semula Voyage membezakan input query dan document. Pertanyaan boleh berupa teks atau imej, dan dokumen berindeks boleh menggabungkan teks serta visual. Satu vektor mewakili setiap jujukan input lengkap; simpan perkaitannya dengan halaman sumber, imej atau adegan supaya hasil berperingkat kekal boleh diperiksa.
Gunakan sumber visual yang dikembalikan
Peringkat pemerolehan semula boleh mencari halaman laporan, jadual, slaid atau adegan yang relevan kepada pertanyaan. Peringkat penulisan jawapan atau analisis kemudian membaca bahan sumber itu. Untuk jadual, periksa pengepala dan nilai sebenar sebelum menggunakan hasil; untuk adegan, periksa bingkai relevan dan teks berkaitan.
Perbezaan substantif daripada voyage-multimodal-3 ialah sokongan video yang jelas dan pilihan perwakilan tambahan edisi 3.5. Ini keupayaan embedding untuk mencari bahan sumber, dengan vektor berangka sebagai output, bukannya imej, video atau jawapan naratif terjana.
Ailoot Ultra · Pembenaman POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Pengenalan
Voyage AI voyage-multimodal-3.5 menghasilkan embedding teks, imej dan bingkai video dalam ruang pemerolehan semula bersama. Ia mengendalikan kandungan berselang-seli seperti tangkapan skrin dokumen, jadual dan adegan, dengan input 32,000 token dan perwakilan lalai 1024 dimensi.
- Input yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Pembenaman POST /v1/embeddings
- Input
text,token_ids- Output
embedding- Konteks
- 32,000 tokens
- Format output
- json
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had voyageai/voyage-multimodal-3.5 | Lalai— |
Medaninput | Jenisstring|string[]|integer[]|integer[][] | KeperluanDiperlukan | Nilai & had Item minimum: 1 Syarat: Kelompok homogen yang tidak kosong. ID token ialah integer bukan negatif. Bajet input: Maksimum: 32,000 · Unit teks: bait UTF8 · Unit token: elemen tatasusunan token | Lalai— |
Medanencoding_format | Jenisstring | KeperluanPilihan | Nilai & had float | Lalaifloat |
Medandimensions | Jenisinteger | KeperluanTidak disokong | Nilai & had Minimum: 1 | Lalai— |
Medanuser | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medansession_id | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medantrace | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak | Lalai— |
Gabungan bahan input
text_to_embedding
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak32000 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Kitar hayat: synchronous_json
Simpan setiap indeks dan dimensi vektor.
Nama model multimodal tidak bermakna objek imej dibenarkan pada laluan khusus ini.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Kadar standard Apabila mod pantas dipilih
- Mod flex
- Kadar standard Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Kadar standard Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.00024 / 1K token Output · Token output $0 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Pembenaman
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Pembenaman
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan setiap vektor bersama indeksnya. Bilangan vektor mesti sama dengan bilangan input; dimensi mesti konsisten.
Jika respons asal perlu disemak
Tiada titik akhir tugas pembenaman diperkenalkan.
Medan respons
| Medan | Jenis |
|---|---|
Medanobject | Jenisstring |
Medanmodel | Jenisstring |
Medandata[].index | Jenisinteger |
Medandata[].embedding | Jenisfinite float[] |
Medanusage | Jenisobject |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Alias
Alias model
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Apakah input dan hasil yang tersedia?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Apakah medan yang digunakan oleh permintaan?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Apakah had yang terpakai?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(bait UTF8);input.min_items:1