VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 membuat embedding teks, gambar, dan bingkai video dalam ruang temu kembali bersama. Model menangani konten berselang-seling seperti tangkapan layar dokumen, tabel, dan adegan, dengan masukan 32.000 token serta representasi bawaan 1024 dimensi.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
voyage-multimodal-3.5 adalah model embedding Voyage AI untuk temu kembali lintas teks, gambar, dan video. Model memproses teks serta konten visual berselang-seling melalui satu encoder transformer, merepresentasikan masukan multimodal lengkap dalam ruang vektor bersama. Edisi 3.5 menambahkan dukungan bingkai video secara eksplisit dan dimensi embedding yang fleksibel.
Pertahankan hubungan antara teks dan visual
Siapkan halaman atau bagian dokumen dalam bentuk yang mempertahankan informasi visual bergunanya. Slide berisi grafik dan penjelasan singkat dapat direpresentasikan dengan gambar slide serta teks pendamping dalam masukan berurutan yang sama. Untuk koleksi berbasis PDF, masukan visual yang didokumentasikan adalah tangkapan layar halaman atau representasi gambar lain dari dokumen.
Untuk grafik laporan, pertahankan judul, label sumbu, dan legenda dalam gambar. Lampirkan teks penjelasan ketika memberikan konteks yang dibutuhkan untuk menafsirkan visual. Simpan nomor halaman dan pengenal sumber di samping vektor hasil agar kandidat yang ditemukan dapat membuka halaman relevan, bukan sekadar mengembalikan nama dokumen.
Format masukan pembuat mendukung urutan teks, gambar, dan video. Format gambar yang diterbitkan adalah PNG, JPEG, WebP, dan GIF, serta MP4 untuk video. Konten visual dapat direpresentasikan melalui URL atau data Base64 dalam resep yang didokumentasikan; gunakan satu gaya representasi secara konsisten dalam satu permintaan.
Temukan adegan, bukan seluruh video panjang
Model merepresentasikan video sebagai urutan bingkai yang berurutan. Pembuat menyarankan pembagian video panjang menjadi adegan terkait, menyelaraskan batas adegan dengan cap waktu transkrip yang tersedia, dan menyimpan teks transkrip terkait. Resolusi lebih rendah atau laju bingkai yang dikurangi dapat membantu adegan yang berkesinambungan secara semantik muat dalam jatah konteksnya.
Untuk koleksi video pelatihan, kueri dapat meminta adegan yang menunjukkan penyesuaian kendali tertentu. Kaitkan setiap adegan terindeks dengan rentang waktunya. Kembalikan adegan yang cocok dan periksa bingkai atau klip asli untuk tindakan sebenarnya, bukan memperlakukan vektor yang ditemukan sebagai deskripsi tertulis tentang segala hal dalam rekaman.
Teks transkrip dapat berkontribusi ketika disiapkan sebagai bagian dari masukan multimodal. Embedding bingkai video sendiri tidak memberikan transkrip ucapan.
Batas konteks dan persiapan
Panjang konteks yang dinyatakan adalah 32.000 token per masukan. Voyage menghitung setiap 560 piksel gambar dan setiap 1120 piksel video sebagai satu token dalam penghitungan yang diterbitkan, sehingga konten visual berbagi jatah dengan teks. Batas yang didokumentasikan juga mencakup 16 juta piksel dan 20 MB per gambar, serta 20 MB per video. Satu daftar memuat paling banyak 1000 masukan dan total gabungan 320.000 token.
Pengaturan pemotongan bawaan memangkas masukan terlalu panjang; jika batasnya jatuh di dalam gambar, seluruh gambar dibuang. Karena itu, menyiapkan halaman atau adegan lengkap dalam jatah mempertahankan konten masukan yang lebih dapat diprediksi. Pengaturan alternatif yang didokumentasikan menolak masukan terlalu panjang alih-alih memotongnya.
Dimensi vektor dan peran temu kembali
Dimensi keluaran bawaan adalah 1024, dengan 256, 512, dan 2048 dimensi juga didokumentasikan untuk edisi ini. Pengumuman menjelaskan embedding Matryoshka serta representasi floating-point, 8 bit bertanda atau tanpa tanda, dan biner. Simpan dimensi serta representasi yang dipilih bersama indeks.
Resep temu kembali Voyage membedakan masukan query dan document. Kueri dapat berupa teks atau gambar, sementara dokumen terindeks dapat menggabungkan teks dan visual. Satu vektor merepresentasikan setiap urutan masukan lengkap; simpan hubungannya dengan halaman sumber, gambar, atau adegan agar hasil berperingkat tetap dapat diperiksa.
Gunakan sumber visual yang dikembalikan
Tahap temu kembali dapat menemukan halaman laporan, tabel, slide, atau adegan yang relevan dengan kueri. Tahap penulisan jawaban atau analisis kemudian membaca materi sumber tersebut. Untuk tabel, periksa header dan nilai sebenarnya sebelum menggunakan hasil; untuk adegan, periksa bingkai yang relevan dan teks terkait.
Perbedaan utama dari voyage-multimodal-3 adalah dukungan video eksplisit dan pilihan representasi tambahan edisi 3.5. Ini adalah kemampuan embedding untuk menemukan materi sumber, dengan vektor numerik sebagai keluaran, bukan gambar, video, atau jawaban naratif yang dihasilkan.
Ailoot Ultra · Embedding POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5Mulai
Voyage AI voyage-multimodal-3.5 membuat embedding teks, gambar, dan bingkai video dalam ruang temu kembali bersama. Model menangani konten berselang-seling seperti tangkapan layar dokumen, tabel, dan adegan, dengan masukan 32.000 token serta representasi bawaan 1024 dimensi.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Konteks
- 32.000 tokens
- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan voyageai/voyage-multimodal-3.5 | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 32.000 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak32000 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tarif standar Saat mode fast dipilih
- Mode Flex
- Tarif standar Saat mode flex dipilih
- Upaya penalaran maksimum
- Tarif standar Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00024 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra voyageai/voyage-multimodal-3.5
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(byte UTF8);input.min_items:1