VoyageAI by MongoDB: voyage-multimodal-3.5
يحوّل Voyage AI voyage-multimodal-3.5 النصوص والصور وإطارات الفيديو إلى تضمينات ضمن فضاء مشترك للاسترجاع. ويتعامل مع محتوى متداخل، مثل لقطات صفحات المستندات والجداول والمشاهد، بمدخلات تبلغ 32,000 رمز وتمثيل افتراضي من 1024 بُعدًا.
عن النموذج
يغطي هذا الوصف قدرات النموذج. وترد أدناه المدخلات والمخرجات والخيارات المتاحة في Ailoot للطريقة المحددة.
voyage-multimodal-3.5 هو نموذج التضمين من Voyage AI للاسترجاع عبر النصوص والصور والفيديو. يعالج النص والمحتوى المرئي المتداخلين من خلال مُرمِّز واحد قائم على المحوّلات، ويمثّل المدخل المتعدد الوسائط الكامل في فضاء متجهات مشترك. ويضيف إصدار 3.5 دعمًا صريحًا لإطارات الفيديو وأبعاد تضمين مرنة.
حافظ على العلاقة بين النص والعناصر المرئية
جهّز صفحة المستند أو قسمه بالشكل الذي يحافظ على معلوماته المرئية المفيدة. يمكن تمثيل شريحة تحتوي على مخطط وشرح قصير باستخدام صورة الشريحة والنص المصاحب ضمن المدخل المرتّب نفسه. وبالنسبة إلى مجموعة مبنية على ملفات PDF، يكون المدخل المرئي الموثّق لقطة للصفحة أو تمثيلًا صوريًا آخر للمستند.
في مخطط تقرير، احتفظ بالعنوان وتسميات المحاور ومفتاح الرسم داخل الصورة. وأرفق نصًا توضيحيًا عندما يوفّر السياق اللازم لفهم العنصر المرئي. خزّن رقم الصفحة ومعرّف المصدر بجانب المتجه الناتج، حتى يتيح المرشّح المسترجع فتح الصفحة ذات الصلة بدلًا من إرجاع اسم المستند فقط.
يدعم تنسيق مدخلات الشركة المصنّعة تسلسلات من النصوص والصور ومقاطع الفيديو. وتنسيقات الصور المنشورة هي PNG وJPEG وWebP وGIF، مع MP4 للفيديو. يمكن تمثيل المحتوى المرئي بروابط URL أو بيانات Base64 وفق الطريقة الموثّقة؛ حافظ على أسلوب تمثيل واحد بصورة متسقة داخل الطلب.
استرجع مشهدًا بدلًا من فيديو طويل كامل
يمثّل النموذج الفيديو كتسلسل مرتّب من الإطارات. توصي الشركة المصنّعة بتقسيم الفيديو الطويل إلى مشاهد مترابطة، ومواءمة حدود المشاهد مع الطوابع الزمنية المتاحة للنص المفرّغ، والاحتفاظ بالنص المفرّغ المقابل. ويمكن أن تساعد الدقة الأقل أو معدل الإطارات المنخفض على إدراج مشهد متصل دلاليًا ضمن ميزانية سياقه.
في مجموعة فيديوهات تدريبية، قد يطلب الاستعلام المشهد الذي يوضّح ضبط أداة تحكم معيّنة. اربط كل مشهد مفهرس بنطاقه الزمني. أرجع المشهد المطابق وافحص الإطارات أو المقطع الأصلي للتحقق من الإجراء الفعلي، بدلًا من اعتبار المتجه المسترجع وصفًا مكتوبًا لكل ما في التسجيل.
يمكن للنص المفرّغ أن يسهم عندما يُجهَّز بوصفه جزءًا من المدخل المتعدد الوسائط. أما تضمين إطارات الفيديو نفسه فلا يوفّر تفريغًا للكلام.
حدود السياق والتجهيز
طول السياق المعلن هو 32,000 رمز لكل مدخل. وتحتسب Voyage كل 560 بكسلًا من الصور وكل 1120 بكسلًا من الفيديو رمزًا واحدًا في حسابها المنشور، لذا يشارك المحتوى المرئي النصَّ في هذه الميزانية. وتشمل الحدود الموثّقة أيضًا 16 مليون بكسل و20 MB لكل صورة، و20 MB لكل فيديو. وتضم القائمة 1000 مدخل كحد أقصى، بإجمالي 320,000 رمز.
يقص إعداد الاقتطاع الافتراضي المدخل الذي يتجاوز الطول؛ وإذا وقع هذا الحد داخل صورة، تُستبعد الصورة بأكملها. لذلك يتيح تجهيز صفحات أو مشاهد كاملة ضمن الميزانية محتوى مدخلات أكثر قابلية للتوقع. ويرفض الإعداد البديل الموثّق المدخلات التي تتجاوز الطول بدلًا من اقتطاعها.
أبعاد المتجهات وأدوار الاسترجاع
بُعد المخرجات الافتراضي هو 1024، وتوثَّق لهذا الإصدار أيضًا أبعاد 256 و512 و2048. ويصف الإعلان تضمينات Matryoshka وتمثيلات بالفاصلة العائمة وبقيم 8 بت مع إشارة أو من دونها، وتمثيلات ثنائية. احتفظ بالبُعد والتمثيل المختارين مع الفهرس.
تميّز طريقة الاسترجاع لدى Voyage بين مدخلات الاستعلام والمستند. ويمكن أن يكون الاستعلام نصًا أو صورة، ويمكن للمستندات المفهرسة أن تجمع النص والعناصر المرئية. ويمثّل متجه واحد كل تسلسل مدخل كامل؛ خزّن ارتباطه بصفحة المصدر أو صورته أو مشهده، حتى تظل النتيجة المرتّبة قابلة للفحص.
استخدم المصدر المرئي المُعاد
يمكن لمرحلة الاسترجاع تحديد صفحة تقرير أو جدول أو شريحة أو مشهد ذي صلة بالاستعلام. ثم تقرأ مرحلة كتابة الإجابة أو التحليل تلك المادة المصدرية. بالنسبة إلى جدول، افحص العناوين والقيم الفعلية قبل استخدام النتيجة؛ وبالنسبة إلى مشهد، افحص الإطارات ذات الصلة والنص المرتبط بها.
يتمثّل الفرق الجوهري عن voyage-multimodal-3 في دعم الفيديو الصريح في إصدار 3.5 وخيارات التمثيل الإضافية. وهذه قدرات تضمين لتحديد موضع المادة المصدرية، وتكون مخرجاتها متجهات رقمية بدلًا من صور أو فيديو أو إجابة سردية مولّدة.
Ailoot Ultra · التضمينات POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5البداية
يحوّل Voyage AI voyage-multimodal-3.5 النصوص والصور وإطارات الفيديو إلى تضمينات ضمن فضاء مشترك للاسترجاع. ويتعامل مع محتوى متداخل، مثل لقطات صفحات المستندات والجداول والمشاهد، بمدخلات تبلغ 32,000 رمز وتمثيل افتراضي من 1024 بُعدًا.
- المدخلات المقبولة
- النص · token_ids
- النتائج
- embedding
متاح في Ailoot · المدخلات والطرائق
Ailoot Ultra · التضمينات POST /v1/embeddings
- الإدخال
text,token_ids- الإخراج
embedding- السياق
- 32,000 tokens
- صيغة الإخراج
- json
| الحقل | النوع | المتطلب | القيم والحدود | القيمة الافتراضية |
|---|---|---|---|---|
الحقلmodel | النوعstring | المتطلبمطلوب | القيم والحدود voyageai/voyage-multimodal-3.5 | القيمة الافتراضية— |
الحقلinput | النوعstring|string[]|integer[]|integer[][] | المتطلبمطلوب | القيم والحدود الحد الأدنى للعناصر: 1 الشروط: دفعة متجانسة غير فارغة. معرّفات التوكنات أعداد صحيحة غير سالبة. سعة الإدخال: الحد الأقصى: 32,000 · وحدة النص: بايتات UTF8 · وحدة الرموز: عناصر مصفوفة الرموز | القيمة الافتراضية— |
الحقلencoding_format | النوعstring | المتطلباختياري | القيم والحدود float | القيمة الافتراضيةfloat |
الحقلdimensions | النوعinteger | المتطلبغير مدعوم | القيم والحدود الحد الأدنى: 1 | القيمة الافتراضية— |
الحقلuser | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلsession_id | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلtrace | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلprovider | النوعobject | المتطلباختياري | القيم والحدود الشروط: تم رفض provider.options | القيمة الافتراضية— |
تركيبات مواد الإدخال
text_to_embedding
معلمات الطريقة ودورة حياتها
| المعلمة | المواصفات |
|---|---|
المعلمةcontent_type | المواصفاتapplication/json |
المعلمةrequired | المواصفاتmodel, input |
المعلمةinput_shapes | المواصفاتstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
المعلمةencoding_format | المواصفاتfloat |
المعلمةdimensions_override | المواصفاتfalse |
المعلمةmax_input_budget_units | المواصفات32000 |
المعلمةmultimodal_objects | المواصفاتfalse |
المعلمةmaterial_types | المواصفاتtext, token_ids |
دورة الحياة: synchronous_json
احتفظ بفهرس كل متجه وبُعده.
اسم النموذج متعدد الوسائط لا يتيح استخدام كائنات الصور على هذا المسار المحدد.
الباقات
مراجع التسعير لا تضيف خيارات للطلب. المعلمات المدعومة مذكورة للطريقة المحددة.
- الوضع السريع
- التعرفة القياسية عند اختيار الوضع السريع
- الوضع المرن
- التعرفة القياسية عند اختيار وضع flex
- أقصى جهد للاستدلال
- التعرفة القياسية عندما يُطبَّق الضبط الافتراضي default مع أقصى جهد للاستدلال
تعرفات Ailoot
الأسعار حسب الإعدادات
| الإعدادات | جدول التعرفة | الرسوم |
|---|---|---|
| الإعداداتالتعرفات الأساسية للرموز | جدول التعرفةالتعرفة الأساسية | الرسوم الإدخال · رموز الإدخال $0.00024 / 1K من الرموز الإخراج · رموز الإخراج $0 / 1K من الرموز الإدخال · قراءة ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت، 1 ساعة — / 1K من الرموز |
تحجز Ailoot مبلغًا تقديريًا قبل الطلب. وبعد ظهور النتيجة، تُسوّي الرسوم النهائية بناءً على الاستخدام المقاس. وتستخدم تسوية البث سجل الاستخدام النهائي. كيفية عمل حجز المبلغ وتسوية الرسوم →
أمثلة للطلبات
Ailoot Ultra · التضمينات
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
استلام النتائج وحفظها
Ailoot Ultra · التضمينات
json
الاحتفاظ بكل النتائج المكتملة
احتفظ بكل استجابة كاملة وكل ملف وجزء محتوى تم إرجاعه.
احتفظ بكل متجه مع فهرسه. يجب أن يساوي عدد المتجهات عدد المدخلات، وأن تكون الأبعاد متسقة.
عند الحاجة إلى التحقق من الاستجابة الأصلية
لا تُستحدث نقطة نهاية لمهام التضمين.
حقول الاستجابة
| الحقل | النوع |
|---|---|
الحقلobject | النوعstring |
الحقلmodel | النوعstring |
الحقلdata[].index | النوعinteger |
الحقلdata[].embedding | النوعfinite float[] |
الحقلusage | النوعobject |
الأخطاء والخطوات التالية
| الاستجابة | الشرط | الخطوة التالية |
|---|---|---|
الاستجابة400 · invalid_request_error | الشرطحقول مطلوبة أو تمثيل مادة أو قيمة معلمة غير صحيحة | الخطوة التاليةصحّح الحقول المحددة قبل طلب إنشاء جديد. |
الأسماء البديلة
الأسماء البديلة للنموذج
Ailoot Ultra voyageai/voyage-multimodal-3.5
الأسماء البديلة لمسارات الطرائق
استخدم مسارات الطرائق المعروضة أعلاه.
معرّفات النماذج ذات الصلة IDs
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- ما المدخلات والنتائج المتاحة؟
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- ما الحقول التي يستخدمها الطلب؟
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- ما الحدود المطبقة؟
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(بايتات UTF8);input.min_items:1