VoyageAI by MongoDB: voyage-4-large
voyage-4-large هو نموذج تضمين النصوص ببنية مزيج الخبراء من Voyage AI للاسترجاع العام والمتعدد اللغات. تشترك متجهاته في فضاء عائلة Voyage 4، ما يتيح البحث في تضمينات المجموعة المنشأة باستخدام Large بواسطة تضمينات استعلام متوافقة من نماذج العائلة الأخرى.
عن النموذج
يغطي هذا الوصف قدرات النموذج. وترد أدناه المدخلات والمخرجات والخيارات المتاحة في Ailoot للطريقة المحددة.
voyage-4-large هو نموذج التضمين النصي الرائد لدى Voyage AI ضمن عائلة Voyage 4. يمثّل المقاطع المصدرية والاستعلامات كمتجهات عددية للاسترجاع العام ومتعدد اللغات. وميزتاه المميّزتان تصميم نموذج قائم على خليط الخبراء، وفضاء التضمين المشترك الذي تستخدمه voyage-4-large وvoyage-4 وvoyage-4-lite وvoyage-4-nano.
فضاء مشترك: اختيارات منفصلة للمجموعة والاستعلام
تصف الشركة الاسترجاع غير المتماثل: يمكن تضمين المستندات باستخدام voyage-4-large، بينما يجهّز نموذج آخر من عائلة Voyage 4 متجهات الاستعلام. فمثلًا، يمكن البحث في مجموعة ممثلة باستخدام Large باستعلامات voyage-4. يتيح ذلك اختيارات نموذج مختلفة لطرفَي البحث مع البقاء في الفضاء المتوافق الموثّق.
لذلك يمكن لمجموعة عملية استخدام Large لإعداد مقاطع مستندات مستقرة، واختيار نموذج جانب الاستعلام بصورة مستقلة. تُضمَّن المستندات عند إنشاء المجموعة أو تحديثها، بينما تُحوَّل الاستعلامات إلى متجهات أثناء بحث المستخدمين. يصف إعلان العائلة تغيير نموذج الاستعلام داخل العائلة المتوافقة من دون إعادة تحويل مجموعة المستندات إلى متجهات بسبب ذلك التغيير وحده. حافظ على تطابق أبعاد المتجهات المقارَنة وعلى تمثيلات يستطيع نظام البحث تفسيرها معًا.
تصميم التضمين بخليط الخبراء
تعالج طبقة التغذية الأمامية الكثيفة كل رمز عبر كامل مجموعة معلماتها. أما نهج MoE الموصوف لـvoyage-4-large فيستخدم موجّهًا وشبكات خبراء للتغذية الأمامية، ويختار الخبراء الذين يعالجون كل رمز. يفصل ذلك السعة الإجمالية للنموذج عن المعلمات النشطة لرمز معين. وتذكر Voyage نسبة تفعيل تبلغ 1/10 لتصميم MoE في النموذج، باستخدام توجيه top-k.
يصف الشرح التقني للمنتج أيضًا خيارين في التطوير. تؤثر سعة الخبراء في ما إذا كانت الرموز الزائدة تتجاوز طبقة خبير عبر مسار متبقٍ؛ وقد اختار الفريق أكبر معامل سعة ممكن لتجنب فقدان جودة الاسترجاع. وفي مرحلة التدريب الأخيرة، تُجمَّد معلمات الموجّه قبل دمج النماذج، حتى لا يغيّر الاستيفاء بين النماذج المصدرية مسار اختيار الخبراء المتعلَّم. هذه خصائص إعداد النموذج، وهي منفصلة عن إعدادات طول النص أو اقتطاعه المستخدمة عند تجهيز الإدخال.
الأبعاد وتمثيل الإخراج
يحدّد جدول النماذج الرسمي نافذة سياق بطول 32,000 رمز، وتضمينات قابلة للاختيار بأبعاد 256 و512 و1024 و2048، مع 1024 كقيمة افتراضية. تستخدم العائلة تعلم Matryoshka لأحجام التمثيل المتداخلة، وتدعم خيارات التكميم: فاصلة عائمة 32 بت، وأعدادًا صحيحة 8 بت بإشارة أو بلا إشارة، وإخراجًا ثنائيًا معبّأً.
في الإخراج الثنائي، يكون طول قائمة البايتات المُرجعة ثُمن البُعد المختار، لأن كل بايت يحتوي ثمانية بتات تضمين. احتفظ بخيارات البُعد ونوع البيانات مع الفهرس، واستخدم طريقة مقارنة تدعم هذا التمثيل. يغيّر المتجه الأصغر أو المضغوط التمثيل المستخدم للبحث؛ لذا قيّم المقاطع ذات الصلة المُرجعة لأسئلة فعلية قبل اختياره للمجموعة.
جهّز مدخلات المستند والاستعلام
توصي Voyage باستخدام دور document لمقاطع المجموعة ودور query لعبارات البحث. يضيف خيار الدور لديها تعليمة الاسترجاع المقابلة قبل التضمين. حافظ على عنوان المقطع المفيد وشروطه وموقع مصدره، ثم خزّن المتجه المُرجع مع النص الأصلي ومعرّف ثابت.
لمجموعة معرفة تقنية، ينبغي أن يقود السؤال عن نمط فشل إلى المقطع الذي يصف هذا النمط وشروطه ذات الصلة. ولمجموعة مستندات تتوزع على لغات، احتفظ بلغة المصدر وقيّم الأسئلة والمصطلحات التي سيبحث بها المستخدمون. يشمل الإصدار مواد استرجاع من المستندات التقنية والمحادثات والمستندات الطويلة والشيفرة والقانون والتمويل ونصوص الويب. يحدّد التضمين المواد المرشحة؛ وتستخدم مرحلة لاحقة لإعادة الترتيب أو الإجابة النص الأصلي.
حدود السياق والتجميع والاقتطاع
يسمح دليل المنتج الحالي بما يصل إلى 1,000 سلسلة نصية و120,000 رمز إدخال إجمالي في طلب voyage-4-large واحد. يختلف ذلك عن حد التجميع المذكور لـvoyage-4، بينما يملك كلاهما نافذة بطول 32,000 رمز لكل نص. يختصر الاقتطاع الافتراضي الإدخال الأطول من الحد ليلائم النافذة؛ ويؤدي تعطيل الاقتطاع إلى إرجاع خطأ للنص الزائد الطول.
اختر حدود المقاطع الحاملة للإجابة بعناية، حتى لا يفقد المصدر الطويل قيدًا مهمًا في نهاية مقتطعة. حافظ على ارتباط المصدر عند إرجاع نتائج البحث، وافحص النص المرشح الفعلي بدلًا من اعتبار تقارب المتجهات تحققًا من محتواه. ينطبق توافق الفضاء المشترك على عائلة Voyage 4 النصية الموثّقة؛ وتبقى معالجة الأجزاء مع سياقها، وتضمينات الصور والفيديو، وإصدارات النماذج اللاحقة مسارات خاصة بكل نموذج.
Ailoot Ultra · التضمينات POST /v1/embeddings voyageai/voyage-4-large
voyageai/voyage-4-largeالبداية
voyage-4-large هو نموذج تضمين النصوص ببنية مزيج الخبراء من Voyage AI للاسترجاع العام والمتعدد اللغات. تشترك متجهاته في فضاء عائلة Voyage 4، ما يتيح البحث في تضمينات المجموعة المنشأة باستخدام Large بواسطة تضمينات استعلام متوافقة من نماذج العائلة الأخرى.
- المدخلات المقبولة
- النص · token_ids
- النتائج
- embedding
متاح في Ailoot · المدخلات والطرائق
Ailoot Ultra · التضمينات POST /v1/embeddings
- الإدخال
text,token_ids- الإخراج
embedding- السياق
- 32,000 tokens
- صيغة الإخراج
- json
| الحقل | النوع | المتطلب | القيم والحدود | القيمة الافتراضية |
|---|---|---|---|---|
الحقلmodel | النوعstring | المتطلبمطلوب | القيم والحدود voyageai/voyage-4-large | القيمة الافتراضية— |
الحقلinput | النوعstring|string[]|integer[]|integer[][] | المتطلبمطلوب | القيم والحدود الحد الأدنى للعناصر: 1 الشروط: دفعة متجانسة غير فارغة. معرّفات التوكنات أعداد صحيحة غير سالبة. سعة الإدخال: الحد الأقصى: 32,000 · وحدة النص: بايتات UTF8 · وحدة الرموز: عناصر مصفوفة الرموز | القيمة الافتراضية— |
الحقلencoding_format | النوعstring | المتطلباختياري | القيم والحدود float | القيمة الافتراضيةfloat |
الحقلdimensions | النوعinteger | المتطلبغير مدعوم | القيم والحدود الحد الأدنى: 1 | القيمة الافتراضية— |
الحقلuser | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلsession_id | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلtrace | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلprovider | النوعobject | المتطلباختياري | القيم والحدود الشروط: تم رفض provider.options | القيمة الافتراضية— |
تركيبات مواد الإدخال
text_to_embedding
معلمات الطريقة ودورة حياتها
| المعلمة | المواصفات |
|---|---|
المعلمةcontent_type | المواصفاتapplication/json |
المعلمةrequired | المواصفاتmodel, input |
المعلمةinput_shapes | المواصفاتstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
المعلمةencoding_format | المواصفاتfloat |
المعلمةdimensions_override | المواصفاتfalse |
المعلمةmax_input_budget_units | المواصفات32000 |
المعلمةmultimodal_objects | المواصفاتfalse |
المعلمةmaterial_types | المواصفاتtext, token_ids |
دورة الحياة: synchronous_json
احتفظ بفهرس كل متجه وبُعده.
اسم النموذج متعدد الوسائط لا يتيح استخدام كائنات الصور على هذا المسار المحدد.
الباقات
مراجع التسعير لا تضيف خيارات للطلب. المعلمات المدعومة مذكورة للطريقة المحددة.
- الوضع السريع
- التعرفة القياسية عند اختيار الوضع السريع
- الوضع المرن
- التعرفة القياسية عند اختيار وضع flex
- أقصى جهد للاستدلال
- التعرفة القياسية عندما يُطبَّق الضبط الافتراضي default مع أقصى جهد للاستدلال
تعرفات Ailoot
الأسعار حسب الإعدادات
| الإعدادات | جدول التعرفة | الرسوم |
|---|---|---|
| الإعداداتالتعرفات الأساسية للرموز | جدول التعرفةالتعرفة الأساسية | الرسوم الإدخال · رموز الإدخال $0.00024 / 1K من الرموز الإخراج · رموز الإخراج $0 / 1K من الرموز الإدخال · قراءة ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت، 1 ساعة — / 1K من الرموز |
تحجز Ailoot مبلغًا تقديريًا قبل الطلب. وبعد ظهور النتيجة، تُسوّي الرسوم النهائية بناءً على الاستخدام المقاس. وتستخدم تسوية البث سجل الاستخدام النهائي. كيفية عمل حجز المبلغ وتسوية الرسوم →
أمثلة للطلبات
Ailoot Ultra · التضمينات
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-4-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-4-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
استلام النتائج وحفظها
Ailoot Ultra · التضمينات
json
الاحتفاظ بكل النتائج المكتملة
احتفظ بكل استجابة كاملة وكل ملف وجزء محتوى تم إرجاعه.
احتفظ بكل متجه مع فهرسه. يجب أن يساوي عدد المتجهات عدد المدخلات، وأن تكون الأبعاد متسقة.
عند الحاجة إلى التحقق من الاستجابة الأصلية
لا تُستحدث نقطة نهاية لمهام التضمين.
حقول الاستجابة
| الحقل | النوع |
|---|---|
الحقلobject | النوعstring |
الحقلmodel | النوعstring |
الحقلdata[].index | النوعinteger |
الحقلdata[].embedding | النوعfinite float[] |
الحقلusage | النوعobject |
الأخطاء والخطوات التالية
| الاستجابة | الشرط | الخطوة التالية |
|---|---|---|
الاستجابة400 · invalid_request_error | الشرطحقول مطلوبة أو تمثيل مادة أو قيمة معلمة غير صحيحة | الخطوة التاليةصحّح الحقول المحددة قبل طلب إنشاء جديد. |
الأسماء البديلة
الأسماء البديلة للنموذج
Ailoot Ultra voyageai/voyage-4-large
الأسماء البديلة لمسارات الطرائق
استخدم مسارات الطرائق المعروضة أعلاه.
معرّفات النماذج ذات الصلة IDs
FAQ · VoyageAI by MongoDB: voyage-4-large
- ما المدخلات والنتائج المتاحة؟
POST /v1/embeddings·voyageai/voyage-4-large:text,token_ids→embedding- ما الحقول التي يستخدمها الطلب؟
POST /v1/embeddings·voyageai/voyage-4-large:model,input,encoding_format,provider- ما الحدود المطبقة؟
POST /v1/embeddings·voyageai/voyage-4-large:ctx:32000;input.budget.maximum:32000(بايتات UTF8);input.min_items:1