Intfloat: Multilingual-E5-Large
يرمّز intfloat Multilingual-E5-Large النص متعدد اللغات إلى متجهات ذات 1024 بُعدًا باستخدام نموذج من 24 طبقة. يدعم نطاق المئة لغة في XLM-R، ويستخدم بادئتي query/passage بالإنجليزية لجميع اللغات، ويقتطع المدخلات عند 512 رمزًا.
عن النموذج
يغطي هذا الوصف قدرات النموذج. وترد أدناه المدخلات والمخرجات والخيارات المتاحة في Ailoot للطريقة المحددة.
Multilingual-E5-Large هو نموذج intfloat متعدد اللغات للتضمين النصي الكثيف، ويتكون من أربع وعشرين طبقة ويُنتج متجهًا ذا 1024 بُعدًا. جرى تهيئته انطلاقًا من XLM-RoBERTa Large ثم تدريبه إضافيًا على بيانات متعددة اللغات. تصف بطاقة النموذج دعمه لنطاق المئة لغة في XLM-R، مع الإشارة إلى أداء أضعف للغات قليلة الموارد. تمثّل متجهاته النص لأغراض الاسترجاع والمقارنة الدلالية ومهام السمات العددية.
حافظ على دور المدخل في كل لغة
البادئتان اللتان تدرّب عليهما النموذج هما “query:” و“passage:”، بما في ذلك النصوص غير الإنجليزية. يستخدم استعلام الاسترجاع ومقاطع المتن دور كل منهما المقابل. تبقى البادئتان هاتين السلسلتين الإنجليزيتين، بينما تحتفظ الصياغة المصدرية بلغتها. وللتشابه الدلالي المتماثل أو استرجاع إعادة الصياغة أو تنقيب النصوص الثنائية اللغة أو استخدام السمات، توصي الجهة المصنّعة بـ“query:”.
يمكن لمجموعة عملية أن تضم توثيقًا بعدة لغات مدعومة. احتفظ بلغة كل مقطع ونصه الأصلي وموضعه المصدري مع متجهه. جهّز أسئلة بحث حقيقية من الجمهور بدلًا من افتراض أن اختبارًا إنجليزيًا واحدًا يمثّل المجموعة كلها. ينبغي أن تعيد النتيجة المقطع الفعلي وسياقه حتى يتمكن القارئ من تقييم ما يقوله.
في مهمة مطابقة متعددة اللغات، أبقِ غرض المقارنة واضحًا. فزوج ترجمتين مرشح والمطالبة التي تبحث عن مقطع داعم يحتاجان إلى إعدادين مختلفين. توفّر إرشادات بادئات الأدوار في النموذج اصطلاحًا ملموسًا لهذه المهام؛ ولا يُعد حذف البادئة مكافئًا موثّقًا لأنه يغيّر نمط المدخل المستخدم في التدريب.
التجميع ومقارنة المتجهات
يحسب مثال الجهة المصنّعة متوسط تمثيلات الرموز باستخدام قناع انتباه لاستبعاد الحشو، ثم يطبّع المتجه. تعطي النواتج النقطية للمتجهات المطبّعة تشابه جيب التمام. تمثّل المصفوفة ذات 1024 بُعدًا نصًا واحدًا مُعدًّا. احتفظ بربط النموذج الدقيق والإعداد بالمتجهات المخزّنة حتى تستخدم الاستعلامات اللاحقة التمثيل المطابق.
يمكن لهذه المتجهات توفير ترتيب للمرشحين أو سمات لمرحلة لاحقة من التجميع العنقودي أو التصنيف. وهي لا تترجم المصدر ولا تؤلّف إجابة. أعد نص المقطع الأصلي عندما يكون الغرض من نتيجة الاسترجاع دعم قارئ أو مرحلة توليد لاحقة ضمن RAG.
التدريب وتغطية اللغات
توثّق بطاقة النموذج تدريبًا مسبقًا تقابليًا بإشراف ضعيف، يليه ضبط دقيق بإشراف. يتضمن الإعداد متعدد اللغات مواد مثل أزواج العنوان والمقطع، وأزواج المحادثات، وأزواج الترجمات، بينما توفّر بيانات الاسترجاع وفهم اللغة الموسومة المرحلة اللاحقة. يفسّر ذلك مهام تمثيل النص المقصودة دون إثبات أداء متساوٍ في كل لغة.
تحدد الجهة المصنّعة صراحةً تراجع الأداء في اللغات قليلة الموارد بوصفه قيدًا. افحص اللغات والصياغات الفعلية في المجموعة، بما في ذلك الاختصارات والأسماء والمفردات المتخصصة. يُعد وصف «متعدد اللغات» بيانًا مفيدًا للنطاق؛ لكن صلة النص المُعاد ما تزال بحاجة إلى التقييم وفق الجمهور والمهمة.
الطول والنتائج المفيدة
تُقتطع المدخلات الطويلة إلى 512 رمزًا كحد أقصى. جهّز المستند الطويل في مقاطع مترابطة تتضمن بادئة الدور والعناوين ذات الصلة. حافظ على التعريفات والتحفظات بجوار العبارة التي تؤثر فيها، واحتفظ بمعرّف المستند الأصل وإصدار المصدر خارج المتجه.
توصي الجهة المصنّعة بالتركيز على الترتيب النسبي لدرجات تشابه جيب التمام بدلًا من التعامل مع قيمة مطلقة بوصفها مقياس ثقة عامًا. النتيجة المفيدة مجموعة مقاطع مرشحة أو تمثيلات نصية قابلة للمقارنة أو سمات مرتبطة بسجلاتها الأصلية. يظل هذا النموذج المحدد منفصلًا عن نقاط تحقق E5 v2 الإنجليزية فقط وعن إصدارات E5 المضبوطة بالتعليمات، حتى لو أعاد نموذج آخر أيضًا 1024 قيمة.
Ailoot Ultra · التضمينات POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeالبداية
يرمّز intfloat Multilingual-E5-Large النص متعدد اللغات إلى متجهات ذات 1024 بُعدًا باستخدام نموذج من 24 طبقة. يدعم نطاق المئة لغة في XLM-R، ويستخدم بادئتي query/passage بالإنجليزية لجميع اللغات، ويقتطع المدخلات عند 512 رمزًا.
- المدخلات المقبولة
- النص · token_ids
- النتائج
- embedding
متاح في Ailoot · المدخلات والطرائق
Ailoot Ultra · التضمينات POST /v1/embeddings
- الإدخال
text,token_ids- الإخراج
embedding- السياق
- 512 tokens
- صيغة الإخراج
- json
| الحقل | النوع | المتطلب | القيم والحدود | القيمة الافتراضية |
|---|---|---|---|---|
الحقلmodel | النوعstring | المتطلبمطلوب | القيم والحدود intfloat/multilingual-e5-large | القيمة الافتراضية— |
الحقلinput | النوعstring|string[]|integer[]|integer[][] | المتطلبمطلوب | القيم والحدود الحد الأدنى للعناصر: 1 الشروط: دفعة متجانسة غير فارغة. معرّفات التوكنات أعداد صحيحة غير سالبة. سعة الإدخال: الحد الأقصى: 512 · وحدة النص: بايتات UTF8 · وحدة الرموز: عناصر مصفوفة الرموز | القيمة الافتراضية— |
الحقلencoding_format | النوعstring | المتطلباختياري | القيم والحدود float | القيمة الافتراضيةfloat |
الحقلdimensions | النوعinteger | المتطلبغير مدعوم | القيم والحدود الحد الأدنى: 1 | القيمة الافتراضية— |
الحقلuser | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلsession_id | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلtrace | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلprovider | النوعobject | المتطلباختياري | القيم والحدود الشروط: تم رفض provider.options | القيمة الافتراضية— |
تركيبات مواد الإدخال
text_to_embedding
معلمات الطريقة ودورة حياتها
| المعلمة | المواصفات |
|---|---|
المعلمةcontent_type | المواصفاتapplication/json |
المعلمةrequired | المواصفاتmodel, input |
المعلمةinput_shapes | المواصفاتstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
المعلمةencoding_format | المواصفاتfloat |
المعلمةdimensions_override | المواصفاتfalse |
المعلمةmax_input_budget_units | المواصفات512 |
المعلمةmultimodal_objects | المواصفاتfalse |
المعلمةmaterial_types | المواصفاتtext, token_ids |
دورة الحياة: synchronous_json
احتفظ بفهرس كل متجه وبُعده.
اسم النموذج متعدد الوسائط لا يتيح استخدام كائنات الصور على هذا المسار المحدد.
الباقات
مراجع التسعير لا تضيف خيارات للطلب. المعلمات المدعومة مذكورة للطريقة المحددة.
- الوضع السريع
- التعرفة القياسية عند اختيار الوضع السريع
- الوضع المرن
- التعرفة القياسية عند اختيار وضع flex
- أقصى جهد للاستدلال
- التعرفة القياسية عندما يُطبَّق الضبط الافتراضي default مع أقصى جهد للاستدلال
تعرفات Ailoot
الأسعار حسب الإعدادات
| الإعدادات | جدول التعرفة | الرسوم |
|---|---|---|
| الإعداداتالتعرفات الأساسية للرموز | جدول التعرفةالتعرفة الأساسية | الرسوم الإدخال · رموز الإدخال $0.00002 / 1K من الرموز الإخراج · رموز الإخراج $0 / 1K من الرموز الإدخال · قراءة ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت، 1 ساعة — / 1K من الرموز |
تحجز Ailoot مبلغًا تقديريًا قبل الطلب. وبعد ظهور النتيجة، تُسوّي الرسوم النهائية بناءً على الاستخدام المقاس. وتستخدم تسوية البث سجل الاستخدام النهائي. كيفية عمل حجز المبلغ وتسوية الرسوم →
أمثلة للطلبات
Ailoot Ultra · التضمينات
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
استلام النتائج وحفظها
Ailoot Ultra · التضمينات
json
الاحتفاظ بكل النتائج المكتملة
احتفظ بكل استجابة كاملة وكل ملف وجزء محتوى تم إرجاعه.
احتفظ بكل متجه مع فهرسه. يجب أن يساوي عدد المتجهات عدد المدخلات، وأن تكون الأبعاد متسقة.
عند الحاجة إلى التحقق من الاستجابة الأصلية
لا تُستحدث نقطة نهاية لمهام التضمين.
حقول الاستجابة
| الحقل | النوع |
|---|---|
الحقلobject | النوعstring |
الحقلmodel | النوعstring |
الحقلdata[].index | النوعinteger |
الحقلdata[].embedding | النوعfinite float[] |
الحقلusage | النوعobject |
الأخطاء والخطوات التالية
| الاستجابة | الشرط | الخطوة التالية |
|---|---|---|
الاستجابة400 · invalid_request_error | الشرطحقول مطلوبة أو تمثيل مادة أو قيمة معلمة غير صحيحة | الخطوة التاليةصحّح الحقول المحددة قبل طلب إنشاء جديد. |
الأسماء البديلة
الأسماء البديلة للنموذج
Ailoot Ultra intfloat/multilingual-e5-large
الأسماء البديلة لمسارات الطرائق
استخدم مسارات الطرائق المعروضة أعلاه.
معرّفات النماذج ذات الصلة IDs
FAQ · Intfloat: Multilingual-E5-Large
- ما المدخلات والنتائج المتاحة؟
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- ما الحقول التي يستخدمها الطلب؟
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- ما الحدود المطبقة؟
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(بايتات UTF8);input.min_items:1