Thenlper: GTE-Base
يُنشئ Alibaba DAMO Academy GTE-base تضمينات للنص الإنجليزي في متجهات من 768 بُعدًا للاسترجاع والتشابه الدلالي. ويستخدم هذا النموذج تحديدًا التجميع بالمتوسط، ويدعم تسلسلات حتى 512 رمزًا، ويوثّق مقارنة بأسلوب جيب التمام مع تطبيع اختياري.
عن النموذج
يغطي هذا الوصف قدرات النموذج. وترد أدناه المدخلات والمخرجات والخيارات المتاحة في Ailoot للطريقة المحددة.
GTE-base هو نموذج General Text Embeddings بحجم Base الذي درّبته Alibaba DAMO Academy. ويعتمد مُرمِّز النص الإنجليزي هذا أساسًا على إطار BERT، وينتج متجهات كثيفة من 768 بُعدًا. ويستخدم تدريبه مجموعة كبيرة من أزواج النصوص المرتبطة عبر مجالات مختلفة، ومن التطبيقات المعلنة استرجاع المعلومات والتشابه الدلالي للنصوص وإعادة ترتيب النصوص القائمة على التضمينات.
جهّز استعلامات ومقاطع باللغة الإنجليزية
استخدم نصًا إنجليزيًا قابلًا للقراءة لكل من الحاجة إلى المعلومات والمادة المطلوب البحث فيها. مثلًا، يمكن مقارنة استعلام عن استبدال مكوّن مهترئ بأقسام صيانة قصيرة تصف معايير الاستبدال وخطوات الفحص وتعليمات الطلب. واحتفظ باسم المكوّن والشروط التي تميّز تلك الأقسام.
يرمّز المثال المنشور الأسئلة والنصوص المرشّحة مباشرةً، من دون إضافة تعليمات خاصة بالمهمة. حافظ على اتساق هذا التجهيز عبر المجموعة والاستعلامات اللاحقة. وخزّن المقطع الأصلي ومعرّفه بجانب المتجه، حتى تعرض النتيجة المرتّبة المعلومات التي جرى تمثيلها.
التجميع بالمتوسط والمقارنة
تحسب الطريقة المرجعية متوسط تمثيلات الرموز في النموذج باستخدام قناع الانتباه، لمنع مواضع الحشو من الإسهام في النتيجة. ثم تعرض تطبيعًا اختياريًا وفق L2، وتقارن المتجهات المطبَّعة عبر ضربها النقطي. ويستخدم مثال منفصل تشابه جيب التمام.
اختر إعدادًا متسقًا للتطبيع والمقارنة واحتفظ به للفهرسة والاسترجاع. وتحتوي المخرجات على 768 مكوّنًا رقميًا؛ ولا تتضمن إجابة مولَّدة. وفي مرحلة إعادة ترتيب المرشّحين، رمّز المقاطع المرشّحة بالنموذج نفسه ورتّبها بحسب تشابهها مع الاستعلام. ويظل هذا مقارنة قائمة على التضمينات، وليس ادعاءً بأن النموذج يقرأ كل زوج من الاستعلام والمقطع معًا بوصفه مُرمِّزًا متقاطعًا.
نطاق الإنجليزية ومدخلات 512 رمزًا
تقصر البطاقة المحددة هذا النموذج على النص الإنجليزي، وتذكر أن المدخلات الطويلة تُقتطع إلى 512 رمزًا كحد أقصى. لذلك ينبغي تحويل الدليل الطويل إلى أقسام ذات معنى قبل الفهرسة. واحتفظ بالتحذير أو الاستثناء أو القيد مع القاعدة التي يعدّلها كلما كانت تلك التفاصيل ضرورية لفهم المقطع.
في استعلام عن فترات الصيانة، يكون القسم الذي يتضمن الفترة وظرف التشغيل أنفع من جزء لا يتضمن سوى رقم. واحتفظ بالعنوان أو هوية المعدّات عندما يزيلان اللبس عن التعليمات. وتحقّق من طول التسلسل لدى المُجزِّئ إلى رموز بدلًا من الاعتماد على عدد الكلمات الظاهر.
استخدم المقاطع المصدرية التي يستند إليها التقييم
يعيد الاسترجاع مرشّحين من المجموعة المفهرسة. افحص المقاطع المتصدرة وفق المهمة المحددة، واحتفظ بمواضعها في المصادر عند تمريرها إلى مرحلة كتابة إجابة بأسلوب RAG. فقد يناقش مقطع ذو صلة الفحص من دون أن يجيز الاستبدال؛ ويجب أن يظل هذا التمييز ظاهرًا في المادة المصدرية.
يختلف GTE-base عن GTE-large الذي ينتج متجهات من 1024 بُعدًا، وعن إصدارات GTE اللاحقة المتعددة اللغات أو الموسّعة السياق. وتحدّد هويته المنشورة نطاق الإنجليزية وتمثيله ذا 768 مكوّنًا وحد 512 رمزًا. استخدم هذا الملف المحدد مع استعلامات ممثّلة وسجلات مصادر عند تقييم مجموعة استرجاع.
Ailoot Ultra · التضمينات POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseالبداية
يُنشئ Alibaba DAMO Academy GTE-base تضمينات للنص الإنجليزي في متجهات من 768 بُعدًا للاسترجاع والتشابه الدلالي. ويستخدم هذا النموذج تحديدًا التجميع بالمتوسط، ويدعم تسلسلات حتى 512 رمزًا، ويوثّق مقارنة بأسلوب جيب التمام مع تطبيع اختياري.
- المدخلات المقبولة
- النص · token_ids
- النتائج
- embedding
متاح في Ailoot · المدخلات والطرائق
Ailoot Ultra · التضمينات POST /v1/embeddings
- الإدخال
text,token_ids- الإخراج
embedding- صيغة الإخراج
- json
| الحقل | النوع | المتطلب | القيم والحدود | القيمة الافتراضية |
|---|---|---|---|---|
الحقلmodel | النوعstring | المتطلبمطلوب | القيم والحدود thenlper/gte-base | القيمة الافتراضية— |
الحقلinput | النوعstring|string[]|integer[]|integer[][] | المتطلبمطلوب | القيم والحدود الحد الأدنى للعناصر: 1 الشروط: دفعة متجانسة غير فارغة. معرّفات التوكنات أعداد صحيحة غير سالبة. سعة الإدخال: الحد الأقصى: 512 · وحدة النص: بايتات UTF8 · وحدة الرموز: عناصر مصفوفة الرموز | القيمة الافتراضية— |
الحقلencoding_format | النوعstring | المتطلباختياري | القيم والحدود float | القيمة الافتراضيةfloat |
الحقلdimensions | النوعinteger | المتطلبغير مدعوم | القيم والحدود الحد الأدنى: 1 | القيمة الافتراضية— |
الحقلuser | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلsession_id | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلtrace | النوعjson_value | المتطلباختياري | القيم والحدود الشروط: يسمح المصدر بحقل البيانات الوصفية هذا بصيغة JSON؛ ويعتمد المعنى الدقيق لدى المزوّد الأصلي على النموذج. | القيمة الافتراضية— |
الحقلprovider | النوعobject | المتطلباختياري | القيم والحدود الشروط: تم رفض provider.options | القيمة الافتراضية— |
تركيبات مواد الإدخال
text_to_embedding
معلمات الطريقة ودورة حياتها
| المعلمة | المواصفات |
|---|---|
المعلمةcontent_type | المواصفاتapplication/json |
المعلمةrequired | المواصفاتmodel, input |
المعلمةinput_shapes | المواصفاتstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
المعلمةencoding_format | المواصفاتfloat |
المعلمةdimensions_override | المواصفاتfalse |
المعلمةmax_input_budget_units | المواصفات512 |
المعلمةmultimodal_objects | المواصفاتfalse |
المعلمةmaterial_types | المواصفاتtext, token_ids |
دورة الحياة: synchronous_json
احتفظ بفهرس كل متجه وبُعده.
اسم النموذج متعدد الوسائط لا يتيح استخدام كائنات الصور على هذا المسار المحدد.
الباقات
مراجع التسعير لا تضيف خيارات للطلب. المعلمات المدعومة مذكورة للطريقة المحددة.
- الوضع السريع
- غير محدد عند اختيار الوضع السريع
- الوضع المرن
- غير محدد عند اختيار وضع flex
- أقصى جهد للاستدلال
- غير محدد عندما يُطبَّق الضبط الافتراضي default مع أقصى جهد للاستدلال
تعرفات Ailoot
الأسعار حسب الإعدادات
| الإعدادات | جدول التعرفة | الرسوم |
|---|---|---|
| الإعداداتالتعرفات الأساسية للرموز | جدول التعرفةالتعرفة الأساسية | الرسوم الإدخال · رموز الإدخال $0.00001 / 1K من الرموز الإخراج · رموز الإخراج $0 / 1K من الرموز الإدخال · قراءة ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت — / 1K من الرموز الإدخال · الكتابة إلى ذاكرة التخزين المؤقت، 1 ساعة — / 1K من الرموز |
تحجز Ailoot مبلغًا تقديريًا قبل الطلب. وبعد ظهور النتيجة، تُسوّي الرسوم النهائية بناءً على الاستخدام المقاس. وتستخدم تسوية البث سجل الاستخدام النهائي. كيفية عمل حجز المبلغ وتسوية الرسوم →
أمثلة للطلبات
Ailoot Ultra · التضمينات
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
استلام النتائج وحفظها
Ailoot Ultra · التضمينات
json
الاحتفاظ بكل النتائج المكتملة
احتفظ بكل استجابة كاملة وكل ملف وجزء محتوى تم إرجاعه.
احتفظ بكل متجه مع فهرسه. يجب أن يساوي عدد المتجهات عدد المدخلات، وأن تكون الأبعاد متسقة.
عند الحاجة إلى التحقق من الاستجابة الأصلية
لا تُستحدث نقطة نهاية لمهام التضمين.
حقول الاستجابة
| الحقل | النوع |
|---|---|
الحقلobject | النوعstring |
الحقلmodel | النوعstring |
الحقلdata[].index | النوعinteger |
الحقلdata[].embedding | النوعfinite float[] |
الحقلusage | النوعobject |
الأخطاء والخطوات التالية
| الاستجابة | الشرط | الخطوة التالية |
|---|---|---|
الاستجابة400 · invalid_request_error | الشرطحقول مطلوبة أو تمثيل مادة أو قيمة معلمة غير صحيحة | الخطوة التاليةصحّح الحقول المحددة قبل طلب إنشاء جديد. |
الأسماء البديلة
الأسماء البديلة للنموذج
Ailoot Ultra thenlper/gte-base
الأسماء البديلة لمسارات الطرائق
استخدم مسارات الطرائق المعروضة أعلاه.
معرّفات النماذج ذات الصلة IDs
FAQ · Thenlper: GTE-Base
- ما المدخلات والنتائج المتاحة؟
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- ما الحقول التي يستخدمها الطلب؟
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- ما الحدود المطبقة؟
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(بايتات UTF8);input.min_items:1