Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large ko‘p tilli matnni 24 qatlamli model yordamida 1024 o‘lchamli vektorlarga kodlaydi. U XLM-R’ning yuz tillik qamrovini qo‘llaydi, har bir til uchun inglizcha query/passage prefikslaridan foydalanadi va kirishni 512 tokenda kesadi.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
Multilingual-E5-Large — intfloat’ning yigirma to‘rt qatlamli, 1024 o‘lchamli chiqishga ega ko‘p tilli zich matn embedding modeli. U XLM-RoBERTa Large asosida boshlang‘ich holatga keltirilgan va ko‘p tilli ma’lumotlarda yana o‘qitilgan. Model kartasi XLM-R’ning yuz tillik qamrovini qo‘llashni tavsiflaydi, shu bilan birga resursi kam tillarda natija zaifroq ekanini qayd etadi. Uning vektorlari matnni qidirib topish, semantik taqqoslash va raqamli xususiyatlar vazifalari uchun ifodalaydi.
Har bir tilda kirish rolini saqlang
O‘qitilgan prefikslar “query:” va “passage:”, jumladan inglizcha bo‘lmagan matn uchun ham. Qidiruv so‘rovi va korpusdagi parchalari tegishli rollardan foydalanadi. Prefikslar aynan shu inglizcha satrlar bo‘lib qoladi, manba ifodasi esa o‘z tilini saqlaydi. Simmetrik semantik o‘xshashlik, qayta ifodalarni qidirish, ikki tilli matn juftlarini ajratish yoki xususiyat sifatida foydalanish uchun ishlab chiqaruvchi “query:”ni tavsiya qiladi.
Amaliy to‘plam bir nechta qo‘llanadigan tildagi hujjatlarni saqlashi mumkin. Har parchaning tili, asl matni va manba joylashuvini vektori bilan saqlang. Bitta inglizcha sinov butun to‘plamni ifodalaydi deb taxmin qilish o‘rniga, auditoriyaning haqiqiy qidiruv savollarini tayyorlang. O‘quvchi mazmunni baholay olishi uchun chiqish haqiqiy parcha va kontekstini qaytarishi kerak.
Ko‘p tilli moslashtirish vazifasida taqqoslash maqsadini aniq saqlang. Nomzod tarjimalar jufti va tasdiqlovchi parcha izlayotgan so‘rov turlicha tayyorgarlikdir. Modelning rol prefiksi bo‘yicha yo‘riqnomasi shu vazifalar uchun aniq qoida beradi; prefiksni tashlash hujjatlashtirilgan teng usul emas, chunki o‘qitishda ishlatilgan kirish andozasini o‘zgartiradi.
Pooling va vektorlarni taqqoslash
Ishlab chiqaruvchi misoli to‘ldiruvchi tokenlarni chiqarib tashlash uchun diqqat niqobidan foydalanib token ifodalarining o‘rtachasini oladi, so‘ng vektorni normallaydi. Normallangan skalyar ko‘paytmalar kosinus o‘xshashligini beradi. 1024 o‘lchamli massiv bitta tayyorlangan matnni ifodalaydi. Keyingi so‘rovlar mos ifodadan foydalanishi uchun saqlangan vektorlar bilan aynan model va tayyorlash usulini ham saqlang.
Bu vektorlar keyingi klasterlash yoki tasniflash bosqichi uchun nomzodlar reytingi yoki xususiyatlarni berishi mumkin. Ular manbani tarjima qilmaydi va javob tuzmaydi. Qidiruv natijasi o‘quvchi yoki keyingi RAG yaratish bosqichini qo‘llab-quvvatlashi kerak bo‘lsa, asosdagi parcha matnini qaytaring.
O‘qitish va tillar qamrovi
Model kartasi zaif nazoratli kontrastiv dastlabki o‘qitish va undan keyingi nazoratli nozik sozlashni hujjatlashtiradi. Ko‘p tilli tayyorgarlikka sarlavha–parcha juftlari, suhbat juftlari va tarjima juftlari kabi materiallar kiradi; keyingi bosqichni yorliqli qidiruv va tilni tushunish ma’lumotlari ta’minlaydi. Bu mo‘ljallangan matn ifodalash vazifalarini tushuntiradi, ammo har bir tilda teng natijani isbotlamaydi.
Ishlab chiqaruvchi resursi kam tillarda sifat pasayishini cheklov sifatida ochiq belgilaydi. To‘plamdagi haqiqiy tillar va ifodalarni, jumladan qisqartmalar, nomlar va maxsus lug‘atni tekshiring. Ko‘p tilli yorlig‘i foydali qamrov tavsifi; qaytgan matn dolzarbligi baribir auditoriya va vazifa uchun tekshirilishi kerak.
Uzunlik va foydali natijalar
Uzun kirish ko‘pi bilan 512 tokengacha kesiladi. Uzun hujjatni rol prefiksi va tegishli sarlavhalar kiritilgan izchil parchalarga tayyorlang. Ta’riflar, shartlar va cheklovlarni ular ta’sir qiladigan bayonot yonida saqlang; asosiy hujjat identifikatori va manba versiyasini vektordan tashqarida saqlang.
Ishlab chiqaruvchi mutlaq qiymatni universal ishonch o‘lchovi deb bilish o‘rniga, kosinus ballarining nisbiy tartibiga e’tibor qaratishni tavsiya qiladi. Foydali natija — nomzod parchalar to‘plami, taqqoslanadigan matn ifodalari yoki dastlabki yozuvlariga bog‘langan xususiyatlar. Boshqa model ham 1024 qiymat qaytarsa-da, aynan bu model faqat inglizcha E5 v2 checkpointlari va ko‘rsatmaga moslab sozlangan E5 variantlaridan alohida qoladi.
Ailoot Ultra · Embeddinglar POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeBoshlash
intfloat Multilingual-E5-Large ko‘p tilli matnni 24 qatlamli model yordamida 1024 o‘lchamli vektorlarga kodlaydi. U XLM-R’ning yuz tillik qamrovini qo‘llaydi, har bir til uchun inglizcha query/passage prefikslaridan foydalanadi va kirishni 512 tokenda kesadi.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Kontekst
- 512 tokens
- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar intfloat/multilingual-e5-large | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari512 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Standart tarif Tezkor rejim tanlanganda
- Flex rejimi
- Standart tarif flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Standart tarif Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00002 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra intfloat/multilingual-e5-large
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · Intfloat: Multilingual-E5-Large
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8 baytlari);input.min_items:1