Intfloat: E5-Large-v2
intfloat E5-Large-v2 inglizcha so‘rovlar va parchalarni 1024 o‘lchamli vektorlarga kodlaydi. Uning 24 qatlamli modeli qidiruv, semantik o‘xshashlik va raqamli matn xususiyatlari uchun query/passage rollari, o‘rtacha pooling va 512 tokenli kirish chegarasidan foydalanadi.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
E5-Large-v2 — intfloat’ning 1024 o‘lchamli chiqishga ega yigirma to‘rt qatlamli inglizcha matn embedding modeli. U so‘rov va parchalarni qidiruv hamda boshqa embedding vazifalari uchun raqamli ifodalashga mo‘ljallangan. E5 tayyorlash qoidasi uning o‘qitilishining bir qismi: kirish matnida rol prefiksi bo‘ladi va kodlangan token ifodalari shu matn uchun bitta vektorga birlashtiriladi.
So‘rov va parcha rollarini ochiq ko‘rsating
Asimmetrik qidiruvda savolni “query:” bilan, korpus matnini “passage:” bilan boshlang. Bu rollar foydalanuvchi izlayotgan narsani unga javob berishi mumkin bo‘lgan materialdan ajratadi. Simmetrik taqqoslash, qayta ifodalarni qidirish, klasterlash yoki tasniflash xususiyatlari uchun ishlab chiqaruvchi embedding qilinayotgan matnlarda “query:”ni tavsiya qiladi.
Amaliy to‘plam inglizcha qo‘llab-quvvatlash izohlarini indekslashi mumkin. “query: What should I check before replacing the connector?” kabi savol tayyorlang va uni tekshiruvlar hamda istisnolarni tavsiflovchi manba parchalari bilan juftlang. Parcha matni o‘z tegishli prefiksini saqlaydi. Natija foydalanuvchi o‘qishi kerak bo‘lgan materialni qaytara olishi uchun har bir vektor yonida manba identifikatori va asl ifodani saqlang.
Prefikslar vazifaning bir tomonidan olib tashlanadigan bezak yorliqlari emas. Ishlab chiqaruvchi ularni tashlash qidiruv sifatini pasaytirishini aytadi, chunki model shu tayyorlash bilan o‘qitilgan. Korpusni yaratishda va keyin so‘rov embeddingini olishda tanlangan rolni izchil qo‘llang.
O‘rtacha pooling va normallangan vektorlar
Rasmiy kodlash misoli diqqat niqobi yordamida to‘ldiruvchi pozitsiyalarni chiqarib tashlab, token ifodalarining o‘rtachasini oladi. So‘ng natijaviy vektorni normallaydi. Normallangan so‘rov va parcha vektorlari skalyar ko‘paytmasi nomzodlarni tartiblash uchun kosinus o‘xshashligini beradi. Bu o‘rtacha pooling usuli E5-Large-v2 ga tegishli; boshqa oiladagi birinchi token pooling usuli alohida tayyorlash tanlovidir.
1024 ta chiqish qiymati embeddingni tashkil qiladi; ular yozma javob yoki bevosita toifa yorlig‘i emas. Qidiruv bosqichi bu qiymatlarni mos korpus ifodalari bilan taqqoslaydi, keyingi bosqich esa tanlangan parcha matnidan foydalanadi. Vektorlar klasterlash yoki tasniflagich xususiyatlari bo‘lsa, har bir vektorning u xususiyatlarini ifodalayotgan kirish yozuvi bilan bog‘liqligini saqlang.
Oyna ichidagi inglizcha matn
Model kartasi faqat inglizcha matnni va uzun kirishlarni ko‘pi bilan 512 tokengacha kesishni belgilaydi. Har hujjat parchasi shu oyna ichida, jumladan rol prefiksi va foydali manba konteksti bilan, izchil bo‘lsin. Uzun qo‘llanmani alohida topilganda sarlavha, shart va ko‘rsatmalari tushuniladigan qismlar sifatida tayyorlash kerak.
Masalan, sozlamani tasvirlovchi bandga shu sozlama ta’rifi va keyingi gapdagi istisno kerak bo‘lishi mumkin. Faqat belgilar soniga qarab bo‘lish o‘rniga, shu kichik birlikni birga saqlang. Yangilanish to‘g‘ri materialni almashtirishi uchun asosiy hujjat va manba versiyasini parcha bilan saqlang.
Reytingni qidiruv dalili sifatida o‘qing
Ishlab chiqaruvchi kosinus ballari tartibi ularning mutlaq qiymatidan muhimroq ekanini tushuntiradi. Ballni parcha savolga javob berishining kalibrlangan ehtimoli deb talqin qilmaslik kerak. Nechta natijani saqlash yoki nomzodlar to‘plamini qayerda filtrlashni tanlashda javob borligi ma’lum parchalar va ularga yaqin aloqasiz materiallarni tekshiring.
Foydali chiqish — korpus yoki so‘rov ifodasi, semantik taqqoslash signali yoki boshqa vazifa uchun raqamli xususiyatlar. Aynan shu inglizcha Large v2 checkpointi E5-Base-v2 va Multilingual-E5-Large’dan alohida qoladi. O‘lchamlar tengligining o‘zi ularning vektorlarini hujjatlashtirilgan yagona embedding makoniga aylantirmaydi.
Ailoot Ultra · Embeddinglar POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2Boshlash
intfloat E5-Large-v2 inglizcha so‘rovlar va parchalarni 1024 o‘lchamli vektorlarga kodlaydi. Uning 24 qatlamli modeli qidiruv, semantik o‘xshashlik va raqamli matn xususiyatlari uchun query/passage rollari, o‘rtacha pooling va 512 tokenli kirish chegarasidan foydalanadi.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar intfloat/e5-large-v2 | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari512 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Ko‘rsatilmagan Tezkor rejim tanlanganda
- Flex rejimi
- Ko‘rsatilmagan flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00002 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra intfloat/e5-large-v2
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · Intfloat: E5-Large-v2
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(UTF8 baytlari);input.min_items:1