Intfloat: E5-Base-v2

intfloat E5-Base-v2 inglizcha matnni 12 qatlamli enkoder bilan 768 oʻlchamli embedding’larga aylantiradi. Soʻrov/parcha prefikslari va 512 tokenli oyna uning qidiruv, qayta ifodalangan matnlarni solishtirish, guruhlash va matn xususiyatlari uchun tayyorlanishini belgilaydi.

Ailoot Ultra · Embeddinglar POST /v1/embeddings intfloat/e5-base-v2

Model haqida

Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.

E5-Base-v2 — intfloat’ning 768 o‘lchamli ifodaga ega o‘n ikki qatlamli inglizcha embedding modeli. U tayyorlangan matnni qidiruv, semantik taqqoslash yoki boshqa vazifada xususiyat sifatida ishlatish uchun bitta raqamli vektorga aylantiradi. Base v2 checkpointi yigirma to‘rt qatlamli, 1024 o‘lchamli Large v2 nashridan va alohida o‘qitilgan ko‘p tilli E5 modellaridan farq qiladi.

O‘qitishda ishlatilgan rol prefikslaridan foydalaning

E5 kirish boshida rol bo‘lishini kutadi. Parchalarni qidirishda savol “query:” bilan, javob bo‘lishi mumkin bo‘lgan manba esa “passage:” bilan boshlanadi. Ishlab chiqaruvchi semantik o‘xshashlik va qayta ifodalarni qidirish kabi simmetrik vazifalarda ikkala tomon uchun “query:”ni tavsiya qiladi. Vektorlar klasterlash yoki tasniflash xususiyatlari bo‘lsa ham shu prefiks tavsiya etiladi.

Masalan, fikr-mulohazalar to‘plamida bir xil yaxshilanish uchun turlicha ifodalangan bir nechta so‘rov bo‘lishi mumkin. Bu yozuvlarni tavsiya qilingan simmetrik usulda kodlang, so‘ng natijaviy vektorlarni taqqoslang yoki klasterlang. Klaster izohsiz sonlar guruhi emas, haqiqiy mijoz xabarlari sifatida tekshirilishi uchun har bir ifoda bilan asl matn va yozuv identifikatorini saqlang.

Qidiruv to‘plamida savollar va manba parchalarini tegishli rollarda tayyorlang. Foydali so‘rov: “query: Which setting changes the notification frequency?” Korpus parchasi tushuntirish va tegishli shartlarni saqlaydi. Prefiks model o‘qitilgan tayyorlash usulining bir qismi; ishlab chiqaruvchi uni tashlash sifatni pasaytirishini qayd etadi.

Ifodani birlashtirish va taqqoslash

Rasmiy misol to‘ldiruvchi tokenlarni chiqarib tashlab, diqqat niqobini hisobga olgan holda token ifodalarining o‘rtachasini hisoblaydi, keyin natijaviy vektorni normallaydi. Normallangan embeddinglar skalyar ko‘paytmasi kosinus o‘xshashligini beradi. 768 ta chiqish qiymati bitta matnni tasvirlaydi; ular javob, sinf yorlig‘i yoki juftliklarni qayta reytinglovchi model balli emas.

Klasterlash jarayonida boshqa bosqich shu vektorlardan guruhlar tuzadi. Tasniflash jarayonida boshqa bosqich ularni kirish xususiyatlari sifatida ishlatadi. Bu farqni saqlash natijani tushunishni osonlashtiradi: embedding yozuvni ifodalaydi, keyingi vazifa esa guruh yoki yorliqni belgilaydi. Taqqoslanayotgan ifodalar uchun bitta model va tayyorlash qoidasidan izchil foydalaning.

Ingliz tili va 512 token doirasida ishlang

Model kartasida bu nashr faqat inglizcha uchun ishlashi va uzun matnni ko‘pi bilan 512 tokengacha kesishi aytiladi. Shu oraliqda, kerakli rol prefiksi bilan birga, izchil parchalar tayyorlang. Uzun sharh, hisobot yoki qo‘llanmani oxiri yo‘qoladigan haddan katta kirish sifatida embedding qilish o‘rniga mazmunli qismlarga bo‘lish kerak.

Sarlavhani u boshlaydigan gaplar bilan saqlang; qoida ma’nosini o‘zgartiradigan shart yoki istisnoni saqlang. Fikr-mulohaza kabi qisqa yozuvlarda, sig‘sa, butun xabarni qoldiring. Vektor yonidagi manba identifikatori va versiya keyingi to‘plam yangilanishida to‘g‘ri yozuvni almashtirish imkonini beradi.

O‘xshashlikni vazifaga qarab talqin qiling

Ishlab chiqaruvchi kosinus ballarining nisbiy tartibi mutlaq qiymatdan muhimroq ekanini tushuntiradi. Filtrlash chegarasini to‘plamning o‘z misollarida baholash kerak; vektor o‘xshashligi mos yorliq yoki to‘g‘ri javobning kalibrlangan ehtimoli emas. Vektorlar qanday ishlatilishini belgilashda yaqin yozuvlar va ma’lum nomosliklarni tekshiring.

Foydali natija — inglizcha qidiruv indeksi, semantik taqqoslash to‘plami yoki manba yozuvlariga juftlangan raqamli matn xususiyatlari. Base v2 profilining o‘z o‘lchamlari, pooling va rol tayyorlash usuli bor; boshqa E5 nashrining vektor shakli yoki til qamrovi o‘zaro almashtiriladigan ifodani isbotlamaydi.

Ailoot Ultra · Embeddinglar POST /v1/embeddings intfloat/e5-base-v2

intfloat/e5-base-v2

Intfloat /intfloat/e5-base-v2

Boshlash

Qabul qilinadigan kirish ma’lumotlari: Matn · token_ids
Natijalar: embedding

Ailoot da mavjud · kirish ma’lumotlari va usullar

Ailoot Ultra · Embeddinglar POST /v1/embeddings

Kirish: text, token_ids
Chiqish: embedding
Chiqish formati: json

Maydon	Tur	Talab	Qiymatlar va cheklovlar	Standart
Maydon`model`	Tur`string`	TalabMajburiy	Qiymatlar va cheklovlar intfloat/e5-base-v2	Standart—
Maydon`input`	Tur`string\|string[]\|integer[]\|integer[][]`	TalabMajburiy	Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari	Standart—
Maydon`encoding_format`	Tur`string`	TalabIxtiyoriy	Qiymatlar va cheklovlar float	Standartfloat
Maydon`dimensions`	Tur`integer`	TalabQo‘llab-quvvatlanmaydi	Qiymatlar va cheklovlar Eng kam: 1	Standart—
Maydon`user`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`session_id`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`trace`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`provider`	Tur`object`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: provider.options rad etildi	Standart—

Kirish materiallari birikmalari

text_to_embedding

Usul parametrlari va hayot sikli

Parametr	Parametr talablari
Parametr`content_type`	Parametr talablariapplication/json
Parametr`required`	Parametr talablarimodel, input
Parametr`input_shapes`	Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Parametr`encoding_format`	Parametr talablarifloat
Parametr`dimensions_override`	Parametr talablarifalse
Parametr`max_input_budget_units`	Parametr talablari512
Parametr`multimodal_objects`	Parametr talablarifalse
Parametr`material_types`	Parametr talablaritext, token_ids

Hayot sikli: synchronous_json

Har bir vektorning indeksi va o‘lchamini saqlang.

Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.

Tariflar

Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.

Tezkor rejim: Ko‘rsatilmagan Tezkor rejim tanlanganda
Flex rejimi: Ko‘rsatilmagan flex rejimi tanlanganda
Maksimal fikrlash darajasi: Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda

Ailoot tariflari

Sozlamalar bo‘yicha narxlar

Sozlama	Tariflar jadvali	To‘lov
SozlamaTokenlar uchun bazaviy tariflar	Tariflar jadvaliAsosiy tarif	To‘lov Kirish · Kirish tokenlari $0.00001 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token

Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →

So‘rov namunalari

Ailoot Ultra · Embeddinglar

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Natijalarni olish va saqlash

Ailoot Ultra · Embeddinglar

json

Barcha tayyor natijalarni saqlash

Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.

Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.

Asl javobni tekshirish kerak bo‘lsa

Embedding vazifalari uchun endpoint qo‘shilmaydi.

Javob maydonlari

Maydon	Tur
Maydon`object`	Turstring
Maydon`model`	Turstring
Maydon`data[].index`	Turinteger
Maydon`data[].embedding`	Turfinite float[]
Maydon`usage`	Turobject

Xatolar va keyingi qadamlar

Javob	Shart	Keyingi qadam
Javob400 · `invalid_request_error`	ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri	Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating.

Taxalluslar

Model taxalluslari

Ailoot Ultra intfloat/e5-base-v2

Usul yo‘llari taxalluslari

Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.

Chaqirish uchun tegishli ID lar

intfloat/e5-base-v2

FAQ · Intfloat: E5-Base-v2

Qanday kirish ma’lumotlari va natijalar mavjud?: POST /v1/embeddings · intfloat/e5-base-v2: text, token_ids → embedding
So‘rov qaysi maydonlardan foydalanadi?: POST /v1/embeddings · intfloat/e5-base-v2: model, input, encoding_format, provider
Qanday cheklovlar amal qiladi?: POST /v1/embeddings · intfloat/e5-base-v2: input.budget.maximum: 512 (UTF8 baytlari); input.min_items: 1

Intfloat: E5-Base-v2