Intfloat: E5-Large-v2

intfloat E5-Large-v2 ағылшын тіліндегі сұраулар мен үзінділерді 1024 өлшемді векторларға кодтайды. Оның 24 қабатты моделі іздеу, семантикалық ұқсастық және мәтіннің сандық белгілері үшін query/passage рөлдерін, орташа пулингті және 512 токендік кіріс лимитін қолданады.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings intfloat/e5-large-v2

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

E5-Large-v2 — intfloat компаниясының жиырма төрт қабатты, 1024 өлшемді шығысы бар ағылшын мәтінінің эмбеддинг моделі. Ол іздеу және басқа эмбеддинг тапсырмалары үшін сұраулар мен үзінділерді сандық түрде бейнелеуге арналған. E5 дайындау келісімі оның оқытуының бөлігі: кіріс мәтінінде рөл префиксі болады, ал кодталған токен көріністері сол мәтінге арналған бір векторға пулинг арқылы біріктіріледі.

Сұрау мен үзінді рөлдерін анық сақтаңыз

Асимметриялық іздеу үшін сұрақты “query:” префиксімен, корпус мәтінін “passage:” префиксімен бастаңыз. Бұл рөлдер пайдаланушы іздеген нәрсені оған жауап бере алатын материалдан ажыратады. Симметриялық салыстыру, парафраза іздеу, кластерлеу немесе жіктеу белгілері үшін өндіруші эмбеддинг жасалатын мәтіндерге “query:” ұсынады.

Практикалық жинақ ағылшын тіліндегі қолдау түсіндірмелерін индекстей алады. “query: What should I check before replacing the connector?” сияқты сұрақ дайындап, оны тексерулер мен ерекшеліктерді сипаттайтын бастапқы үзінділермен жұптаңыз. Үзінді мәтіні тиісті префиксін сақтайды. Нәтиже пайдаланушы оқуы керек материалды қайтара алуы үшін әр вектордың жанында дереккөз идентификаторын және бастапқы тұжырымын сақтаңыз.

Префикстер тапсырманың бір жағынан алып тасталатын сәндік белгілер емес. Өндіруші оларды алып тастау іздеу сапасын төмендететінін айтады, өйткені модель осындай дайындықпен оқытылған. Корпус құрғанда және кейін сұрау эмбеддингін жасағанда таңдалған рөлді бірізді қолданыңыз.

Орташа пулинг және нормаланған векторлар

Ресми кодтау мысалы зейін маскасымен толтыру позицияларын алып тастап, токен көріністерін орташалайды. Содан кейін алынған векторды нормалайды. Нормаланған сұрау мен үзінді векторларының скалярлық көбейтіндісі кандидаттарды реттеуге арналған косинустық ұқсастық береді. Бұл орташа пулинг тәсілі E5-Large-v2 моделіне тиесілі; басқа отбасының бірінші токен пулингі тәсілі — бөлек дайындау таңдауы.

1024 шығыс мәні жазбаша жауап немесе тікелей санат белгісін емес, эмбеддингті құрайды. Іздеу кезеңі осы мәндерді корпустың үйлесімді көріністерімен салыстырады, ал кейінгі кезең таңдалған үзінді мәтінін қолданады. Векторлар кластерлеу не жіктеуіш белгілері болса, әр вектордың өзі бейнелейтін белгілерге тиесілі кіріс жазбасымен байланысын сақтаңыз.

Терезе ішіндегі ағылшын мәтіні

Модель картасы тек ағылшын мәтінін және ұзын кірістерді ең көбі 512 токенге дейін қысқартуды көрсетеді. Рөл префиксі мен пайдалы дереккөз контекстін қоса, әр құжат үзіндісін осы терезеде тұтас ұстаңыз. Ұзын нұсқаулық бөлек алынғанда да тақырыптары, шарттары және нұсқаулары түсінікті бөлімдер ретінде дайындалуы тиіс.

Мысалы, баптауды сипаттайтын тармаққа сол баптаудың анықтамасы және келесі сөйлемдегі ерекшелік қажет болуы мүмкін. Тек таңба саны бойынша бөлмей, осы шағын бірлікті бірге сақтаңыз. Жаңарту дұрыс материалды алмастыруы үшін үзіндімен бірге негізгі құжат пен дереккөз нұсқасын ұстаңыз.

Ретті іздеу дәлелі ретінде оқыңыз

Өндіруші косинустық бағалардың реті олардың абсолютті мәндерінен маңыздырақ екенін түсіндіреді. Бағаны үзінді сұраққа жауап береді деген калибрленген ықтималдық ретінде түсіндіруге болмайды. Қанша нәтижені сақтау не кандидаттар жиынын қай жерде сүзу керегін таңдағанда, жауабы бар белгілі үзінділерді және жақын, бірақ қатысы жоқ материалды тексеріңіз.

Пайдалы шығыс — корпус немесе сұрау көрінісі, семантикалық салыстыру сигналы немесе басқа тапсырмаға арналған сандық белгілер. Осы нақты ағылшын тіліндегі Large v2 бақылау нүктесі E5-Base-v2 және Multilingual-E5-Large модельдерінен бөлек болып қалады. Өлшемдердің сәйкес келуі ғана олардың векторларын құжатталған ортақ эмбеддинг кеңістігі етпейді.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings intfloat/e5-large-v2

intfloat/e5-large-v2

Intfloat /intfloat/e5-large-v2

Бастау

Қабылданатын кіріс деректері: Мәтін · token_ids
Нәтижелер: embedding

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings

Кіріс: text, token_ids
Шығыс: embedding
Шығыс пішімі: json

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер intfloat/e5-large-v2	Әдепкі—
Өріс`input`	Түрі`string\|string[]\|integer[]\|integer[][]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 512 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері	Әдепкі—
Өріс`encoding_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер float	Әдепкіfloat
Өріс`dimensions`	Түрі`integer`	ТалапҚолдау көрсетілмейді	Мәндер мен шектеулер Ең азы: 1	Әдепкі—
Өріс`user`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`session_id`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`trace`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: provider.options қабылданбайды	Әдепкі—

Кіріс материалдарының үйлесімдері

text_to_embedding

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input
Параметр`input_shapes`	Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Параметр`encoding_format`	Параметр талаптарыfloat
Параметр`dimensions_override`	Параметр талаптарыfalse
Параметр`max_input_budget_units`	Параметр талаптары512
Параметр`multimodal_objects`	Параметр талаптарыfalse
Параметр`material_types`	Параметр талаптарыtext, token_ids

Өмірлік цикл: synchronous_json

Әрбір вектордың индексін және өлшемін сақтаңыз.

Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Баптау	Мөлшерлемелер кестесі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Төлем Кіріс · Кіріс токендері $0.00002 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Эмбеддингтер

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Нәтижелерді алу және сақтау

Ailoot Ultra · Эмбеддингтер

json

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.

Бастапқы жауапты тексеру қажет болса

Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.

Жауап өрістері

Өріс	Түрі
Өріс`object`	Түріstring
Өріс`model`	Түріstring
Өріс`data[].index`	Түріinteger
Өріс`data[].embedding`	Түріfinite float[]
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra intfloat/e5-large-v2

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

intfloat/e5-large-v2

FAQ · Intfloat: E5-Large-v2

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/embeddings · intfloat/e5-large-v2: text, token_ids → embedding
Сұрау қандай өрістерді пайдаланады?: POST /v1/embeddings · intfloat/e5-large-v2: model, input, encoding_format, provider
Қандай шектеулер қолданылады?: POST /v1/embeddings · intfloat/e5-large-v2: input.budget.maximum: 512 (UTF8 байттары); input.min_items: 1

Intfloat: E5-Large-v2