Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large көптілді мәтінді 24 қабатты модель арқылы 1024 өлшемді векторларға кодтайды. Ол XLM-R аясындағы жүз тілді қолдайды, әр тіл үшін ағылшынша query/passage префикстерін қолданады және кірістерді 512 токенге дейін қысқартады.
Модель туралы
Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.
Multilingual-E5-Large — intfloat компаниясының жиырма төрт қабатты, 1024 өлшемді шығысы бар көптілді тығыз мәтін эмбеддингі моделі. Ол XLM-RoBERTa Large негізінде инициализацияланып, көптілді деректермен әрі қарай оқытылған. Модель картасы XLM-R аясындағы жүз тілді қолдауды сипаттап, дерегі аз тілдерде сапаның төменірек екенін атап өтеді. Оның векторлары мәтінді іздеу, семантикалық салыстыру және сандық белгілерді пайдаланатын тапсырмалар үшін ұсынады.
Әр тілде кіріс рөлін сақтаңыз
Оқытылған префикстер — “query:” және “passage:”; бұл ағылшын тілінен басқа мәтінге де қатысты. Іздеу сұрауы мен оның корпусындағы үзінділер тиісті рөлдерін қолданады. Префикстер осы ағылшын жолдары болып қалады, ал бастапқы тұжырым өз тілін сақтайды. Симметриялық семантикалық ұқсастық, парафразаларды іздеу, параллель мәтіндерді іздеу немесе белгілер ретінде пайдалану үшін өндіруші “query:” ұсынады.
Практикалық жинақ бірнеше қолдау көрсетілетін тілдегі құжаттаманы қамти алады. Әр үзіндінің тілін, бастапқы мәтінін және дереккөз орнын векторымен бірге сақтаңыз. Бір ағылшынша тест бүкіл жинақты білдіреді деп болжамай, аудиторияның нақты іздеу сұрақтарын дайындаңыз. Оқырман мазмұнын бағалай алуы үшін шығыс нақты үзіндіні және оның контекстін қайтаруы керек.
Көптілді сәйкестендіру тапсырмасында салыстыру мақсатын анық ұстаңыз. Аудармалардың кандидат жұбы мен растайтын үзіндіні іздейтін сұрау әртүрлі дайындықты қажет етеді. Модельдің рөл префикстері жөніндегі нұсқауы осы тапсырмаларға нақты келісім береді; префиксті алып тастау құжатталған балама емес, өйткені ол оқытуда қолданылған кіріс үлгісін өзгертеді.
Пулинг және векторларды салыстыру
Өндіруші мысалы толтыруды алып тастау үшін зейін маскасын қолданып, токен көріністерін орташалайды, содан кейін векторды нормалайды. Нормаланған векторлардың скалярлық көбейтіндісі косинустық ұқсастық береді. 1024 өлшемді массив бір дайындалған мәтінді білдіреді. Кейінгі сұраулар сәйкес көріністі қолдануы үшін нақты модель мен дайындау тәсілін сақталған векторлармен байланыстырыңыз.
Бұл векторлар кейінгі кластерлеу не жіктеу кезеңіне кандидаттардың ретін немесе белгілерді бере алады. Олар дереккөзді аудармайды және жауап құрастырмайды. Іздеу нәтижесі оқырманды немесе кейінгі RAG генерациясы кезеңін қолдауға тиіс болса, үзіндінің бастапқы мәтінін қайтарыңыз.
Оқыту және тілдік қамту
Модель картасы әлсіз бақыланатын контрастивті алдын ала оқытудан кейін бақыланатын қосымша оқытуды құжаттайды. Көптілді дайындық тақырып–үзінді жұптары, әңгіме жұптары және аударма жұптары сияқты материалды қамтиды, ал таңбаланған іздеу және тілді түсіну деректері кейінгі кезеңді қамтамасыз етеді. Бұл көзделген мәтін көрінісі тапсырмаларын түсіндіреді, бірақ әр тілде бірдей сапаны бекітпейді.
Өндіруші дерегі аз тілдердегі сапаның төмендеуін шектеу ретінде нақты атайды. Жинақтағы нақты тілдер мен тұжырымдарды, соның ішінде қысқартуларды, атауларды және арнайы сөздікті тексеріңіз. Көптілді белгі — ауқымның пайдалы сипаттамасы; қайтарылған мәтіннің аудитория мен тапсырмаға сәйкестігін бәрібір тексеру керек.
Ұзындық және пайдалы нәтижелер
Ұзын кіріс ең көбі 512 токенге дейін қысқартылады. Көлемді құжатты рөл префиксі мен тиісті тақырыптары бар тұтас үзінділер ретінде дайындаңыз. Анықтамалар мен нақтылауларды өздері әсер ететін тұжырыммен қатар сақтап, негізгі құжат идентификаторын және дереккөз нұсқасын вектордан тыс ұстаңыз.
Өндіруші абсолютті мәнді сенімділіктің әмбебап өлшемі деп қабылдамай, косинустық бағалардың салыстырмалы ретіне назар аударуды ұсынады. Пайдалы нәтиже — кандидат үзінділер жиыны, салыстыруға болатын мәтін көріністері немесе бастапқы жазбаларымен байланысқан белгілер. Басқа модель де 1024 мән қайтарса да, осы нақты модель тек ағылшын тіліндегі E5 v2 бақылау нүктелерінен және нұсқаулармен қосымша оқытылған E5 нұсқаларынан бөлек болып қалады.
Ailoot Ultra · Эмбеддингтер POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeБастау
intfloat Multilingual-E5-Large көптілді мәтінді 24 қабатты модель арқылы 1024 өлшемді векторларға кодтайды. Ол XLM-R аясындағы жүз тілді қолдайды, әр тіл үшін ағылшынша query/passage префикстерін қолданады және кірістерді 512 токенге дейін қысқартады.
- Қабылданатын кіріс деректері
- Мәтін · token_ids
- Нәтижелер
- embedding
Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер
Ailoot Ultra · Эмбеддингтер POST /v1/embeddings
- Кіріс
text,token_ids- Шығыс
embedding- Контекст
- 512 tokens
- Шығыс пішімі
- json
| Өріс | Түрі | Талап | Мәндер мен шектеулер | Әдепкі |
|---|---|---|---|---|
Өрісmodel | Түріstring | ТалапМіндетті | Мәндер мен шектеулер intfloat/multilingual-e5-large | Әдепкі— |
Өрісinput | Түріstring|string[]|integer[]|integer[][] | ТалапМіндетті | Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 512 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері | Әдепкі— |
Өрісencoding_format | Түріstring | ТалапМіндетті емес | Мәндер мен шектеулер float | Әдепкіfloat |
Өрісdimensions | Түріinteger | ТалапҚолдау көрсетілмейді | Мәндер мен шектеулер Ең азы: 1 | Әдепкі— |
Өрісuser | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісsession_id | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісtrace | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісprovider | Түріobject | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: provider.options қабылданбайды | Әдепкі— |
Кіріс материалдарының үйлесімдері
text_to_embedding
Әдіс параметрлері мен өмірлік циклі
| Параметр | Параметр талаптары |
|---|---|
Параметрcontent_type | Параметр талаптарыapplication/json |
Параметрrequired | Параметр талаптарыmodel, input |
Параметрinput_shapes | Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Параметрencoding_format | Параметр талаптарыfloat |
Параметрdimensions_override | Параметр талаптарыfalse |
Параметрmax_input_budget_units | Параметр талаптары512 |
Параметрmultimodal_objects | Параметр талаптарыfalse |
Параметрmaterial_types | Параметр талаптарыtext, token_ids |
Өмірлік цикл: synchronous_json
Әрбір вектордың индексін және өлшемін сақтаңыз.
Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.
Тарифтер
Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.
- Жылдам режим
- Стандартты тариф Жылдам режим таңдалғанда
- Икемді режим
- Стандартты тариф flex режимі таңдалғанда
- Ой қорытудың ең жоғары деңгейі
- Стандартты тариф Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда
Ailoot мөлшерлемелері
Баптаулар бойынша бағалар
| Баптау | Мөлшерлемелер кестесі | Төлем |
|---|---|---|
| БаптауТокендердің базалық тарифтері | Мөлшерлемелер кестесіНегізгі мөлшерлеме | Төлем Кіріс · Кіріс токендері $0.00002 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен |
Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →
Сұрау мысалдары
Ailoot Ultra · Эмбеддингтер
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Нәтижелерді алу және сақтау
Ailoot Ultra · Эмбеддингтер
json
Барлық дайын нәтижені сақтау
Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.
Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.
Бастапқы жауапты тексеру қажет болса
Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.
Жауап өрістері
| Өріс | Түрі |
|---|---|
Өрісobject | Түріstring |
Өрісmodel | Түріstring |
Өрісdata[].index | Түріinteger |
Өрісdata[].embedding | Түріfinite float[] |
Өрісusage | Түріobject |
Қателер және келесі қадамдар
| Жауап | Шарт | Келесі қадам |
|---|---|---|
Жауап400 · invalid_request_error | ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате | Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз. |
Балама атаулар
Модельдердің балама атаулары
Ailoot Ultra intfloat/multilingual-e5-large
Әдіс жолдарының балама атаулары
Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.
Шақыруға арналған байланысты ID
FAQ · Intfloat: Multilingual-E5-Large
- Қандай кіріс деректері мен нәтижелер қолжетімді?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Сұрау қандай өрістерді пайдаланады?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Қандай шектеулер қолданылады?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8 байттары);input.min_items:1