Sentence Transformers: all-mpnet-base-v2

Sentence Transformers all-mpnet-base-v2 сөйлемдер мен қысқа абзацтарды іздеу, кластерлеу және ұқсастықты бағалау үшін 768 өлшемді векторларға айналдырады. Жарияланған тәсіл орташа пулингті және L2 нормалауын қолданады; әдепкі қысқарту шегі — 384 сөз бөлшегі.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings sentence-transformers/all-mpnet-base-v2

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

all-mpnet-base-v2 — сөйлемдер мен қысқа абзацтарды 768 өлшемді тығыз векторлар ретінде бейнелейтін Sentence Transformers моделі. Ол базалық MPNet моделінің негізінде миллиард сөйлем жұбынан тұратын жинақта контрастивті оқыту арқылы қосымша оқытылған. Өндіруші ақпарат іздеуді, кластерлеуді және сөйлем ұқсастығын мақсатты қолданулар ретінде атайды.

Сөйлемді немесе қысқа абзацты кодтаңыз

Салыстырылатын мәтінді негізгі ойы мен ажыратушы бөлшектерін сақтап дайындаңыз. Ішкі құжат жинағында қысқа бөлім жабдықты ауыстыруды қалай сұрау керегін немесе қызмет көрсету есебінде қандай ақпарат болуы керегін сипаттай алады. Құжат атауын және дереккөз орнын вектормен қатар қолжетімді ұстаңыз.

Осы модельмен жасалған сұрау эмбеддингі тұжырымдары өзгеше болса да, қатысты бөлімдерді таба алады. Сол бөлімдерден оқырманға қажет нақты нұсқауды тексеріңіз. Ұқсастық үдерісінде іздеуден кейін кандидат сөйлемдердің өзін салыстырыңыз, әсіресе бірінде екіншісінде жоқ ерекшелік не шарт болса.

Орташа пулинг және нормалау

Эталондық кодтау мысалы зейін маскасымен контекстік токен көріністерін орташалап, толтыруды орташа мәннен алып тастайды. Содан кейін алынған сөйлем эмбеддингтерін L2 бойынша нормалайды. Жинақ пен кейінгі сұрауларға вектор жасағанда екі қадамды да сақтаңыз.

Әр векторда 768 компонент бар. Косинустық ұқсастық сол нормаланған көріністерді салыстыра алады, ал бастапқы мәтін нәтиженің дәлелін береді. Ортақ компонент саны бұл модельді multi-qa-mpnet-base-dot-v1 моделіне үйлесімді етпейді: сол бөлек нұсқа скалярлық көбейтіндімен бағалау үшін CLS пулингін және нормаланбаған векторларды көрсетеді.

Әдепкі қысқарту және үзінді дайындау

Өндіруші 384 сөз бөлшегінен асатын кірістің әдепкіде қысқартылатынын айтады. Тиісті бөлімді осы токенизатор шегінде ұстаңыз. Ұзын рәсімді мағыналы бөлім шекараларында бөліп, қадамның неге қатысты екенін түсіндіруге жеткілікті жергілікті контекст қосыңыз. “Бес күн ішінде жіберіңіз” сияқты үзіндіге мерзімді бастайтын оқиға не үдеріс қажет.

Оқыту рәсімі тізбектерді 128 токенмен шектеген; бұл жарияланған 384 сөз бөлшектік әдепкі кодтау параметрінен бөлек. Ұзын абзацтарды немесе жинағыңызға тән сөздікті бағалағанда өкілдік материал қолданыңыз. Кіріске көбірек мәтіннің сыюы әр бөлшектің іздеу нәтижесіне бірдей әсер ететінін бекітпейді.

Іздеу, топтау және салыстыру

Іздеуде реттелген кандидаттар бастапқы бөлімдерді қайтара алуы үшін вектор мен құжаттың байланысын сақтаңыз. RAG үдерісінде таңдалған бөлімдер жауап жазу кезеңінің контекстіне айналады. Модель сандық көріністер береді; ол дереккөздерге негізделген жауап генерацияламайды және қай құжатты беделді дереккөз деп есептеу керегін шешпейді.

Кластерлеуде белгілер тағайындамас бұрын әр ұсынылған топтағы жазбаларды салыстырыңыз. Қызмет көрсету жазбаларының жиынында ұқсас тіл болуы мүмкін, бірақ олар әртүрлі құрылғыларға немесе ақау шарттарына қатысты болады. Осы ажыратушы бөлшектерді кодталатын мәтінге қосып, тек бағаға сүйенбей, оларды қайтарылған материалда тексеріңіз.

Осы нақты all-mpnet-base-v2 бақылау нүктесі — өз орташа пулинг, нормалау және әдепкі қысқарту параметрлері бар ағылшын сөйлемдерінің эмбеддинг профилі. Сол параметрлерді индекстелген жинақпен бірге сақтап, векторларды тапсырмаға маңызды бастапқы үзінділерді табу мен салыстыруға көмек ретінде қолданыңыз.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings sentence-transformers/all-mpnet-base-v2

sentence-transformers/all-mpnet-base-v2

Sentence Transformers /sentence-transformers/all-mpnet-base-v2

Бастау

Қабылданатын кіріс деректері: Мәтін · token_ids
Нәтижелер: embedding

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings

Кіріс: text, token_ids
Шығыс: embedding
Шығыс пішімі: json

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер sentence-transformers/all-mpnet-base-v2	Әдепкі—
Өріс`input`	Түрі`string\|string[]\|integer[]\|integer[][]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 512 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері	Әдепкі—
Өріс`encoding_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер float	Әдепкіfloat
Өріс`dimensions`	Түрі`integer`	ТалапҚолдау көрсетілмейді	Мәндер мен шектеулер Ең азы: 1	Әдепкі—
Өріс`user`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`session_id`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`trace`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: provider.options қабылданбайды	Әдепкі—

Кіріс материалдарының үйлесімдері

text_to_embedding

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input
Параметр`input_shapes`	Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Параметр`encoding_format`	Параметр талаптарыfloat
Параметр`dimensions_override`	Параметр талаптарыfalse
Параметр`max_input_budget_units`	Параметр талаптары512
Параметр`multimodal_objects`	Параметр талаптарыfalse
Параметр`material_types`	Параметр талаптарыtext, token_ids

Өмірлік цикл: synchronous_json

Әрбір вектордың индексін және өлшемін сақтаңыз.

Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Баптау	Мөлшерлемелер кестесі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Төлем Кіріс · Кіріс токендері $0.00001 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Эмбеддингтер

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Нәтижелерді алу және сақтау

Ailoot Ultra · Эмбеддингтер

json

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.

Бастапқы жауапты тексеру қажет болса

Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.

Жауап өрістері

Өріс	Түрі
Өріс`object`	Түріstring
Өріс`model`	Түріstring
Өріс`data[].index`	Түріinteger
Өріс`data[].embedding`	Түріfinite float[]
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra sentence-transformers/all-mpnet-base-v2

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

sentence-transformers/all-mpnet-base-v2

FAQ · Sentence Transformers: all-mpnet-base-v2

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: text, token_ids → embedding
Сұрау қандай өрістерді пайдаланады?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: model, input, encoding_format, provider
Қандай шектеулер қолданылады?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: input.budget.maximum: 512 (UTF8 байттары); input.min_items: 1

Sentence Transformers: all-mpnet-base-v2