Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers all-MiniLM-L6-v2 сөйлемдер мен қысқа абзацтарды семантикалық іздеу, кластерлеу және ұқсастықты бағалау үшін 384 өлшемді векторлармен бейнелейді. Оның жарияланған тәсілі орташа пулингті L2 нормалауымен және 256 сөз бөлшектік әдепкі параметрмен біріктіреді.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings sentence-transformers/all-minilm-l6-v2

Модель туралы

Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.

all-MiniLM-L6-v2 — Sentence Transformers-тің сөйлемдер мен қысқа абзацтарға арналған кодтаушысы. Ол әр мәтінді іздеу, кластерлеу және сөйлем ұқсастығын бағалау үшін 384 өлшемді тығыз векторға бейнелейді. Модель MiniLM-L6-H384-uncased негізінде миллиард сөйлем жұбынан тұратын жинақта контрастивті оқыту арқылы қосымша оқытылған.

Ықшам, мағыналы жазбалар дайындаңыз

Іздеу нәтижесінде көрінуі тиіс сөйлемді немесе абзацты таңдаңыз. FAQ жинағында сұрақты және оның тақырыбын ажырататын қысқа түсіндірмені сақтаңыз. Ұмытылған құпиясөзді қайта орнату туралы үзінді “Тіркелгі” сияқты жеке сөзге қысқартылмай, қайта орнату рәсімін сақтауы керек.

Ұзын мақала үшін тұтас қысқа бөлімдерді индекстеп, дереккөз орындарын сақтаңыз. Сұрау векторын сақталған көріністермен салыстырып, кандидат бөлімдерді табыңыз, содан кейін оқырман нақты нұсқауларды тексере алуы үшін бастапқы үзінділерді көрсетіңіз.

Сөйлем көрінісін алыңыз

Өндірушінің тікелей кодтау тәсілі зейін маскасымен токен көріністерін орташалап, толтыру позицияларын орташа мәннен алып тастайды. Содан кейін L2 нормалауын қолданады. Бұл қадамдар салыстыруға арналған сөйлем эмбеддингін жасайды; негізгі трансформердің жеке токен көріністері басқа рөл атқарады.

Әр шығыста 384 компонент бар. Жинақ құрғанда және кейінгі сұрауларды кодтағанда бір бақылау нүктесін, пулингті және нормалауды қолданыңыз. Алынған векторларды косинустық ұқсастықпен салыстыруға болады. Ұқсастық мәні осы баптауда кандидаттарды реттеуге пайдалы, ал бастапқы мәтін кандидаттың сұраққа жауап беретінін анықтайды.

Ұзындық және нұсқа шекаралары

Жарияланған әдепкі параметр 256 сөз бөлшегінен ұзын кірістерді қысқартады. Бұл токенизатор бірлігі кәдімгі сөзге немесе таңбаға тікелей сәйкес келмейді. Маңызды шарттарды индекстелетін бірліктің ішінде ұстаңыз және ұзын рәсімді кодтамас бұрын мағыналы шекаралар бойынша бөліңіз.

Оқыту тізбектері 128 токенмен шектелген. Бұл оқыту параметрі кодтауға арналған 256 сөз бөлшектік әдепкі параметрден бөлек. Әдеттен тыс ұзын немесе салалық үзінділер үшін кіріс шегіне сыю әр бөлшекке бірдей қарауды кепілдейді деп болжамай, іздеу әрекетін бағалауға өкілдік сұрау–үзінді мысалдарын қолданыңыз.

Осы нақты L6-v2 нұсқасы — ағылшын эмбеддинг профилі. L12-v2 және paraphrase-MiniLM нұсқаларының модель сәйкестіктері мен конфигурациялары бөлек. Олардың ортақ MiniLM атауы немесе 384 өлшемді шығысы өзара алмастырылатын векторларды бекітпейді.

Іздеу, ұқсастық және топтау

Қайталанатын сұрақтарды тексергенде ұқсас сұрақтарды тауып, жазбаларды біріктірмес бұрын нақты тұжырымдарын салыстырыңыз. “Мен құпиясөзімді қайта орната аламын ба?” және “Әкімші басқа пайдаланушының құпиясөзін қайта орната ала ма?” сұрақтары қатысты тақырыптарды, бірақ әртүрлі рұқсаттарды қамтиды. Осы айырмашылықты кодталған мәтінде және тексеру кезеңінде сақтаңыз.

Кластерлеуде эмбеддингтерді топтау үдерісіне сандық кірістер ретінде қолданып, топқа атау бермес бұрын өкілдік жазбаларды тексеріңіз. Бұл модель жазбаша кластер белгілерін немесе генерацияланған FAQ жауабын емес, векторларды береді. Оның пайдалы нәтижесі — бастапқы жазбамен байланысы сақталған қысқа дереккөз үзіндісінің ықшам көрінісі.

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings sentence-transformers/all-minilm-l6-v2

sentence-transformers/all-minilm-l6-v2

Sentence Transformers /sentence-transformers/all-minilm-l6-v2

Бастау

Қабылданатын кіріс деректері: Мәтін · token_ids
Нәтижелер: embedding

Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер

Ailoot Ultra · Эмбеддингтер POST /v1/embeddings

Кіріс: text, token_ids
Шығыс: embedding
Шығыс пішімі: json

Өріс	Түрі	Талап	Мәндер мен шектеулер	Әдепкі
Өріс`model`	Түрі`string`	ТалапМіндетті	Мәндер мен шектеулер sentence-transformers/all-minilm-l6-v2	Әдепкі—
Өріс`input`	Түрі`string\|string[]\|integer[]\|integer[][]`	ТалапМіндетті	Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 512 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері	Әдепкі—
Өріс`encoding_format`	Түрі`string`	ТалапМіндетті емес	Мәндер мен шектеулер float	Әдепкіfloat
Өріс`dimensions`	Түрі`integer`	ТалапҚолдау көрсетілмейді	Мәндер мен шектеулер Ең азы: 1	Әдепкі—
Өріс`user`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`session_id`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`trace`	Түрі`json_value`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты.	Әдепкі—
Өріс`provider`	Түрі`object`	ТалапМіндетті емес	Мәндер мен шектеулер Шарттар: provider.options қабылданбайды	Әдепкі—

Кіріс материалдарының үйлесімдері

text_to_embedding

Әдіс параметрлері мен өмірлік циклі

Параметр	Параметр талаптары
Параметр`content_type`	Параметр талаптарыapplication/json
Параметр`required`	Параметр талаптарыmodel, input
Параметр`input_shapes`	Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Параметр`encoding_format`	Параметр талаптарыfloat
Параметр`dimensions_override`	Параметр талаптарыfalse
Параметр`max_input_budget_units`	Параметр талаптары512
Параметр`multimodal_objects`	Параметр талаптарыfalse
Параметр`material_types`	Параметр талаптарыtext, token_ids

Өмірлік цикл: synchronous_json

Әрбір вектордың индексін және өлшемін сақтаңыз.

Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.

Тарифтер

Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.

Жылдам режим: Көрсетілмеген Жылдам режим таңдалғанда
Икемді режим: Көрсетілмеген flex режимі таңдалғанда
Ой қорытудың ең жоғары деңгейі: Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда

Ailoot мөлшерлемелері

Баптаулар бойынша бағалар

Баптау	Мөлшерлемелер кестесі	Төлем
БаптауТокендердің базалық тарифтері	Мөлшерлемелер кестесіНегізгі мөлшерлеме	Төлем Кіріс · Кіріс токендері $0.00001 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен

Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →

Сұрау мысалдары

Ailoot Ultra · Эмбеддингтер

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Нәтижелерді алу және сақтау

Ailoot Ultra · Эмбеддингтер

json

Барлық дайын нәтижені сақтау

Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.

Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.

Бастапқы жауапты тексеру қажет болса

Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.

Жауап өрістері

Өріс	Түрі
Өріс`object`	Түріstring
Өріс`model`	Түріstring
Өріс`data[].index`	Түріinteger
Өріс`data[].embedding`	Түріfinite float[]
Өріс`usage`	Түріobject

Қателер және келесі қадамдар

Жауап	Шарт	Келесі қадам
Жауап400 · `invalid_request_error`	ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате	Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз.

Балама атаулар

Модельдердің балама атаулары

Ailoot Ultra sentence-transformers/all-minilm-l6-v2

Әдіс жолдарының балама атаулары

Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.

Шақыруға арналған байланысты ID

sentence-transformers/all-minilm-l6-v2

FAQ · Sentence Transformers: all-MiniLM-L6-v2

Қандай кіріс деректері мен нәтижелер қолжетімді?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: text, token_ids → embedding
Сұрау қандай өрістерді пайдаланады?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: model, input, encoding_format, provider
Қандай шектеулер қолданылады?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: input.budget.maximum: 512 (UTF8 байттары); input.min_items: 1

Sentence Transformers: all-MiniLM-L6-v2