Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 gaplar va qisqa paragraflarni semantik qidiruv, klasterlash va o‘xshashlik uchun 384 o‘lchamli vektorlar sifatida ifodalaydi. E’lon qilingan usul o‘rtacha poolingni L2 normallash va 256 ta word piece birlikli odatiy sozlama bilan birlashtiradi.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
all-MiniLM-L6-v2 — Sentence Transformers’ning gaplar va qisqa paragraflar enkoderi. U har matnni qidiruv, klasterlash va gaplar o‘xshashligi uchun 384 o‘lchamli zich vektorga o‘tkazadi. Model MiniLM-L6-H384-uncased asosidan bir milliard gap jufti to‘plamida kontrastiv o‘rganish bilan nozik sozlangan.
Ixcham, mazmunli yozuvlar tayyorlang
Qidiruv natijasida ko‘rinishi kerak bo‘lgan gap yoki paragrafni tanlang. FAQ to‘plamida savol va uning mavzusini farqlaydigan qisqa izohni saqlang. Unutilgan parolni qayta o‘rnatish haqidagi parcha “Account.” kabi alohida so‘zga qisqartirilmasdan, qayta o‘rnatish tartibini saqlashi kerak.
Uzun maqolada izchil qisqa bo‘limlarni indekslang va manba joylarini saqlang. So‘rov vektorini saqlangan ifodalar bilan taqqoslab nomzod bo‘limlarni toping, so‘ng o‘quvchi haqiqiy ko‘rsatmalarni tekshira olishi uchun asl parchalarni ko‘rsating.
Gap ifodasini oling
Ishlab chiqaruvchining bevosita kodlash usuli diqqat niqobi bilan token ifodalarining o‘rtachasini olib, to‘ldiruvchi pozitsiyalarni o‘rtachadan chiqaradi. Keyin L2 normallashni qo‘llaydi. Shu bosqichlar taqqoslashda ishlatiladigan gap embeddingini hosil qiladi; asosiy transformerning alohida token ifodalari boshqa rolga ega.
Har chiqish 384 komponentga ega. To‘plamni yaratish va keyingi so‘rovlarni kodlashda bir xil checkpoint, pooling va normallashdan foydalaning. Kosinus o‘xshashligi natijaviy vektorlarni taqqoslashi mumkin. O‘xshashlik qiymati shu sozlamada nomzodlarni reytinglash uchun foydali; nomzod savolga javob berishini esa asl matn belgilaydi.
Uzunlik va nashr chegaralari
E’lon qilingan odatiy sozlama 256 ta word piece birligidan uzun kirishni kesadi. Bu tokenizer birligi oddiy so‘z yoki belgiga bevosita mos emas. Muhim shartlar indekslangan birlik ichida bo‘lsin; uzun tartib-taomilni kodlashdan oldin mazmunli chegaralarda bo‘ling.
O‘qitish ketma-ketliklari 128 token bilan cheklangan. Shu o‘qitish sozlamasi kodlashda ishlatiladigan 256 ta word piece birlikli odatiy sozlamadan alohida. Juda uzun yoki maxsus parchalarda kirish chegarasiga sig‘ish har tafsilotga teng munosabatni kafolatlaydi deb o‘ylash o‘rniga, qidiruv xulqini baholash uchun namunaviy so‘rov-parcha misollaridan foydalaning.
Aynan L6-v2 nashri inglizcha embedding profilidir. L12-v2 va paraphrase-MiniLM nashrlarining alohida model identifikatsiyasi va konfiguratsiyasi bor. Umumiy MiniLM nomi yoki 384 o‘lchamli chiqish o‘zaro almashtiriladigan vektorlarni isbotlamaydi.
Qidiruv, o‘xshashlik va guruhlash
Takroriy savollarni tekshirishda yozuvlarni birlashtirishdan oldin o‘xshash savollarni toping va haqiqiy ifodalarini taqqoslang. “Can I reset my password?” va “Can an administrator reset another user’s password?” bog‘liq mavzularga, ammo turli ruxsatlarga tegishli. Shu farqni kodlangan matnda va tekshiruv bosqichida saqlang.
Klasterlash uchun embeddinglarni guruhlash jarayoniga raqamli kirish sifatida bering, keyin guruhga nom berishdan oldin namunaviy yozuvlarni tekshiring. Model yozma klaster yorliqlari yoki yaratilgan FAQ javobi o‘rniga vektorlar beradi. Foydali natija — asl yozuviga bog‘liq qoladigan qisqa manba parchasining ixcham ifodasi.
Ailoot Ultra · Embeddinglar POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Boshlash
Sentence Transformers all-MiniLM-L6-v2 gaplar va qisqa paragraflarni semantik qidiruv, klasterlash va o‘xshashlik uchun 384 o‘lchamli vektorlar sifatida ifodalaydi. E’lon qilingan usul o‘rtacha poolingni L2 normallash va 256 ta word piece birlikli odatiy sozlama bilan birlashtiradi.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar sentence-transformers/all-minilm-l6-v2 | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari512 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Ko‘rsatilmagan Tezkor rejim tanlanganda
- Flex rejimi
- Ko‘rsatilmagan flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00001 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(UTF8 baytlari);input.min_items:1