Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 gaplar va qisqa paragraflarni semantik qidiruv va klasterlash uchun 384 o‘lchamli vektorlarga o‘tkazadi. E’lon qilingan konfiguratsiya o‘rtacha pooling va 128 tokenli ketma-ketlik sozlamasidan foydalanadi.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
paraphrase-MiniLM-L6-v2 — gaplar va qisqa paragraflar uchun Sentence Transformers embedding modeli. U har matnni 384 o‘lchamli zich vektor makoniga o‘tkazadi; ishlab chiqaruvchi aytgan vazifalar orasida semantik qidiruv va klasterlash bor. E’lon qilingan arxitektura transformerni o‘rtacha pooling bilan birlashtiradi; sozlangan ketma-ketlik uzunligi 128 token.
Taqqoslamoqchi bo‘lgan parchani ifodalang
Haqiqiy gap yoki qisqa paragrafni tayyorlang, mavzu va muhim shartlarni saqlang. Amaliy to‘plam turlicha ifodalangan savollar yoki bog‘liq mavzularning qisqa tavsiflarini saqlashi mumkin. Har yozuvning embeddingini oling va keyingi taqqoslash matnning o‘zini qaytara olishi uchun asl ifoda hamda identifikatorini saqlang.
Masalan, bir nechta yordam savoli bir qiyinchilikni turli atamalar bilan tavsiflashi mumkin. O‘xshashlik bosqichi shu nomzodlarni bir joyga jamlashi, keyin haqiqiy muammoni aniqlash uchun ularning ifodalarini tekshirish mumkin. Embedding — shu taqqoslashdagi raqamli ifoda; u o‘z-o‘zidan qayta ifoda yozmaydi yoki yakuniy klaster yorlig‘ini tayinlamaydi.
O‘rtacha pooling va vektordan foydalanish
Ishlab chiqaruvchining bevosita kodlash misoli token ifodalarining o‘rtachasini olishda diqqat niqobini hisobga olib, to‘ldiruvchi pozitsiyalarni chiqarib tashlaydi. Arxitektura o‘rtacha poolingni ochiq tanlaydi, CLS yoki max poolingni tanlamaydi. Taqqoslanadigan vektorlarni tayyorlashda shu pooling usulini model bilan saqlang.
Har qaytgan ifoda 384 komponentga ega. Indeks yoki klasterlash bosqichi tanlangan o‘xshashlik konfiguratsiyasida shu vektorlar bilan ishlaydi; asosdagi manba yozuvi esa tekshiruv uchun mavjud qoladi. Taqqoslanayotgan elementlar bo‘yicha bir xil model, kirishni tayyorlash va taqqoslash sozlamalarini saqlang. Boshqa modelning 384 qiymat qaytarishi shaklning o‘zi bo‘yicha ayni embedding makoni ekanini anglatmaydi.
E’lon qilingan konfiguratsiyadagi qisqa kirishlar
Sentence Transformer’ning rasmiy konfiguratsiyasi 128 tokenli maksimal ketma-ketlik uzunligidan foydalanadi. Uzun manbani haddan katta bitta paragraf o‘rniga qisqa, izchil birliklar sifatida tayyorlang. Qoida bor gapga keyingi gapdagi istisno kerak bo‘lishi mumkin; sig‘sa shu kichik birlikni birga saqlang. So‘z yoki belgi soni token uzunligini bevosita belgilamaydi.
Qisqa tavsiflar to‘plamida taqqoslash uchun muhim nomlar va farqlovchi xususiyatlarni saqlang. Faqat noaniq toifani saqlagan yozuvni shu turdagi boshqa yozuvlardan ajratish qiyin bo‘lishi mumkin. Qaytgan nomzodni asl material bilan tekshirish uchun manba bog‘liqligini vektordan tashqarida saqlang.
Qidiruv va klasterlash natijalari
Semantik qidiruvda so‘rov va korpus materialini aynan shu model bilan ifodalang va nomzod yozuvlarni manba matni bilan qaytaring. Klasterlashda boshqa bosqich vektorlardan guruhlar tuzadi. Guruhlashni mahsulot qarori yoki avtomatik yorliq sifatida ishlatishdan oldin klaster chegarasi yaqinidagi yozuvlarni tekshiring.
Foydali chiqish — asl yozuviga bog‘langan qisqa matnning ixcham ifodasi. Aynan paraphrase-MiniLM-L6-v2 checkpointining o‘z pooling va ketma-ketlik konfiguratsiyasi bor. all-MiniLM va ko‘p tilli paraphrase variantlari alohida model profillaridir; umumiy MiniLM nomi ularning o‘qitilishi, til qamrovi yoki kirish sozlamalarini anglatmaydi.
Ailoot Ultra · Embeddinglar POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2Boshlash
Sentence Transformers paraphrase-MiniLM-L6-v2 gaplar va qisqa paragraflarni semantik qidiruv va klasterlash uchun 384 o‘lchamli vektorlarga o‘tkazadi. E’lon qilingan konfiguratsiya o‘rtacha pooling va 128 tokenli ketma-ketlik sozlamasidan foydalanadi.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar sentence-transformers/paraphrase-minilm-l6-v2 | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari512 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Ko‘rsatilmagan Tezkor rejim tanlanganda
- Flex rejimi
- Ko‘rsatilmagan flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00001 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(UTF8 baytlari);input.min_items:1