Sentence Transformers: all-mpnet-base-v2

Sentence Transformers all-mpnet-base-v2 gaplar va qisqa paragraflarni qidiruv, klasterlash va o‘xshashlik uchun 768 o‘lchamli vektorlarga aylantiradi. E’lon qilingan usul o‘rtacha pooling va L2 normallashdan foydalanadi; odatiy kesish chegarasi 384 ta word piece birligi.

Ailoot Ultra · Embeddinglar POST /v1/embeddings sentence-transformers/all-mpnet-base-v2

Model haqida

Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.

all-mpnet-base-v2 — gaplar va qisqa paragraflarni 768 o‘lchamli zich vektorlar sifatida ifodalash uchun Sentence Transformers modeli. U MPNet bazaviy modelidan bir milliard gap jufti to‘plamida kontrastiv o‘rganish bilan nozik sozlangan. Ishlab chiqaruvchi ma’lumot qidirish, klasterlash va gaplar o‘xshashligini mo‘ljallangan foydalanishlar deb ko‘rsatadi.

Gap yoki qisqa paragrafni kodlang

Taqqoslanadigan matnni tayyorlang, asosiy fikr va uni farqlaydigan tafsilotlarni saqlang. Ichki hujjatlar to‘plamida qisqa bo‘lim uskuna almashtirishni qanday so‘rash yoki texnik xizmat hisobotida qaysi ma’lumot bo‘lishini tavsiflashi mumkin. Hujjat sarlavhasi va manba joyi vektor yonida mavjud bo‘lsin.

Ayni model bilan embedding qilingan so‘rov ifodasi boshqa bo‘lsa ham bog‘liq bo‘limlarni topishi mumkin. O‘quvchiga kerakli haqiqiy ko‘rsatmani aniqlash uchun shu bo‘limlarni tekshiring. O‘xshashlik jarayonida qidiruvdan keyin nomzod gaplarning o‘zini taqqoslang, ayniqsa birida boshqasida yo‘q istisno yoki shart bo‘lsa.

O‘rtacha pooling va normallash

Rasmiy kodlash misoli diqqat niqobi bilan kontekstli token ifodalarining o‘rtachasini oladi, to‘ldiruvchilarni o‘rtachadan chiqaradi. So‘ng natijaviy gap embeddinglarini L2 normallaydi. To‘plam va keyingi so‘rovlar uchun vektorlar yaratishda ikkala bosqichni ham saqlang.

Har vektor 768 komponentga ega. Kosinus o‘xshashligi shu normallangan ifodalarni taqqoslashi mumkin; manba matni esa natija ortidagi dalilni beradi. Komponentlar soni bir xilligi bu modelni multi-qa-mpnet-base-dot-v1 bilan mos qilmaydi: alohida nashr skalyar ko‘paytma bilan baholash uchun CLS pooling va normallanmagan vektorlarni belgilaydi.

Odatiy kesish va parchani tayyorlash

Ishlab chiqaruvchi 384 ta word piece birligidan ortiq kirish odatda kesilishini aytadi. Tegishli bo‘limni tokenizer chegarasi ichida saqlang. Uzun tartib-taomilda mazmunli bo‘lim chegaralarida bo‘ling va qadam nimaga tegishli ekanini tushuntirish uchun yetarli mahalliy kontekst qo‘shing. “Submit within five days” kabi bo‘lakka muddatni boshlaydigan hodisa yoki jarayon kerak.

O‘qitish jarayoni ketma-ketliklarni 128 token bilan cheklagan; bu e’lon qilingan 384 ta word piece birlikli odatiy kodlash sozlamasidan alohida. Uzunroq paragraflar yoki to‘plamga xos lug‘atni baholashda namunaviy materialdan foydalaning. Kirishga ko‘proq matn sig‘ishi har tafsilot qidiruv natijasiga bir xil ta’sir qilishini isbotlamaydi.

Qidiruv, guruhlash va taqqoslash

Qidiruvda reytinglangan nomzodlar asl bo‘limlarni qaytara olishi uchun vektor-hujjat bog‘liqligini saqlang. RAG jarayonida tanlangan bo‘limlar javob yozish bosqichiga kontekst bo‘ladi. Model raqamli ifodalarni beradi; manbali javob yaratmaydi va qaysi hujjat vakolatli manba ekanini hal qilmaydi.

Klasterlashda yorliq berishdan oldin har taklif etilgan guruhdagi yozuvlarni taqqoslang. Texnik xizmat qaydlari to‘plami o‘xshash tildan foydalanib, turli qurilmalar yoki nosozlik shartlariga tegishli bo‘lishi mumkin. Faqat ballga tayanish o‘rniga, farqlovchi tafsilotlarni kodlangan matnga kiriting va qaytgan materialda tekshiring.

Aynan all-mpnet-base-v2 checkpointi o‘z o‘rtacha pooling, normallash va odatiy kesish sozlamalariga ega inglizcha gap embedding profilidir. Sozlamalarni indekslangan to‘plam bilan saqlang va vektorlardan vazifaga muhim manba parchalarini topish hamda taqqoslash yordami sifatida foydalaning.

Ailoot Ultra · Embeddinglar POST /v1/embeddings sentence-transformers/all-mpnet-base-v2

sentence-transformers/all-mpnet-base-v2

Sentence Transformers /sentence-transformers/all-mpnet-base-v2

Boshlash

Qabul qilinadigan kirish ma’lumotlari: Matn · token_ids
Natijalar: embedding

Ailoot da mavjud · kirish ma’lumotlari va usullar

Ailoot Ultra · Embeddinglar POST /v1/embeddings

Kirish: text, token_ids
Chiqish: embedding
Chiqish formati: json

Maydon	Tur	Talab	Qiymatlar va cheklovlar	Standart
Maydon`model`	Tur`string`	TalabMajburiy	Qiymatlar va cheklovlar sentence-transformers/all-mpnet-base-v2	Standart—
Maydon`input`	Tur`string\|string[]\|integer[]\|integer[][]`	TalabMajburiy	Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari	Standart—
Maydon`encoding_format`	Tur`string`	TalabIxtiyoriy	Qiymatlar va cheklovlar float	Standartfloat
Maydon`dimensions`	Tur`integer`	TalabQo‘llab-quvvatlanmaydi	Qiymatlar va cheklovlar Eng kam: 1	Standart—
Maydon`user`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`session_id`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`trace`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`provider`	Tur`object`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: provider.options rad etildi	Standart—

Kirish materiallari birikmalari

text_to_embedding

Usul parametrlari va hayot sikli

Parametr	Parametr talablari
Parametr`content_type`	Parametr talablariapplication/json
Parametr`required`	Parametr talablarimodel, input
Parametr`input_shapes`	Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Parametr`encoding_format`	Parametr talablarifloat
Parametr`dimensions_override`	Parametr talablarifalse
Parametr`max_input_budget_units`	Parametr talablari512
Parametr`multimodal_objects`	Parametr talablarifalse
Parametr`material_types`	Parametr talablaritext, token_ids

Hayot sikli: synchronous_json

Har bir vektorning indeksi va o‘lchamini saqlang.

Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.

Tariflar

Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.

Tezkor rejim: Ko‘rsatilmagan Tezkor rejim tanlanganda
Flex rejimi: Ko‘rsatilmagan flex rejimi tanlanganda
Maksimal fikrlash darajasi: Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda

Ailoot tariflari

Sozlamalar bo‘yicha narxlar

Sozlama	Tariflar jadvali	To‘lov
SozlamaTokenlar uchun bazaviy tariflar	Tariflar jadvaliAsosiy tarif	To‘lov Kirish · Kirish tokenlari $0.00001 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token

Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →

So‘rov namunalari

Ailoot Ultra · Embeddinglar

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Natijalarni olish va saqlash

Ailoot Ultra · Embeddinglar

json

Barcha tayyor natijalarni saqlash

Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.

Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.

Asl javobni tekshirish kerak bo‘lsa

Embedding vazifalari uchun endpoint qo‘shilmaydi.

Javob maydonlari

Maydon	Tur
Maydon`object`	Turstring
Maydon`model`	Turstring
Maydon`data[].index`	Turinteger
Maydon`data[].embedding`	Turfinite float[]
Maydon`usage`	Turobject

Xatolar va keyingi qadamlar

Javob	Shart	Keyingi qadam
Javob400 · `invalid_request_error`	ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri	Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating.

Taxalluslar

Model taxalluslari

Ailoot Ultra sentence-transformers/all-mpnet-base-v2

Usul yo‘llari taxalluslari

Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.

Chaqirish uchun tegishli ID lar

sentence-transformers/all-mpnet-base-v2

FAQ · Sentence Transformers: all-mpnet-base-v2

Qanday kirish ma’lumotlari va natijalar mavjud?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: text, token_ids → embedding
So‘rov qaysi maydonlardan foydalanadi?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: model, input, encoding_format, provider
Qanday cheklovlar amal qiladi?: POST /v1/embeddings · sentence-transformers/all-mpnet-base-v2: input.budget.maximum: 512 (UTF8 baytlari); input.min_items: 1

Sentence Transformers: all-mpnet-base-v2