Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base inglizcha matnni qidiruv va semantik o‘xshashlik uchun 768 o‘lchamli vektorlarga embedding qiladi. Aynan model o‘rtacha poolingdan foydalanadi, 512 tokengacha ketma-ketliklarni qo‘llaydi va ixtiyoriy normallash bilan kosinus uslubidagi taqqoslashni hujjatlashtiradi.
Model haqida
Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.
GTE-base — Alibaba DAMO Academy o‘qitgan base hajmidagi General Text Embeddings modeli. Bu inglizcha matn enkoderi asosan BERT tuzilmasiga tayanadi va 768 o‘lchamli zich vektorlar hosil qiladi. O‘qitishda turli sohalardagi dolzarblik juftlarining katta korpusi ishlatiladi; ma’lumot qidirish, semantik matn o‘xshashligi va embeddingga asoslangan matnni qayta reytinglash bildirilgan qo‘llanishlar orasida.
Inglizcha so‘rovlar va parchalarni tayyorlang
Ma’lumot ehtiyoji va qidiriladigan material uchun o‘qiladigan inglizcha matndan foydalaning. Masalan, yeyilgan qismni almashtirish haqidagi so‘rovni almashtirish mezonlari, tekshiruv qadamlari va buyurtma ko‘rsatmalarini tavsiflovchi qisqa texnik xizmat bo‘limlari bilan taqqoslash mumkin. Qism nomi va shu bo‘limlarni farqlaydigan shartlarni saqlang.
E’lon qilingan misol savollar va nomzod matnni qo‘shimcha vazifa ko‘rsatmasisiz bevosita kodlaydi. To‘plam va keyingi so‘rovlarda shu tayyorlash izchil bo‘lsin. Reytinglangan natija ifodalangan ma’lumotni ko‘rsata olishi uchun asl parcha va identifikatorini vektor yonida saqlang.
O‘rtacha pooling va taqqoslash
Rasmiy usul diqqat niqobi bilan model token ifodalarining o‘rtachasini olib, to‘ldiruvchi pozitsiyalar natijaga qo‘shilishining oldini oladi. Keyin ixtiyoriy L2 normallashni ko‘rsatadi va normallangan vektorlarni skalyar ko‘paytma orqali taqqoslaydi. Alohida misol kosinus o‘xshashligidan foydalanadi.
Indekslash va qidiruv uchun izchil normallash hamda taqqoslash sozlamasini tanlang va saqlang. Chiqish 768 raqamli komponentni saqlaydi, yaratilgan javobni emas. Nomzodlarni qayta reytinglash bosqichida parchalarni bir xil model bilan kodlang va so‘rovga o‘xshashligiga qarab tartiblang. Bu model har so‘rov–parcha juftini cross-encoder sifatida birgalikda o‘qiydi degan da’vo emas, embeddingga asoslangan taqqoslash bo‘lib qoladi.
Ingliz tili doirasi va 512 tokenli kirishlar
Aynan karta modelni inglizcha matn bilan cheklaydi va uzun kirishlar ko‘pi bilan 512 tokengacha kesilishini aytadi. Shuning uchun uzun qo‘llanma indekslashdan oldin mazmunli bo‘limlarga aylanishi kerak. Parchani talqin qilish uchun kerak bo‘lsa, ogohlantirish, istisno yoki shart va cheklovni ular aniqlik kiritadigan qoida bilan saqlang.
Texnik xizmat oraliqlari haqidagi so‘rovda oraliq va ish shartini saqlaydigan bo‘lim faqat son bor bo‘lakdan foydaliroq. Ko‘rsatmani aniqlashtirsa sarlavha yoki uskuna identifikatsiyasini saqlang. Ko‘rinadigan so‘zlar soniga tayanish o‘rniga tokenizer uzunligini tekshiring.
Ball ortidagi manba parchalaridan foydalaning
Qidiruv indekslangan to‘plamdan nomzodlarni qaytaradi. Eng yuqori parchalarni aynan vazifa bo‘yicha tekshiring va RAG javob yozish bosqichiga berishda manba joylarini saqlang. Bog‘liq parcha almashtirishga ruxsat bermasdan tekshiruvni muhokama qilishi mumkin; shu farq manba materialida ko‘rinib qolishi kerak.
GTE-base 1024 o‘lchamli vektorlar beradigan GTE-large’dan va keyingi ko‘p tilli yoki kengaytirilgan kontekstli GTE nashrlaridan farq qiladi. E’lon qilingan model identifikatsiyasi ingliz tili doirasi, 768 komponentli ifoda va 512 token chegarasini belgilaydi. Qidiruv to‘plamini baholashda aynan shu profilni namunaviy so‘rovlar va manba yozuvlari bilan ishlating.
Ailoot Ultra · Embeddinglar POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseBoshlash
Alibaba DAMO Academy GTE-base inglizcha matnni qidiruv va semantik o‘xshashlik uchun 768 o‘lchamli vektorlarga embedding qiladi. Aynan model o‘rtacha poolingdan foydalanadi, 512 tokengacha ketma-ketliklarni qo‘llaydi va ixtiyoriy normallash bilan kosinus uslubidagi taqqoslashni hujjatlashtiradi.
- Qabul qilinadigan kirish ma’lumotlari
- Matn · token_ids
- Natijalar
- embedding
Ailoot da mavjud · kirish ma’lumotlari va usullar
Ailoot Ultra · Embeddinglar POST /v1/embeddings
- Kirish
text,token_ids- Chiqish
embedding- Chiqish formati
- json
| Maydon | Tur | Talab | Qiymatlar va cheklovlar | Standart |
|---|---|---|---|---|
Maydonmodel | Turstring | TalabMajburiy | Qiymatlar va cheklovlar thenlper/gte-base | Standart— |
Maydoninput | Turstring|string[]|integer[]|integer[][] | TalabMajburiy | Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari | Standart— |
Maydonencoding_format | Turstring | TalabIxtiyoriy | Qiymatlar va cheklovlar float | Standartfloat |
Maydondimensions | Turinteger | TalabQo‘llab-quvvatlanmaydi | Qiymatlar va cheklovlar Eng kam: 1 | Standart— |
Maydonuser | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonsession_id | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydontrace | Turjson_value | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq. | Standart— |
Maydonprovider | Turobject | TalabIxtiyoriy | Qiymatlar va cheklovlar Shartlar: provider.options rad etildi | Standart— |
Kirish materiallari birikmalari
text_to_embedding
Usul parametrlari va hayot sikli
| Parametr | Parametr talablari |
|---|---|
Parametrcontent_type | Parametr talablariapplication/json |
Parametrrequired | Parametr talablarimodel, input |
Parametrinput_shapes | Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrencoding_format | Parametr talablarifloat |
Parametrdimensions_override | Parametr talablarifalse |
Parametrmax_input_budget_units | Parametr talablari512 |
Parametrmultimodal_objects | Parametr talablarifalse |
Parametrmaterial_types | Parametr talablaritext, token_ids |
Hayot sikli: synchronous_json
Har bir vektorning indeksi va o‘lchamini saqlang.
Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.
Tariflar
Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.
- Tezkor rejim
- Ko‘rsatilmagan Tezkor rejim tanlanganda
- Flex rejimi
- Ko‘rsatilmagan flex rejimi tanlanganda
- Maksimal fikrlash darajasi
- Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda
Ailoot tariflari
Sozlamalar bo‘yicha narxlar
| Sozlama | Tariflar jadvali | To‘lov |
|---|---|---|
| SozlamaTokenlar uchun bazaviy tariflar | Tariflar jadvaliAsosiy tarif | To‘lov Kirish · Kirish tokenlari $0.00001 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token |
Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →
So‘rov namunalari
Ailoot Ultra · Embeddinglar
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Natijalarni olish va saqlash
Ailoot Ultra · Embeddinglar
json
Barcha tayyor natijalarni saqlash
Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.
Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.
Asl javobni tekshirish kerak bo‘lsa
Embedding vazifalari uchun endpoint qo‘shilmaydi.
Javob maydonlari
| Maydon | Tur |
|---|---|
Maydonobject | Turstring |
Maydonmodel | Turstring |
Maydondata[].index | Turinteger |
Maydondata[].embedding | Turfinite float[] |
Maydonusage | Turobject |
Xatolar va keyingi qadamlar
| Javob | Shart | Keyingi qadam |
|---|---|---|
Javob400 · invalid_request_error | ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri | Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating. |
Taxalluslar
Model taxalluslari
Ailoot Ultra thenlper/gte-base
Usul yo‘llari taxalluslari
Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.
Chaqirish uchun tegishli ID lar
FAQ · Thenlper: GTE-Base
- Qanday kirish ma’lumotlari va natijalar mavjud?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- So‘rov qaysi maydonlardan foydalanadi?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Qanday cheklovlar amal qiladi?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(UTF8 baytlari);input.min_items:1