Thenlper: GTE-Large

Alibaba DAMO Academy GTE-large inglizcha matnni qidiruv, semantik o‘xshashlik va embeddingga asoslangan qayta reytinglash uchun 1024 o‘lchamli vektorlarga aylantiradi. Rasmiy usul o‘rtacha pooling, ixtiyoriy normallash va 512 tokenli maksimal ketma-ketlik uzunligidan foydalanadi.

Ailoot Ultra · Embeddinglar POST /v1/embeddings thenlper/gte-large

Model haqida

Bu tavsif model imkoniyatlarini yoritadi. Ailoot da tanlangan usul uchun mavjud kirish, chiqish va parametrlar quyida keltirilgan.

GTE-large — Alibaba DAMO Academy o‘qitgan katta hajmli General Text Embeddings modeli. U asosan BERT tuzilmasiga tayangan inglizcha matn enkoderi bo‘lib, har kirish uchun 1024 o‘lchamli zich ifoda beradi. Ishlab chiqaruvchi GTE oilasini turli sohalardagi dolzarblik bo‘yicha matn juftlarida o‘qitadi va qidiruv, semantik matn o‘xshashligi hamda matnni qayta reytinglashni keyingi qo‘llanishlar deb ko‘rsatadi.

Bo‘lim mazmunini ifodalang

Qidiruv so‘rovi bilan taqqoslanadigan inglizcha parchani tayyorlang. Texnik hisobotlar to‘plamida qisqa bo‘limning mavzusi, kuzatuvi va tegishli shartini saqlang. Faqat muayyan yuklama ostidagi tebranishni tavsiflaydigan hisobot umumiy tebranish bayonotini qoldirish o‘rniga shu shartni saqlashi kerak.

Saqlangan vektorlar bilan manba identifikatorlari, hujjat sarlavhalari va bo‘lim joylarini saqlang. So‘rov nomzod bo‘limlarni topishi, asl hisobot esa uskuna, shart va xulosani tekshirish uchun mavjud qolishi mumkin. Embedding parcha mazmunining raqamli ifodasini beradi.

Pooling, normallash va vektordan foydalanish

E’lon qilingan usul diqqat niqobi bilan token ifodalarining o‘rtachasini olib, to‘ldiruvchilarni o‘rtachadan chiqaradi. U ixtiyoriy L2 normallash va undan keyin normallangan vektorlarni skalyar ko‘paytma bilan taqqoslashni ham ko‘rsatadi. Sentence Transformers misoli kosinus o‘xshashligidan foydalanadi.

To‘plam va so‘rov tomonida bir xil tayyorlash, pooling va taqqoslash sozlamalarini saqlang. Har ifoda 1024 komponentni o‘z ichiga oladi. Ko‘proq komponent nashr tafsilotidir; bu GTE-large vektorlarini 768 o‘lchamli GTE-base ifodasi yoki boshqa 1024 o‘lchamli enkoder bilan aralashtirish mumkinligini isbotlamaydi.

Qayta reytinglash jarayoni so‘rov embeddingini allaqachon topilgan nomzod embeddinglar to‘plami bilan taqqoslab, yozuvlarni qayta tartiblashi mumkin. Shu vektor taqqoslashini so‘rov–parcha juftini birgalikda baholaydigan alohida modeldan ajrating.

Kirish uzunligi va ingliz tili cheklovi

Karta aynan shu modelni inglizcha matn bilan ochiq cheklaydi va uzun kirishlarni ko‘pi bilan 512 tokengacha kesadi. Uzun texnik hisobotni izchil bo‘limlarga bo‘ling; har bo‘lim mustaqil tushunilishi uchun yetarli mahalliy kontekstni saqlang. Gap oldingi shart yoki cheklovga bog‘liq bo‘lsa, sig‘ganda shu shart yoki cheklovni ayni indekslangan birlikda saqlang.

Token chegarasi ko‘rinadigan so‘zlar sonidan farq qiladi. Tayyorlangan bo‘lim uzunligini tekshiring va mo‘ljallangan qidiruvga kerakli tafsilot kesishdan keyin qoladigan qismdan tashqarida joylashmaganiga ishonch hosil qiling.

Topilgan dalilni tekshiring

Hisobot qidiruv ilovasida nomzod bo‘limlarni manba joylari bilan ko‘rsating va haqiqiy mazmunini tekshiring. O‘xshash kuzatuvlar turli sabab yoki tavsiyalarga ega bo‘lishi mumkin. Vektor balli tanlangan taqqoslash sozlamasida nomzodlarni tartiblashga yordam beradi; hisobot xulosasi yangi vaziyatga tegishli ekanini isbotlamaydi.

RAG uchun tanlangan bo‘limlarni javob yozish bosqichiga manba konteksti sifatida bering va hujjat bog‘liqliklarini saqlang. Aynan GTE-large profili 1024 o‘lchamli inglizcha zich embeddinglar va 512 tokenli kirish chegarasini beradi. Keyingi ko‘p tilli va kengaytirilgan kontekstli GTE nashrlarining alohida identifikatsiyasi bor; ularning til qamrovi yoki kirish sozlamalari shu checkpointning oila nomidan kelib chiqmaydi.

Ailoot Ultra · Embeddinglar POST /v1/embeddings thenlper/gte-large

thenlper/gte-large

Thenlper /thenlper/gte-large

Boshlash

Qabul qilinadigan kirish ma’lumotlari: Matn · token_ids
Natijalar: embedding

Ailoot da mavjud · kirish ma’lumotlari va usullar

Ailoot Ultra · Embeddinglar POST /v1/embeddings

Kirish: text, token_ids
Chiqish: embedding
Chiqish formati: json

Maydon	Tur	Talab	Qiymatlar va cheklovlar	Standart
Maydon`model`	Tur`string`	TalabMajburiy	Qiymatlar va cheklovlar thenlper/gte-large	Standart—
Maydon`input`	Tur`string\|string[]\|integer[]\|integer[][]`	TalabMajburiy	Qiymatlar va cheklovlar Elementlarning eng kam soni: 1 Shartlar: Bo‘sh bo‘lmagan, bir xil turdagi elementlardan iborat paket. Token ID lari manfiy bo‘lmagan butun sonlardir. Kirish budjeti: Eng ko‘p: 512 · Matn birligi: UTF8 baytlari · Token birligi: Tokenlar massivi elementlari	Standart—
Maydon`encoding_format`	Tur`string`	TalabIxtiyoriy	Qiymatlar va cheklovlar float	Standartfloat
Maydon`dimensions`	Tur`integer`	TalabQo‘llab-quvvatlanmaydi	Qiymatlar va cheklovlar Eng kam: 1	Standart—
Maydon`user`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`session_id`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`trace`	Tur`json_value`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: Manba ushbu JSON metama’lumot maydoniga ruxsat beradi; uning ta’minotchi xizmatidagi aniq ma’nosi modelga bog‘liq.	Standart—
Maydon`provider`	Tur`object`	TalabIxtiyoriy	Qiymatlar va cheklovlar Shartlar: provider.options rad etildi	Standart—

Kirish materiallari birikmalari

text_to_embedding

Usul parametrlari va hayot sikli

Parametr	Parametr talablari
Parametr`content_type`	Parametr talablariapplication/json
Parametr`required`	Parametr talablarimodel, input
Parametr`input_shapes`	Parametr talablaristring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Parametr`encoding_format`	Parametr talablarifloat
Parametr`dimensions_override`	Parametr talablarifalse
Parametr`max_input_budget_units`	Parametr talablari512
Parametr`multimodal_objects`	Parametr talablarifalse
Parametr`material_types`	Parametr talablaritext, token_ids

Hayot sikli: synchronous_json

Har bir vektorning indeksi va o‘lchamini saqlang.

Model nomida multimodal deyilgani aynan shu yo‘nalishda rasm obyektlariga ruxsat borligini anglatmaydi.

Tariflar

Tarif ma’lumotlari so‘rov imkoniyatlarini qo‘shmaydi. Qo‘llab-quvvatlanadigan parametrlar tanlangan usulda ko‘rsatilgan.

Tezkor rejim: Ko‘rsatilmagan Tezkor rejim tanlanganda
Flex rejimi: Ko‘rsatilmagan flex rejimi tanlanganda
Maksimal fikrlash darajasi: Ko‘rsatilmagan Maksimal fikrlash darajasi uchun standart (default) tuzatish qo‘llanganda

Ailoot tariflari

Sozlamalar bo‘yicha narxlar

Sozlama	Tariflar jadvali	To‘lov
SozlamaTokenlar uchun bazaviy tariflar	Tariflar jadvaliAsosiy tarif	To‘lov Kirish · Kirish tokenlari $0.00002 / 1K token Chiqish · Chiqish tokenlari $0 / 1K token Kirish · Keshdan o‘qish — / 1K token Kirish · Keshga yozish — / 1K token Kirish · Keshga yozish, 1 soat — / 1K token

Ailoot so‘rovdan oldin taxminiy summani band qiladi. Natijadan keyin o‘lchangan sarf asosidagi yakuniy to‘lovni yechadi. Oqimli javob bo‘yicha yakuniy hisob-kitob yakuniy sarf yozuviga asoslanadi. Summani band qilish va to‘lovni hisoblash tartibi →

So‘rov namunalari

Ailoot Ultra · Embeddinglar

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-large", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Natijalarni olish va saqlash

Ailoot Ultra · Embeddinglar

json

Barcha tayyor natijalarni saqlash

Qaytarilgan har bir to‘liq javob, fayl va kontent qismini saqlang.

Har bir vektorni indeksi bilan saqlang. Vektorlar soni kirish elementlari soniga teng bo‘lishi va o‘lchamlar bir xil bo‘lishi kerak.

Asl javobni tekshirish kerak bo‘lsa

Embedding vazifalari uchun endpoint qo‘shilmaydi.

Javob maydonlari

Maydon	Tur
Maydon`object`	Turstring
Maydon`model`	Turstring
Maydon`data[].index`	Turinteger
Maydon`data[].embedding`	Turfinite float[]
Maydon`usage`	Turobject

Xatolar va keyingi qadamlar

Javob	Shart	Keyingi qadam
Javob400 · `invalid_request_error`	ShartMajburiy maydonlar, material ifodasi yoki parametr qiymati noto‘g‘ri	Keyingi qadamYangi yaratish so‘rovidan oldin ko‘rsatilgan maydonlarni tuzating.

Taxalluslar

Model taxalluslari

Ailoot Ultra thenlper/gte-large

Usul yo‘llari taxalluslari

Yuqorida ko‘rsatilgan usul yo‘llaridan foydalaning.

Chaqirish uchun tegishli ID lar

thenlper/gte-large

FAQ · Thenlper: GTE-Large

Qanday kirish ma’lumotlari va natijalar mavjud?: POST /v1/embeddings · thenlper/gte-large: text, token_ids → embedding
So‘rov qaysi maydonlardan foydalanadi?: POST /v1/embeddings · thenlper/gte-large: model, input, encoding_format, provider
Qanday cheklovlar amal qiladi?: POST /v1/embeddings · thenlper/gte-large: input.budget.maximum: 512 (UTF8 baytlari); input.min_items: 1

Thenlper: GTE-Large