Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base іздеуге және семантикалық ұқсастыққа арналған ағылшын мәтінінің 768 өлшемді эмбеддингтерін жасайды. Осы нақты модель орташа пулингті қолданады, 512 токенге дейінгі тізбектерді қолдайды және міндетті емес нормалаумен косинустық салыстыруды құжаттайды.
Модель туралы
Бұл сипаттама модель мүмкіндіктерін қамтиды. Ailoot жүйесінде таңдалған әдіс үшін қолжетімді кіріс, шығыс және параметрлер төменде берілген.
GTE-base — Alibaba DAMO Academy оқытқан General Text Embeddings моделінің базалық өлшемді нұсқасы. Бұл ағылшын мәтінінің энкодері негізінен BERT құрылымына сүйенеді және 768 өлшемді тығыз векторлар жасайды. Оқыту әртүрлі салалардағы қатыстылықпен байланысқан жұптардың үлкен корпусын қолданады; мәлімделген қолданыстарға ақпарат іздеу, мәтіндердің семантикалық ұқсастығы және эмбеддинг негізінде мәтіндерді қайта ранжирлеу кіреді.
Ағылшын тіліндегі сұраулар мен үзінділерді дайындаңыз
Ақпарат қажеттілігі үшін де, ізделетін материал үшін де оқуға ыңғайлы ағылшын мәтінін қолданыңыз. Мысалы, тозған бөлшекті ауыстыру туралы сұрауды ауыстыру өлшемшарттарын, тексеру қадамдарын және тапсырыс нұсқауларын сипаттайтын қысқа техникалық қызмет бөлімдерімен салыстыруға болады. Бөлшек атауын және осы бөлімдерді ажырататын шарттарды сақтаңыз.
Жарияланған мысал сұрақтар мен кандидат мәтінді қосымша тапсырма нұсқауынсыз тікелей кодтайды. Жинақ пен кейінгі сұрауларда осы дайындау тәсілін бірізді ұстаңыз. Реттелген нәтиже көрсетілген ақпаратты көрсете алуы үшін бастапқы үзінді мен оның идентификаторын вектормен бірге сақтаңыз.
Орташа пулинг және салыстыру
Эталондық үлгі назар маскасын қолданып, толықтыру орындарының нәтижеге үлес қосуына жол бермей, модельдің токен көрсетілімдерінің орташа мәнін алады. Одан кейін міндетті емес L2 нормалауды көрсетіп, нормаланған векторларды скалярлық көбейтінді арқылы салыстырады. Бөлек мысал косинустық ұқсастықты қолданады.
Индекстеу мен іздеу үшін бірізді нормалау және салыстыру баптауларын таңдап, сақтаңыз. Шығыста 768 сандық компонент бар; генерацияланған жауап жоқ. Кандидаттарды қайта ранжирлеу кезеңінде кандидат үзінділерді сол модельмен кодтап, сұрауға ұқсастығы бойынша реттеңіз. Бұл — эмбеддингке негізделген салыстыру; модель әр сұрау–үзінді жұбын кросс-энкодер сияқты бірге оқиды деген мәлімдеме емес.
Ағылшын тілі және 512 токендік кіріс
Нақты карточка модельді ағылшын мәтінімен шектейді және ұзын кірістер ең көбі 512 токенге дейін қысқартылатынын айтады. Сондықтан ұзын нұсқаулық индекстеу алдында мағыналы бөлімдерге бөлінуі керек. Үзіндіні түсіндіру үшін қажет болса, ескерту, ерекшелік немесе нақтылауды өзі өзгертетін ережемен бірге сақтаңыз.
Қызмет көрсету аралықтары туралы сұрау үшін аралық пен пайдалану шартын қамтитын бөлім тек сан жазылған үзіндіден пайдалырақ. Нұсқаудағы екіұштылықты жойса, тақырыпты немесе жабдықты сәйкестендіретін мәліметті сақтаңыз. Көзге көрінетін сөз санына сүйенбей, токенизатор бойынша ұзындықты тексеріңіз.
Ұпайдың негізіндегі бастапқы үзінділерді пайдаланыңыз
Іздеу индекстелген жинақтан кандидаттарды қайтарады. Алдыңғы орындардағы үзінділерді нақты тапсырмаға сай тексеріп, RAG жауап жазу кезеңіне бергенде дереккөздегі орындарын сақтаңыз. Қатысты үзінді ауыстыруға рұқсат бермей, тек тексеруді сипаттауы мүмкін; бұл айырмашылық бастапқы материалда көрініп тұруы тиіс.
GTE-base 1024 өлшемді векторлар жасайтын GTE-large моделінен және кейінгі көптілді немесе кеңейтілген контексті GTE нұсқаларынан бөлек. Оның жарияланған модель сәйкестігі ағылшын тілі аясын, 768 компонентті көрсетілімді және 512 токендік шекараны анықтайды. Іздеу жинағын бағалағанда осы нақты профильді өкілдік сұраулармен және бастапқы жазбалармен бірге қолданыңыз.
Ailoot Ultra · Эмбеддингтер POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseБастау
Alibaba DAMO Academy GTE-base іздеуге және семантикалық ұқсастыққа арналған ағылшын мәтінінің 768 өлшемді эмбеддингтерін жасайды. Осы нақты модель орташа пулингті қолданады, 512 токенге дейінгі тізбектерді қолдайды және міндетті емес нормалаумен косинустық салыстыруды құжаттайды.
- Қабылданатын кіріс деректері
- Мәтін · token_ids
- Нәтижелер
- embedding
Ailoot жүйесінде қолжетімді · кіріс деректері мен әдістер
Ailoot Ultra · Эмбеддингтер POST /v1/embeddings
- Кіріс
text,token_ids- Шығыс
embedding- Шығыс пішімі
- json
| Өріс | Түрі | Талап | Мәндер мен шектеулер | Әдепкі |
|---|---|---|---|---|
Өрісmodel | Түріstring | ТалапМіндетті | Мәндер мен шектеулер thenlper/gte-base | Әдепкі— |
Өрісinput | Түріstring|string[]|integer[]|integer[][] | ТалапМіндетті | Мәндер мен шектеулер Элементтердің ең аз саны: 1 Шарттар: Бос емес, біртекті пакет. Токендердің ID мәндері — теріс емес бүтін сандар. Кіріс бюджеті: Ең көбі: 512 · Мәтін бірлігі: UTF8 байттары · Токен бірлігі: токендер массивінің элементтері | Әдепкі— |
Өрісencoding_format | Түріstring | ТалапМіндетті емес | Мәндер мен шектеулер float | Әдепкіfloat |
Өрісdimensions | Түріinteger | ТалапҚолдау көрсетілмейді | Мәндер мен шектеулер Ең азы: 1 | Әдепкі— |
Өрісuser | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісsession_id | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісtrace | Түріjson_value | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: Дереккөз бұл JSON метадерек өрісіне рұқсат береді; бастапқы провайдердегі нақты мағынасы модельге байланысты. | Әдепкі— |
Өрісprovider | Түріobject | ТалапМіндетті емес | Мәндер мен шектеулер Шарттар: provider.options қабылданбайды | Әдепкі— |
Кіріс материалдарының үйлесімдері
text_to_embedding
Әдіс параметрлері мен өмірлік циклі
| Параметр | Параметр талаптары |
|---|---|
Параметрcontent_type | Параметр талаптарыapplication/json |
Параметрrequired | Параметр талаптарыmodel, input |
Параметрinput_shapes | Параметр талаптарыstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Параметрencoding_format | Параметр талаптарыfloat |
Параметрdimensions_override | Параметр талаптарыfalse |
Параметрmax_input_budget_units | Параметр талаптары512 |
Параметрmultimodal_objects | Параметр талаптарыfalse |
Параметрmaterial_types | Параметр талаптарыtext, token_ids |
Өмірлік цикл: synchronous_json
Әрбір вектордың индексін және өлшемін сақтаңыз.
Модель атауының мультимодаль болуы осы нақты жолда кескін объектілерін қабылдауға рұқсат бермейді.
Тарифтер
Тариф анықтамасы сұрау мүмкіндіктерін қоспайды. Қолдау көрсетілетін параметрлер таңдалған әдісте берілген.
- Жылдам режим
- Көрсетілмеген Жылдам режим таңдалғанда
- Икемді режим
- Көрсетілмеген flex режимі таңдалғанда
- Ой қорытудың ең жоғары деңгейі
- Көрсетілмеген Ой қорыту деңгейі ең жоғары болып, default түзетуі қолданылғанда
Ailoot мөлшерлемелері
Баптаулар бойынша бағалар
| Баптау | Мөлшерлемелер кестесі | Төлем |
|---|---|---|
| БаптауТокендердің базалық тарифтері | Мөлшерлемелер кестесіНегізгі мөлшерлеме | Төлем Кіріс · Кіріс токендері $0.00001 / 1K токен Шығыс · Шығыс токендері $0 / 1K токен Кіріс · Кэшті оқу — / 1K токен Кіріс · Кэшке жазу — / 1K токен Кіріс · Кэшке жазу, 1 сағ — / 1K токен |
Ailoot сұрау алдында болжамды соманы резервтейді. Нәтижеден кейін өлшенген пайдалану көлемі бойынша қорытынды төлемді шегереді. Ағындық жауап үшін төлем соңғы пайдалану жазбасы негізінде шегеріледі. Резервтеу мен төлемді есептеу тәртібі →
Сұрау мысалдары
Ailoot Ultra · Эмбеддингтер
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Нәтижелерді алу және сақтау
Ailoot Ultra · Эмбеддингтер
json
Барлық дайын нәтижені сақтау
Қайтарылған әр толық жауапты, файлды және мазмұн бөлігін сақтаңыз.
Әрбір векторды индексімен бірге сақтаңыз. Векторлар саны кіріс элементтерінің санына тең болуы керек; өлшемдері бірдей болуы керек.
Бастапқы жауапты тексеру қажет болса
Эмбеддинг тапсырмасы үшін жаңа эндпоинт енгізілмейді.
Жауап өрістері
| Өріс | Түрі |
|---|---|
Өрісobject | Түріstring |
Өрісmodel | Түріstring |
Өрісdata[].index | Түріinteger |
Өрісdata[].embedding | Түріfinite float[] |
Өрісusage | Түріobject |
Қателер және келесі қадамдар
| Жауап | Шарт | Келесі қадам |
|---|---|---|
Жауап400 · invalid_request_error | ШартМіндетті өрістер, материалды ұсыну тәсілі немесе параметр мәні қате | Келесі қадамЖаңадан жасау сұрауын жібермес бұрын көрсетілген өрістерді түзетіңіз. |
Балама атаулар
Модельдердің балама атаулары
Ailoot Ultra thenlper/gte-base
Әдіс жолдарының балама атаулары
Жоғарыда көрсетілген әдіс жолдарын пайдаланыңыз.
Шақыруға арналған байланысты ID
FAQ · Thenlper: GTE-Base
- Қандай кіріс деректері мен нәтижелер қолжетімді?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Сұрау қандай өрістерді пайдаланады?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Қандай шектеулер қолданылады?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(UTF8 байттары);input.min_items:1