Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base vytvára embeddingy anglického textu ako 768-rozmerné vektory na vyhľadávanie a sémantickú podobnosť. Tento konkrétny model používa priemerovanie reprezentácií, podporuje sekvencie do 512 tokenov a dokumentuje kosínusové porovnávanie s voliteľnou normalizáciou.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
GTE-base je model General Text Embeddings základnej veľkosti trénovaný spoločnosťou Alibaba DAMO Academy. Tento enkodér anglického textu vychádza najmä z rámca BERT a vytvára 768-rozmerné husté vektory. Pri trénovaní používa veľký korpus párov vyjadrujúcich relevantnosť naprieč oblasťami; medzi uvedenými použitiami sú vyhľadávanie informácií, sémantická podobnosť textov a preusporiadanie textových výsledkov pomocou embeddingov.
Pripravte anglické dopyty a pasáže
Pre informačnú potrebu aj prehľadávaný materiál používajte čitateľný anglický text. Napríklad dopyt o výmene opotrebovaného komponentu možno porovnať s krátkymi časťami o údržbe, ktoré opisujú kritériá výmeny, kroky kontroly a pokyny na objednanie. Zachovajte názov komponentu a podmienky, ktoré tieto časti rozlišujú.
Zverejnený príklad kóduje otázky a kandidátsky text priamo, bez pridanej inštrukcie úlohy. Túto prípravu udržujte konzistentnú v kolekcii aj neskorších dopytoch. Pôvodnú pasáž a jej identifikátor uložte vedľa vektora, aby zoradený výsledok mohol ukázať reprezentovanú informáciu.
Priemerovanie reprezentácií a porovnávanie
Referenčný postup priemeruje reprezentácie tokenov modelu pomocou masky pozornosti, čím bráni pozíciám výplne prispievať do výsledku. Potom ukazuje voliteľnú normalizáciu L2 a porovnáva normalizované vektory ich skalárnym súčinom. Samostatný príklad používa kosínusovú podobnosť.
Pre indexovanie a vyhľadávanie vyberte a zachovajte jednotné nastavenie normalizácie a porovnávania. Výstup obsahuje 768 číselných zložiek, nie generovanú odpoveď. Vo fáze preusporiadania kandidátov kódujte kandidátske pasáže tým istým modelom a zoraďte ich podľa podobnosti s dopytom. Stále ide o porovnávanie založené na embeddingoch, nie o tvrdenie, že model spoločne číta každú dvojicu dopyt–pasáž ako cross-encoder.
Anglický rozsah a vstupy s 512 tokenmi
Konkrétna karta obmedzuje tento model na anglický text a uvádza skracovanie dlhých vstupov na maximum 512 tokenov. Dlhá príručka sa preto má pred indexovaním rozdeliť na zmysluplné časti. Varovanie, výnimku alebo spresnenie zachovajte s pravidlom, ktoré menia, vždy keď sú potrebné na interpretáciu pasáže.
Pri dopyte na intervaly údržby je časť s intervalom a prevádzkovou podmienkou užitočnejšia než fragment obsahujúci iba číslo. Nadpis alebo identitu zariadenia zachovajte tam, kde spresňujú pokyn. Overte dĺžku podľa tokenizéra namiesto spoliehania sa na viditeľný počet slov.
Použite zdrojové pasáže, z ktorých vychádza skóre
Vyhľadávanie vracia kandidátov z indexovanej kolekcie. Preskúmajte vedúce pasáže vzhľadom na konkrétnu úlohu a zachovajte ich zdrojové umiestnenia pri odovzdávaní do fázy písania odpovede RAG. Súvisiaca pasáž môže rozoberať kontrolu bez povolenia výmeny; tento rozdiel musí zostať viditeľný v zdrojovom materiáli.
GTE-base sa odlišuje od GTE-large, ktorý vytvára 1024-rozmerné vektory, aj od neskorších viacjazyčných edícií GTE či edícií s rozšíreným kontextom. Zverejnená identita modelu určuje anglický rozsah, reprezentáciu so 768 zložkami a hranicu 512 tokenov. Pri posudzovaní vyhľadávacej kolekcie používajte tento konkrétny profil s reprezentatívnymi dopytmi a zdrojovými záznamami.
Ailoot Ultra · Embeddingy POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseÚvod
Alibaba DAMO Academy GTE-base vytvára embeddingy anglického textu ako 768-rozmerné vektory na vyhľadávanie a sémantickú podobnosť. Tento konkrétny model používa priemerovanie reprezentácií, podporuje sekvencie do 512 tokenov a dokumentuje kosínusové porovnávanie s voliteľnou normalizáciou.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity thenlper/gte-base | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00001 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra thenlper/gte-base
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Thenlper: GTE-Base
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(bajty UTF8);input.min_items:1