Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base izdela 768-dimenzionalne vektorske vložitve angleškega besedila za iskanje in semantično podobnost. Ta konkretni model uporablja povprečenje, podpira zaporedja do 512 žetonov in dokumentira kosinusno primerjanje z izbirno normalizacijo.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
GTE-base je model General Text Embeddings osnovne velikosti, ki ga je učila Alibaba DAMO Academy. Ta kodirnik angleškega besedila temelji predvsem na ogrodju BERT in ustvarja goste 768-dimenzionalne vektorje. Njegovo učenje uporablja velik korpus parov relevantnih besedil z različnih področij, med navedenimi uporabami pa so iskanje informacij, semantična podobnost besedil in ponovno razvrščanje besedila na podlagi vektorskih vložitev.
Pripravite angleške poizvedbe in odlomke
Tako za informacijsko potrebo kot za gradivo, po katerem želite iskati, uporabite berljivo angleško besedilo. Poizvedbo o zamenjavi obrabljene komponente lahko na primer primerjate s kratkimi vzdrževalnimi razdelki, ki opisujejo merila za zamenjavo, korake pregleda in navodila za naročanje. Ohranite ime komponente in pogoje, ki razlikujejo te razdelke.
Objavljeni primer vprašanja in kandidatno besedilo kodira neposredno, brez dodanega navodila za nalogo. Takšno pripravo dosledno ohranite v zbirki in pri poznejših poizvedbah. Izvirni odlomek in njegov identifikator shranite ob vektorju, da lahko razvrščeni rezultat pokaže predstavljene informacije.
Povprečenje in primerjanje
Referenčni postopek povpreči modelove predstavitve žetonov z uporabo maske pozornosti ter prepreči, da bi dopolnilni položaji prispevali k rezultatu. Nato prikaže izbirno normalizacijo L2 in normalizirane vektorje primerja s skalarnim produktom. Ločen primer uporablja kosinusno podobnost.
Za indeksiranje in iskanje izberite ter ohranite dosledne nastavitve normalizacije in primerjanja. Izhod vsebuje 768 numeričnih komponent; ne vsebuje ustvarjenega odgovora. Za stopnjo ponovnega razvrščanja kandidatov kandidatne odlomke kodirajte z istim modelom in jih razvrstite po podobnosti s poizvedbo. To ostaja primerjanje na podlagi vložitev, ne trditev, da model vsak par poizvedba–odlomek skupaj bere kot navzkrižni kodirnik.
Angleški jezik in vhodi do 512 žetonov
Konkretna kartica model omejuje na angleško besedilo in navaja, da se dolgi vhodi skrajšajo na največ 512 žetonov. Dolg priročnik je zato treba pred indeksiranjem razdeliti na smiselne razdelke. Opozorilo, izjemo ali pojasnilo ohranite s pravilom, ki ga spreminja, kadar so te podrobnosti potrebne za razumevanje odlomka.
Pri poizvedbi o vzdrževalnih intervalih je razdelek z intervalom in obratovalnim pogojem uporabnejši kot odlomek, ki vsebuje le številko. Ohranite naslov ali podatke za identifikacijo opreme, kadar odpravijo dvoumnost navodila. Preverite dolžino z razčlenjevalnikom žetonov, namesto da se zanašate na vidno število besed.
Uporabite izvorne odlomke, na katerih temelji ocena
Iskanje vrne kandidate iz indeksirane zbirke. Najvišje uvrščene odlomke preglejte glede na konkretno nalogo in pri posredovanju stopnji pisanja odgovora RAG ohranite njihova mesta v virih. Povezan odlomek lahko govori o pregledu, ne da bi dovoljeval zamenjavo; ta razlika mora ostati vidna v izvornem gradivu.
GTE-base se razlikuje od GTE-large, ki ustvarja 1024-dimenzionalne vektorje, ter od poznejših večjezičnih različic GTE ali različic z razširjenim kontekstom. Njegova objavljena identiteta modela določa angleški jezikovni obseg, predstavitev s 768 komponentami in mejo 512 žetonov. Pri ocenjevanju iskalne zbirke uporabite ta konkretni profil z reprezentativnimi poizvedbami in izvornimi zapisi.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseZačetek
Alibaba DAMO Academy GTE-base izdela 768-dimenzionalne vektorske vložitve angleškega besedila za iskanje in semantično podobnost. Ta konkretni model uporablja povprečenje, podpira zaporedja do 512 žetonov in dokumentira kosinusno primerjanje z izbirno normalizacijo.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve thenlper/gte-base | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00001 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra thenlper/gte-base
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Thenlper: GTE-Base
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(bajti UTF8);input.min_items:1