Thenlper: GTE-Large
Alibaba DAMO Academy GTE-large pretvori angleško besedilo v 1024-dimenzionalne vektorje za iskanje, semantično podobnost in ponovno razvrščanje na podlagi vektorskih vložitev. Referenčni postopek uporablja povprečenje, izbirno normalizacijo in največjo dolžino zaporedja 512 žetonov.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
GTE-large je velika različica modela General Text Embeddings, ki ga je učila Alibaba DAMO Academy. Je kodirnik angleškega besedila, temelječ predvsem na ogrodju BERT, z gosto 1024-dimenzionalno predstavitvijo za vsak vhod. Proizvajalec družino GTE uči na parih relevantnih besedil z različnih področij ter kot nadaljnje uporabe navaja iskanje, semantično podobnost besedil in ponovno razvrščanje besedila.
Predstavite vsebino razdelka
Pripravite angleški odlomek, ki ga želite primerjati z iskalno poizvedbo. Pri zbirki tehničnih poročil ohranite predmet kratkega razdelka, opažanje in ustrezni pogoj. Poročilo, ki opisuje vibracije le pri določeni obremenitvi, mora ta pogoj ohraniti, namesto da ostane le splošna navedba o vibracijah.
Identifikatorje virov, naslove dokumentov in mesta razdelkov ohranite s shranjenimi vektorji. Poizvedba lahko poišče kandidatne razdelke, izvirno poročilo pa ostane na voljo za preverjanje opreme, pogoja in sklepa. Vektorska vložitev zagotovi numerično predstavitev vsebine odlomka.
Združevanje, normalizacija in uporaba vektorjev
Objavljeni postopek uporablja povprečenje predstavitev žetonov z masko pozornosti, pri čemer iz povprečja izključi dopolnilne položaje. Prikazuje tudi izbirno normalizacijo L2, ki ji sledi primerjanje normaliziranih vektorjev s skalarnim produktom. Primer Sentence Transformers uporablja kosinusno podobnost.
Med zbirko in stranjo poizvedb ohranite enake nastavitve priprave, združevanja in primerjanja. Vsaka predstavitev vsebuje 1024 komponent. Večje število komponent je podrobnost različice; ne dokazuje, da je vektorje GTE-large mogoče mešati s 768-dimenzionalno predstavitvijo GTE-base ali drugim 1024-dimenzionalnim kodirnikom.
Postopek ponovnega razvrščanja lahko primerja vložitev poizvedbe z že pridobljenim naborom vložitev kandidatov in spremeni vrstni red teh zapisov. Ohranite razliko med tem vektorskim primerjanjem in ločenim modelom, ki skupaj ocenjuje par poizvedba–odlomek.
Dolžina vhoda in omejitev na angleščino
Kartica ta konkretni model izrecno omejuje na angleško besedilo in dolge vhode skrajša na največ 512 žetonov. Dolgo tehnično poročilo razdelite na smiselno povezane razdelke in za vsak razdelek ohranite dovolj lokalnega konteksta, da je samostojno razumljiv. Če je stavek odvisen od predhodnega pojasnila, to pojasnilo ohranite v isti indeksirani enoti, kadar se prilega.
Meja v žetonih se razlikuje od vidnega števila besed. Preverite dolžino pripravljenega razdelka in zagotovite, da podrobnost, potrebna za predvideno iskanje, ni zunaj dela, ki ostane po krajšanju.
Preverite najdeno dokazno gradivo
Pri aplikaciji za iskanje poročil predstavite kandidatne razdelke z njihovimi mesti v virih in preverite dejansko vsebino. Podobna opažanja imajo lahko različne vzroke ali priporočila. Vektorska ocena pomaga razvrstiti kandidate pri izbranem načinu primerjanja; ne dokazuje, da sklep poročila velja za novo situacijo.
Za RAG uporabite izbrane razdelke kot izvorni kontekst stopnje pisanja odgovora in ohranite njihove povezave z dokumenti. Ta konkretni profil GTE-large zagotavlja goste angleške vektorske vložitve s 1024 dimenzijami in vhodno mejo 512 žetonov. Poznejše večjezične različice GTE in različice z razširjenim kontekstom imajo ločene identitete, zato njihova jezikovna pokritost ali vhodne nastavitve ne izhajajo iz imena družine te konkretne kontrolne točke.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings thenlper/gte-large
thenlper/gte-largeZačetek
Alibaba DAMO Academy GTE-large pretvori angleško besedilo v 1024-dimenzionalne vektorje za iskanje, semantično podobnost in ponovno razvrščanje na podlagi vektorskih vložitev. Referenčni postopek uporablja povprečenje, izbirno normalizacijo in največjo dolžino zaporedja 512 žetonov.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve thenlper/gte-large | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00002 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra thenlper/gte-large
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Thenlper: GTE-Large
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·thenlper/gte-large:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·thenlper/gte-large:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·thenlper/gte-large:input.budget.maximum:512(bajti UTF8);input.min_items:1