Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base anglų kalbos tekstą atvaizduoja 768 matmenų vektoriais informacijos paieškai ir semantinio panašumo vertinimui. Šis konkretus modelis naudoja vidurkinimą, palaiko iki 512 žetonų sekas ir dokumentuoja kosinuso tipo palyginimą su pasirenkamu normalizavimu.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
GTE-base yra bazinio dydžio General Text Embeddings modelis, išmokytas Alibaba DAMO Academy. Šis anglų kalbos teksto koduotuvas daugiausia pagrįstas BERT architektūra ir sukuria 768 matmenų tankiuosius vektorius. Jo mokymui naudojamas didelis susijusių tekstų porų korpusas iš skirtingų sričių; tarp nurodytų taikymų yra informacijos paieška, semantinio tekstų panašumo vertinimas ir įterpiniais pagrįstas tekstų perrikiavimas.
Paruoškite anglų kalbos užklausas ir ištraukas
Naudokite skaitomą anglų kalbos tekstą ir informacijos poreikiui, ir ieškomai medžiagai. Pavyzdžiui, užklausą apie susidėvėjusio komponento keitimą galima palyginti su trumpais priežiūros skyriais, aprašančiais keitimo kriterijus, patikros veiksmus ir užsakymo instrukcijas. Išsaugokite komponento pavadinimą ir sąlygas, kurios šiuos skyrius skiria.
Paskelbtame pavyzdyje klausimai ir kandidatų tekstas koduojami tiesiogiai, be pridėtos užduoties instrukcijos. Tokį paruošimą išlaikykite nuoseklų kolekcijoje ir vėlesnėse užklausose. Originalią ištrauką ir jos identifikatorių saugokite šalia vektoriaus, kad surikiuotas rezultatas galėtų parodyti atvaizduotą informaciją.
Vidurkinimas ir palyginimas
Etaloninė procedūra vidurkina modelio žetonų atvaizdus naudodama dėmesio kaukę ir neleisdama užpildymo pozicijoms prisidėti prie rezultato. Tada ji parodo pasirenkamą L2 normalizavimą ir normalizuotus vektorius palygina jų skaliarine sandauga. Atskirame pavyzdyje naudojamas kosinuso panašumas.
Indeksavimui ir paieškai pasirinkite bei išsaugokite nuoseklius normalizavimo ir palyginimo nustatymus. Išvestyje yra 768 skaitiniai komponentai; sugeneruoto atsakymo joje nėra. Kandidatų perrikiavimo etape kandidatines ištraukas koduokite tuo pačiu modeliu ir rikiuokite pagal panašumą į užklausą. Tai lieka įterpiniais pagrįstas palyginimas, o ne teiginys, kad modelis kartu skaito kiekvieną užklausos ir ištraukos porą kaip kryžminis koduotuvas.
Anglų kalbos aprėptis ir 512 žetonų įvestys
Konkrečioje kortelėje modelis apribotas anglų kalbos tekstu ir nurodyta, kad ilgos įvestys nukerpamos iki daugiausia 512 žetonų. Todėl ilgas vadovas prieš indeksavimą turėtų būti padalytas į prasmingus skyrius. Įspėjimą, išimtį ar patikslinimą išsaugokite kartu su taisykle, kurią jie keičia, kai šių detalių reikia ištraukai suprasti.
Užklausai apie priežiūros intervalus skyrius, kuriame pateiktas intervalas ir eksploatavimo sąlyga, naudingesnis už fragmentą, kuriame yra tik skaičius. Išsaugokite antraštę arba įrangos tapatybę, kai tai padeda vienareikšmiškai suprasti instrukciją. Tikrinkite įvesties ilgį žetonais, užuot pasikliovę matomu žodžių skaičiumi.
Naudokite balą pagrindžiančias šaltinio ištraukas
Paieška grąžina kandidatus iš indeksuotos kolekcijos. Patikrinkite pirmaujančias ištraukas pagal konkrečią užduotį ir išsaugokite jų vietas šaltinyje, perduodami jas RAG atsakymo rašymo etapui. Susijusi ištrauka gali aptarti patikrą, bet nesuteikti pagrindo keisti; šis skirtumas turi likti matomas šaltinio medžiagoje.
GTE-base skiriasi nuo GTE-large, kuris sukuria 1024 matmenų vektorius, ir nuo vėlesnių daugiakalbių ar išplėsto konteksto GTE versijų. Paskelbta jo modelio tapatybė apibrėžia anglų kalbos aprėptį, 768 komponentų reprezentaciją ir 512 žetonų ribą. Vertindami paieškos kolekciją naudokite šį konkretų profilį su reprezentatyviomis užklausomis ir šaltinio įrašais.
Ailoot Ultra · Įterpiniai POST /v1/embeddings thenlper/gte-base
thenlper/gte-basePradžia
Alibaba DAMO Academy GTE-base anglų kalbos tekstą atvaizduoja 768 matmenų vektoriais informacijos paieškai ir semantinio panašumo vertinimui. Šis konkretus modelis naudoja vidurkinimą, palaiko iki 512 žetonų sekas ir dokumentuoja kosinuso tipo palyginimą su pasirenkamu normalizavimu.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos thenlper/gte-base | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00001 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra thenlper/gte-base
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Thenlper: GTE-Base
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(UTF8 baitai);input.min_items:1