Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base upottaa englanninkielisen tekstin 768-ulotteisiksi vektoreiksi tiedonhakuun ja semanttiseen samankaltaisuuteen. Täsmällinen malli käyttää keskiarvopoolingia, tukee enintään 512 tokenin sekvenssejä ja dokumentoi kosinityyppisen vertailun valinnaisella normalisoinnilla.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
GTE-base on Alibaba DAMO Academyn kouluttama peruskokoinen General Text Embeddings -malli. Tämä englanninkielinen tekstikooderi perustuu pääosin BERT-kehykseen ja tuottaa 768-ulotteiset tiheät vektorit. Sen koulutus käyttää laajaa eri aihealueiden relevanssiparien korpusta, ja ilmoitettuja käyttökohteita ovat tiedonhaku, tekstien semanttinen samankaltaisuus ja upotuspohjainen tekstien uudelleenjärjestely.
Valmistele englanninkieliset kyselyt ja katkelmat
Käytä luettavaa englanninkielistä tekstiä sekä tiedontarpeeseen että haettavaan materiaaliin. Esimerkiksi kuluneen osan vaihtamista koskevaa kyselyä voidaan verrata lyhyisiin huolto-osioihin, jotka kuvaavat vaihtokriteerit, tarkastusvaiheet ja tilausohjeet. Säilytä osan nimi ja osioita erottavat ehdot.
Julkaistu esimerkki koodaa kysymykset ja ehdokastekstin suoraan ilman lisättyä tehtäväohjetta. Pidä valmistelu yhtenäisenä kokoelmassa ja myöhemmissä kyselyissä. Tallenna alkuperäinen katkelma ja sen tunniste vektorin rinnalle, jotta järjestetty tulos voi näyttää esitetyn tiedon.
Keskiarvopooling ja vertailu
Viitemenetelmä keskiarvoistaa mallin tokenesitykset attention-maskin avulla, jolloin täytepositiot eivät vaikuta tulokseen. Sen jälkeen se näyttää valinnaisen L2-normalisoinnin ja vertaa normalisoituja vektoreita niiden pistetulolla. Erillinen esimerkki käyttää kosinisamankaltaisuutta.
Valitse ja säilytä yhtenäinen normalisointi- ja vertailukokoonpano indeksointiin ja hakuun. Tulos sisältää 768 numeerista komponenttia; se ei sisällä generoitua vastausta. Koodaa ehdokkaiden uudelleenjärjestelyvaiheessa ehdokaskatkelmat samalla mallilla ja järjestä ne kyselysamankaltaisuuden perusteella. Tämä pysyy upotuspohjaisena vertailuna, eikä tarkoita mallin lukevan jokaista kysely–katkelma-paria yhdessä cross-encoderin tavoin.
Englannin soveltamisala ja 512 tokenin syötteet
Täsmällinen mallikortti rajoittaa mallin englanninkieliseen tekstiin ja ilmoittaa pitkien syötteiden katkaisun enintään 512 tokeniin. Pitkä käyttöopas tulisi siksi muuttaa merkityksellisiksi osioiksi ennen indeksointia. Pidä varoitus, poikkeus tai rajaus sen muuttaman säännön yhteydessä aina, kun yksityiskohtia tarvitaan katkelman tulkitsemiseen.
Huoltovälejä koskevaan kyselyyn välin ja käyttöolosuhteen sisältävä osio on hyödyllisempi kuin pelkän luvun sisältävä fragmentti. Säilytä otsikko tai laitteen identiteetti, kun se tekee ohjeen yksiselitteiseksi. Tarkista tokenisaattoripituus näkyvään sanamäärään luottamisen sijaan.
Käytä pistemäärän taustalla olevia lähdekatkelmia
Haku palauttaa ehdokkaat indeksoidusta kokoelmasta. Tutki kärjessä olevat katkelmat täsmällistä tehtävää varten ja säilytä niiden lähdesijainnit välittäessäsi ne RAG-vastauksenkirjoitusvaiheeseen. Asiaan liittyvä katkelma voi käsitellä tarkastusta antamatta lupaa osan vaihtamiseen; eron on pysyttävä näkyvissä lähdemateriaalissa.
GTE-base eroaa 1024-ulotteiset vektorit tuottavasta GTE-largesta sekä myöhemmistä monikielisistä tai laajennetun kontekstin GTE-versioista. Sen julkaistu malli-identiteetti määrittelee englannin soveltamisalan, 768-komponenttisen esityksen ja 512 tokenin rajan. Käytä tätä täsmällistä profiilia edustavien kyselyjen ja lähdetietueiden kanssa arvioidessasi hakukokoelmaa.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseAloitus
Alibaba DAMO Academy GTE-base upottaa englanninkielisen tekstin 768-ulotteisiksi vektoreiksi tiedonhakuun ja semanttiseen samankaltaisuuteen. Täsmällinen malli käyttää keskiarvopoolingia, tukee enintään 512 tokenin sekvenssejä ja dokumentoi kosinityyppisen vertailun valinnaisella normalisoinnilla.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat thenlper/gte-base | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00001 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra thenlper/gte-base
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Thenlper: GTE-Base
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(UTF8-tavut);input.min_items:1