Thenlper: GTE-Large
Alibaba DAMO Academy GTE-large muuntaa englanninkielisen tekstin 1024-ulotteisiksi vektoreiksi tiedonhakuun, semanttiseen samankaltaisuuteen ja upotuspohjaiseen uudelleenjärjestelyyn. Sen viitemenetelmä käyttää keskiarvopoolingia, valinnaista normalisointia ja 512 tokenin enimmäissekvenssipituutta.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
GTE-large on Alibaba DAMO Academyn kouluttama suuri General Text Embeddings -malli. Se on pääosin BERT-kehykseen perustuva englanninkielinen tekstikooderi, joka antaa jokaiselle syötteelle 1024-ulotteisen tiheän esityksen. Valmistaja kouluttaa GTE-perheen eri aihealueiden relevanssitekstipareilla ja yksilöi jatkosovelluksiksi tiedonhaun, tekstien semanttisen samankaltaisuuden ja tekstien uudelleenjärjestelyn.
Esitä osion sisältö
Valmistele englanninkielinen katkelma, jota pitäisi verrata hakukyselyyn. Säilytä teknisten raporttien kokoelmassa lyhyen osion aihe, havainto ja olennainen ehto. Vain tietyllä kuormituksella esiintyvää värinää kuvaavan raportin tulisi säilyttää tämä ehto pelkän yleisen värinää koskevan väitteen sijaan.
Pidä lähdetunnisteet, asiakirjojen otsikot ja osioiden sijainnit tallennettujen vektorien yhteydessä. Kysely voi hakea ehdokasosioita, ja alkuperäinen raportti pysyy saatavilla laitteen, ehdon ja johtopäätöksen tarkistamiseen. Upotus antaa numeerisen esityksen katkelman sisällöstä.
Pooling, normalisointi ja vektorien käyttö
Julkaistu menetelmä käyttää tokenesitysten keskiarvopoolingia attention-maskin avulla ja sulkee täytepositiot pois keskiarvosta. Se näyttää myös valinnaisen L2-normalisoinnin ja sitä seuraavan normalisoitujen vektorien pistetulovertailun. Sentence Transformersin esimerkki käyttää kosinisamankaltaisuutta.
Säilytä samat valmistelu-, pooling- ja vertailuasetukset kokoelmassa ja kyselypuolella. Jokainen esitys sisältää 1024 komponenttia. Suurempi komponenttimäärä on version yksityiskohta; se ei osoita GTE-large-vektorien olevan sekoitettavissa 768-ulotteiseen GTE-base-esitykseen tai toiseen 1024-ulotteiseen kooderiin.
Uudelleenjärjestelytyönkulku voi verrata kyselyupotusta jo haettuun ehdokasupotusten joukkoon ja järjestää tietueet uudelleen. Säilytä ero tämän vektorivertailun ja kysely–katkelma-parin yhdessä arvioivan erillisen mallin välillä.
Syötepituus ja rajoittuminen englantiin
Mallikortti rajoittaa tämän täsmällisen mallin nimenomaisesti englanninkieliseen tekstiin ja katkaisee pitkät syötteet enintään 512 tokeniin. Jaa pitkä tekninen raportti yhtenäisiin osioihin ja säilytä riittävästi paikallista kontekstia, jotta kukin osio toimii itsenäisesti. Jos virke riippuu sitä edeltävästä rajauksesta, säilytä rajaus samassa indeksoidussa kokonaisuudessa, kun se mahtuu mukaan.
Tokenraja eroaa näkyvästä sanamäärästä. Tarkista valmistellun osion pituus ja varmista, ettei tarkoitetun haun tarvitsema yksityiskohta sijaitse katkaisun jälkeen säilyvän osan ulkopuolella.
Tutki haettu evidenssi
Esitä raporttihakusovelluksessa ehdokasosiot lähdesijainteineen ja tutki niiden todellinen sisältö. Samankaltaisilla havainnoilla voi olla eri syyt tai suositukset. Vektoripistemäärä auttaa järjestämään ehdokkaat valitulla vertailukokoonpanolla; se ei osoita raportin johtopäätöksen soveltuvan uuteen tilanteeseen.
Käytä RAGissa valittuja osioita vastauksenkirjoitusvaiheen lähdekontekstina ja säilytä niiden asiakirjayhteydet. Tämä täsmällinen GTE-large-profiili antaa englanninkieliset tiheät upotukset 1024 ulottuvuudella ja 512 tokenin syöterajalla. Myöhemmillä monikielisillä ja laajennetun kontekstin GTE-versioilla on erilliset identiteetit, joten niiden kielikattavuus tai syöteasetukset eivät seuraa tämän checkpointin malliperheen nimestä.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings thenlper/gte-large
thenlper/gte-largeAloitus
Alibaba DAMO Academy GTE-large muuntaa englanninkielisen tekstin 1024-ulotteisiksi vektoreiksi tiedonhakuun, semanttiseen samankaltaisuuteen ja upotuspohjaiseen uudelleenjärjestelyyn. Sen viitemenetelmä käyttää keskiarvopoolingia, valinnaista normalisointia ja 512 tokenin enimmäissekvenssipituutta.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat thenlper/gte-large | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00002 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra thenlper/gte-large
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Thenlper: GTE-Large
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·thenlper/gte-large:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·thenlper/gte-large:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·thenlper/gte-large:input.budget.maximum:512(UTF8-tavut);input.min_items:1