Intfloat: E5-Base-v2
intfloat E5-Base-v2 muuntaa englanninkielisen tekstin 768-ulotteisiksi upotuksiksi 12-kerroksisella enkooderilla. Kysely- ja tekstijaksoetuliitteet sekä 512 tokenin ikkuna määrittävät, miten aineisto valmistellaan hakua, parafraasien vertailua, ryhmittelyä ja tekstipiirteitä varten.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
E5-Base-v2 on intfloatin 12-kerroksinen englanninkielinen upotusmalli, jonka esitys on 768-ulotteinen. Se muuntaa valmistellun tekstin yhdeksi numeeriseksi vektoriksi tiedonhakuun, semanttiseen vertailuun tai piirrekäyttöön toisessa tehtävässä. Base v2 -checkpoint eroaa 24-kerroksisesta, 1024-ulotteisesta Large v2 -versiosta sekä erikseen koulutetuista monikielisistä E5-malleista.
Käytä opittuja roolietuliitteitä
E5 odottaa roolia syötteen alussa. Katkelmien haussa kysymys alkaa etuliitteellä ”query:” ja sen mahdollinen vastauksen sisältävä lähde etuliitteellä ”passage:”. Valmistaja suosittelee ”query:”-etuliitettä molemmille puolille symmetrisiin tehtäviin, kuten semanttiseen samankaltaisuuteen ja parafraasien hakuun. Se suosittelee samaa etuliitettä myös silloin, kun vektorit toimivat ryhmittelyn tai luokittelun piirteinä.
Esimerkiksi palautekokoelma voi sisältää useita eri tavoin muotoiltuja pyyntöjä samasta parannuksesta. Koodaa nämä tietueet suositellulla symmetrisellä valmistelulla ja vertaa tai ryhmittele sitten tulosvektoreita. Säilytä alkuperäinen sanamuoto ja tietuetunniste kunkin esityksen yhteydessä, jotta ryhmää voidaan tutkia todellisina asiakasviesteinä selittämättömän lukujoukon sijaan.
Valmistele hakukokoelman kysymykset ja lähdekatkelmat vastaaviin rooleihinsa. Hyödyllinen kysely on ”query: Which setting changes the notification frequency?”. Korpuskatkelma säilyttää selityksen ja sen olennaiset ehdot. Etuliite on osa mallin koulutuksessa käytettyä valmistelua; valmistaja huomauttaa sen pois jättämisen heikentävän suorituskykyä.
Yhdistä esitys poolingilla ja vertaile sitä
Virallinen esimerkki laskee tokenesityksistä attention-maskin huomioivan keskiarvon täytepositiot pois lukien ja normalisoi sitten tulosvektorin. Normalisoitujen upotusten pistetulo antaa kosinisamankaltaisuuden. 768 tulosarvoa kuvaavat yhtä tekstiä; ne eivät ole vastaus, luokkatunnus tai parikohtaisen uudelleenjärjestäjän pistemäärä.
Ryhmittelytyönkulussa toinen vaihe muodostaa näistä vektoreista ryhmiä. Luokittelutyönkulussa toinen vaihe käyttää niitä syötepiirteinä. Eron säilyttäminen helpottaa tuloksen tulkintaa: upotus esittää tietueen, ja myöhempi tehtävä määrittää ryhmän tai tunnuksen. Käytä samaa mallia ja valmistelukäytäntöä johdonmukaisesti vertailtaviin esityksiin.
Työskentele englanniksi ja 512 tokenin rajoissa
Mallikortin mukaan tämä versio toimii vain englanniksi ja katkaisee pitkän tekstin enintään 512 tokeniin. Valmistele yhtenäiset katkelmat tämän pituuden sisään, mukaan lukien vaadittu roolietuliite. Pitkä arvio, raportti tai käyttöopas tulisi jakaa merkityksellisiin osiin sen sijaan, että se upotettaisiin liian suurena syötteenä, jonka loppu katoaa.
Pidä otsikko sen aloittamien virkkeiden yhteydessä ja säilytä säännön merkitystä muuttava ehto tai poikkeus. Säilytä lyhyiden tietueiden, kuten palautteen, koko viesti, kun se mahtuu mukaan. Vektorin rinnalla säilytetty lähdetunniste ja versio mahdollistavat oikean tietueen korvaamisen kokoelman myöhemmässä päivityksessä.
Tulkitse samankaltaisuus tehtävän kannalta
Valmistaja selittää, että suhteellinen kosinipisteiden järjestys on absoluuttista arvoa tärkeämpi. Suodatuskynnystä tulisi arvioida kokoelman omilla esimerkeillä, eikä vektorisamankaltaisuus ole kalibroitu todennäköisyys vastaavalle luokkatunnukselle tai oikealle vastaukselle. Tutki lähellä olevia tietueita ja tunnettuja epäsopivia osumia päättäessäsi vektorien käytöstä.
Hyödyllinen tuotos on englanninkielinen hakuindeksi, semanttinen vertailujoukko tai lähdetietueisiinsa yhdistetyt numeeriset tekstipiirteet. Tämä Base v2 -profiili antaa omat ulottuvuutensa, pooling-menetelmänsä ja roolivalmistelunsa; toisen E5-version vektorimuoto tai kielikattavuus ei osoita esityksiä keskenään vaihdettaviksi.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Aloitus
intfloat E5-Base-v2 muuntaa englanninkielisen tekstin 768-ulotteisiksi upotuksiksi 12-kerroksisella enkooderilla. Kysely- ja tekstijaksoetuliitteet sekä 512 tokenin ikkuna määrittävät, miten aineisto valmistellaan hakua, parafraasien vertailua, ryhmittelyä ja tekstipiirteitä varten.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat intfloat/e5-base-v2 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00001 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra intfloat/e5-base-v2
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Intfloat: E5-Base-v2
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(UTF8-tavut);input.min_items:1