Intfloat: E5-Large-v2
intfloat E5-Large-v2 koodaa englanninkieliset kyselyt ja katkelmat 1024-ulotteisiksi vektoreiksi. Sen 24-kerroksinen malli käyttää query/passage-rooleja, keskiarvopoolingia ja 512 tokenin syöterajaa hakuun, semanttiseen samankaltaisuuteen ja numeerisiin tekstipiirteisiin.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
E5-Large-v2 on intfloatin 24-kerroksinen englanninkielinen tekstiupotusmalli, jonka tulos on 1024-ulotteinen. Se on suunniteltu esittämään kyselyt ja katkelmat numeerisesti tiedonhakua ja muita upotustehtäviä varten. E5:n valmistelukäytäntö on osa sen koulutusta: syötetekstissä on roolietuliite, ja koodatut tokenesitykset yhdistetään poolingilla yhdeksi kyseisen tekstin vektoriksi.
Pidä query- ja passage-roolit selvinä
Aloita epäsymmetrisessä tiedonhaussa kysymys etuliitteellä ”query:” ja korpusteksti etuliitteellä ”passage:”. Nämä roolit erottavat käyttäjän etsimän asian materiaalista, joka voi vastata siihen. Valmistaja suosittelee ”query:”-etuliitettä upotettaville teksteille symmetriseen vertailuun, parafraasihakuun, ryhmittelyyn tai luokittelupiirteisiin.
Käytännön kokoelma voi indeksoida englanninkielisiä tukiselityksiä. Valmistele kysymys, kuten ”query: What should I check before replacing the connector?”, ja yhdistä se tarkistukset sekä poikkeukset kuvaaviin lähdekatkelmiin. Katkelmateksti säilyttää vastaavan etuliitteensä. Tallenna lähdetunniste ja alkuperäinen sanamuoto jokaisen vektorin rinnalle, jotta tulos voi palauttaa käyttäjän tarvitseman luettavan materiaalin.
Etuliitteet eivät ole koristeellisia nimikkeitä, jotka voidaan poistaa tehtävän toiselta puolelta. Valmistajan mukaan niiden pois jättäminen heikentää hakutuloksia, koska malli koulutettiin tällä valmistelulla. Käytä valittua roolia johdonmukaisesti korpusta rakennettaessa ja myöhemmin kyselyä upotettaessa.
Keskiarvopooling ja normalisoidut vektorit
Virallinen koodausesimerkki keskiarvoistaa tokenesitykset ja sulkee täytepositiot pois attention-maskin avulla. Sen jälkeen se normalisoi tulosvektorin. Normalisoitujen kysely- ja katkelmavektorien pistetulo antaa kosinisamankaltaisuuden ehdokkaiden järjestämiseen. Tämä keskiarvopoolingin menetelmä kuuluu E5-Large-v2:een; toisen malliperheen ensimmäisen tokenin pooling-menetelmä on erillinen valmisteluvalinta.
1024 tulosarvoa muodostavat upotuksen, eivät kirjallista vastausta tai suoraa luokkatunnusta. Hakuvaihe vertaa näitä arvoja yhteensopiviin korpusesityksiin, ja myöhempi vaihe käyttää valittua katkelmatekstiä. Jos vektorit toimivat ryhmittelyn tai luokittimen piirteinä, säilytä kunkin vektorin yhteys siihen syötetietueeseen, jonka piirteitä se esittää.
Englanninkielinen teksti ikkunan sisällä
Mallikortti määrittelee vain englanninkielisen tekstin ja pitkien syötteiden katkaisun enintään 512 tokeniin. Pidä jokainen asiakirjakatkelma yhtenäisenä tämän ikkunan sisällä, mukaan lukien roolietuliite ja hyödyllinen lähdekonteksti. Pitkä käyttöopas tulisi valmistella osiksi, joiden otsikot, ehdot ja ohjeet voidaan ymmärtää erikseen haettuina.
Esimerkiksi asetusta kuvaava lauseke voi tarvita asetuksen määritelmän ja seuraavan virkkeen poikkeuksen. Säilytä tämä pieni kokonaisuus yhdessä sen sijaan, että jakaisit tekstin pelkän merkkimäärän perusteella. Pidä pääasiakirja ja lähdeversio katkelman yhteydessä, jotta päivitys korvaa oikean materiaalin.
Lue järjestys tiedonhaun evidenssinä
Valmistaja selittää, että kosinipisteiden järjestys merkitsee enemmän kuin niiden absoluuttiset arvot. Pistemäärää ei tulisi tulkita kalibroiduksi todennäköisyydeksi sille, että katkelma vastaa kysymykseen. Tarkista tunnetut vastauksen sisältävät katkelmat ja niitä lähellä oleva epäolennainen materiaali, kun valitset säilytettävien tulosten määrää tai ehdokasjoukon suodatuskohtaa.
Hyödyllinen tulos on korpus- tai kyselyesitys, semanttisen vertailun signaali tai numeeriset piirteet toiseen tehtävään. Tämä täsmällinen englanninkielinen Large v2 -checkpoint pysyy erillään E5-Base-v2:sta ja Multilingual-E5-Largesta. Pelkät samat ulottuvuudet eivät tee niiden vektoreista dokumentoitua yhteistä upotusavaruutta.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2Aloitus
intfloat E5-Large-v2 koodaa englanninkieliset kyselyt ja katkelmat 1024-ulotteisiksi vektoreiksi. Sen 24-kerroksinen malli käyttää query/passage-rooleja, keskiarvopoolingia ja 512 tokenin syöterajaa hakuun, semanttiseen samankaltaisuuteen ja numeerisiin tekstipiirteisiin.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat intfloat/e5-large-v2 | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Ei määritetty Kun nopea tila on valittu
- Flex-tila
- Ei määritetty Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Ei määritetty Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00002 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra intfloat/e5-large-v2
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Intfloat: E5-Large-v2
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(UTF8-tavut);input.min_items:1