Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large koodaa monikielisen tekstin 1024-ulotteisiksi vektoreiksi 24-kerroksisella mallilla. Se tukee XLM-R:n sadan kielen laajuutta, käyttää englanninkielisiä query/passage-etuliitteitä kaikilla kielillä ja katkaisee syötteet 512 tokeniin.
Tietoa mallista
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Multilingual-E5-Large on intfloatin monikielinen tiheiden tekstiupotusten malli, jossa on 24 kerrosta ja 1024-ulotteinen tulos. Se on alustettu XLM-RoBERTa Largesta ja koulutettu edelleen monikielisellä datalla. Mallikortti kuvaa tuen XLM-R:n sadan kielen laajuudelle ja huomauttaa samalla heikommasta suorituskyvystä vähäresurssisilla kielillä. Sen vektorit esittävät tekstiä tiedonhakuun, semanttiseen vertailuun ja numeerisiin piirteisiin perustuviin tehtäviin.
Säilytä syötteen rooli kaikilla kielillä
Opitut etuliitteet ovat ”query:” ja ”passage:”, myös muussa kuin englanninkielisessä tekstissä. Hakukysely ja sen korpuskatkelmat käyttävät vastaavia roolejaan. Etuliitteet säilyvät näinä englanninkielisinä merkkijonoina, ja lähdetekstin sanamuoto säilyttää oman kielensä. Valmistaja suosittelee ”query:”-etuliitettä symmetriseen semanttiseen samankaltaisuuteen, parafraasien hakuun, rinnakkaistekstien louhintaan tai piirrekäyttöön.
Käytännön kokoelma voi sisältää dokumentaatiota useilla tuetuilla kielillä. Säilytä kunkin katkelman kieli, alkuperäinen teksti ja lähdesijainti vektorin yhteydessä. Valmistele yleisön todellisia hakukysymyksiä sen sijaan, että olettaisit yhden englanninkielisen testin edustavan koko kokoelmaa. Tuloksen tulisi palauttaa todellinen katkelma konteksteineen, jotta lukija voi arvioida, mitä siinä sanotaan.
Pidä vertailun tarkoitus selkeänä monikielisessä vastaavuustehtävässä. Mahdollinen käännöspari ja tukevaa katkelmaa etsivä kysely tarvitsevat erilaisen valmistelun. Mallin roolietuliiteohje antaa näihin tehtäviin konkreettisen käytännön; etuliitteen jättäminen pois ei ole dokumentoidusti vastaava tapa, koska se muuttaa koulutuksessa käytettyä syötemallia.
Pooling ja vektorivertailu
Valmistajan esimerkki keskiarvoistaa tokenesitykset attention-maskin avulla täytepositiot pois lukien ja normalisoi sitten vektorin. Normalisoitujen vektorien pistetulot antavat kosinisamankaltaisuuden. 1024-ulotteinen taulukko esittää yhtä valmisteltua tekstiä. Säilytä täsmällisen mallin ja valmistelun yhteys tallennettuihin vektoreihin, jotta myöhemmät kyselyt käyttävät vastaavaa esitystä.
Nämä vektorit voivat antaa ehdokasjärjestyksiä tai piirteitä myöhempään ryhmittely- tai luokitteluvaiheeseen. Ne eivät käännä lähdettä tai kirjoita vastausta. Palauta taustalla oleva katkelmateksti, kun hakutuloksen on tarkoitus tukea lukijaa tai myöhempää RAG-generointivaihetta.
Koulutus ja kielikattavuus
Mallikortti dokumentoi heikosti ohjatun kontrastiivisen esikoulutuksen ja sitä seuraavan ohjatun hienosäädön. Monikielinen valmistelu sisältää esimerkiksi otsikko–katkelma-pareja, keskustelupareja ja käännöspareja, ja myöhempi vaihe käyttää merkittyä tiedonhaku- ja kielenymmärtämisdataa. Tämä selittää tarkoitetut tekstiesitystehtävät osoittamatta samanlaista suorituskykyä kaikilla kielillä.
Valmistaja yksilöi vähäresurssisten kielten suorituskyvyn heikkenemisen nimenomaiseksi rajoitukseksi. Tarkista kokoelman todelliset kielet ja sanamuodot, mukaan lukien lyhenteet, nimet ja erikoissanasto. Monikielinen nimike on hyödyllinen soveltamisalan kuvaus; palautetun tekstin relevanssi on silti tutkittava yleisön ja tehtävän kannalta.
Pituus ja hyödylliset tulokset
Pitkä syöte katkaistaan enintään 512 tokeniin. Valmistele pitkä asiakirja yhtenäisiksi katkelmiksi, joihin sisältyvät roolietuliite ja olennaiset otsikot. Säilytä määritelmät ja rajaukset sen väitteen vieressä, johon ne vaikuttavat, ja pidä pääasiakirjan tunniste sekä lähdeversio vektorin ulkopuolella.
Valmistaja suosittelee keskittymään suhteelliseen kosinipisteiden järjestykseen sen sijaan, että absoluuttista arvoa käsiteltäisiin yleispätevänä luottamusmittarina. Hyödyllinen tulos on ehdokaskatkelmien joukko, vertailukelpoiset tekstiesitykset tai alkuperäisiin tietueisiinsa liitetyt piirteet. Tämä täsmällinen malli pysyy erillään vain englanninkielisistä E5 v2 -checkpointeista ja ohjeisiin hienosäädetyistä E5-varianteista, vaikka toinenkin malli palauttaisi 1024 arvoa.
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeAloitus
intfloat Multilingual-E5-Large koodaa monikielisen tekstin 1024-ulotteisiksi vektoreiksi 24-kerroksisella mallilla. Se tukee XLM-R:n sadan kielen laajuutta, käyttää englanninkielisiä query/passage-etuliitteitä kaikilla kielillä ja katkaisee syötteet 512 tokeniin.
- Hyväksytyt syötteet
- Teksti · token_ids
- Tulokset
- embedding
Saatavilla Ailootissa · syötteet & menetelmät
Ailoot Ultra · Vektoriesitykset POST /v1/embeddings
- Syötetyypit
text,token_ids- Tulostyypit
embedding- Konteksti
- 512 tokens
- Tulosteen muoto
- json
| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat intfloat/multilingual-e5-large | Oletus— |
Kenttäinput | Tyyppistring|string[]|integer[]|integer[][] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 Ehdot: Ei-tyhjä, yhdenmukaisista alkioista koostuva erä. Tokenien ID:t ovat ei-negatiivisia kokonaislukuja. Syötebudjetti: Enimmäismäärä: 512 · Tekstiyksikkö: UTF8-tavut · Tokenyksikkö: Token-taulukon alkiot | Oletus— |
Kenttäencoding_format | Tyyppistring | VaatimusValinnainen | Arvot & rajat float | Oletusfloat |
Kenttädimensions | Tyyppiinteger | VaatimusEi tuettu | Arvot & rajat Vähimmäismäärä: 1 | Oletus— |
Kenttäuser | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäsession_id | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttätrace | Tyyppijson_value | VaatimusValinnainen | Arvot & rajat Ehdot: Lähde sallii tämän JSON-metatietokentän; tarkka alkuperäisen palvelun semantiikka on mallikohtainen. | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätty | Oletus— |
Syöteaineistojen yhdistelmät
text_to_embedding
Menetelmän parametrit ja elinkaari
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, input |
Parametriinput_shapes | Sopimusstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametriencoding_format | Sopimusfloat |
Parametridimensions_override | Sopimusfalse |
Parametrimax_input_budget_units | Sopimus512 |
Parametrimultimodal_objects | Sopimusfalse |
Parametrimaterial_types | Sopimustext, token_ids |
Elinkaari: synchronous_json
Säilytä jokaisen vektorin indeksi ja ulottuvuus.
Mallin nimen multimodaalisuus ei tarkoita, että tämä nimenomainen reitti hyväksyisi kuvaolioita.
Hinnoittelu
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
- Nopea tila
- Vakiohinta Kun nopea tila on valittu
- Flex-tila
- Vakiohinta Kun flex-tila on valittu
- Päättelyn enimmäisteho
- Vakiohinta Kun päättelyn enimmäistehoon sovelletaan default-oletussäätöä
Ailoot-hinnat
Hinnat asetusten mukaan
| Asetukset | Hinnasto | Veloitus |
|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Veloitus Syöte · Syötetokenit $0.00002 / 1K tokenia Tuloste · Tulostokenit $0 / 1K tokenia Syöte · Välimuistin luku — / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
Esimerkkipyynnöt
Ailoot Ultra · Vektoriesitykset
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Vastaanota ja tallenna tulokset
Ailoot Ultra · Vektoriesitykset
json
Säilytä kaikki valmistuneet tulokset
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vektori indekseineen. Vektorien määrän on vastattava syötteiden määrää; ulottuvuuksien on oltava yhdenmukaiset.
Jos alkuperäinen vastaus on tarkistettava
Uutta upotustehtävien päätepistettä ei oteta käyttöön.
Vastauksen kentät
| Kenttä | Tyyppi |
|---|---|
Kenttäobject | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttädata[].index | Tyyppiinteger |
Kenttädata[].embedding | Tyyppifinite float[] |
Kenttäusage | Tyyppiobject |
Virheet ja seuraavat vaiheet
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Aliakset
Mallin aliakset
Ailoot Ultra intfloat/multilingual-e5-large
Menetelmäpolkujen aliakset
Käytä yllä näytettyjä menetelmäpolkuja.
Liittyvät kutsujan ID:t
FAQ · Intfloat: Multilingual-E5-Large
- Mitä syötteitä ja tuloksia on saatavilla?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Mitä kenttiä pyyntö käyttää?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Mitä rajoja sovelletaan?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8-tavut);input.min_items:1