Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large koduoja daugiakalbį tekstą į 1024 matmenų vektorius naudodamas 24 sluoksnių modelį. Jis palaiko šimto XLM-R kalbų aprėptį, visoms kalboms naudoja angliškus query/passage prefiksus ir nukerpa įvestis ties 512 žetonų riba.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Multilingual-E5-Large – intfloat daugiakalbis tankiųjų teksto įterpinių modelis, turintis dvidešimt keturis sluoksnius ir 1024 matmenų išvestį. Jis inicijuotas iš XLM-RoBERTa Large ir toliau mokytas naudojant daugiakalbius duomenis. Modelio kortelėje aprašomas šimto XLM-R kalbų palaikymas, kartu pažymint silpnesnius rezultatus kalboms, kurių ištekliai nedideli. Jo vektoriai atvaizduoja tekstą paieškai, semantiniam palyginimui ir skaitinių požymių užduotims.
Išlaikykite įvesties vaidmenį kiekviena kalba
Mokymo metu naudoti prefiksai yra „query:“ ir „passage:“, taip pat ir neangliškam tekstui. Paieškos užklausa ir jos tekstyno ištraukos naudoja atitinkamus vaidmenis. Prefiksai lieka šiomis angliškomis eilutėmis, o pirminė formuluotė išlaiko savo kalbą. Simetriniam semantiniam panašumui, perfrazuotų tekstų paieškai, dvikalbių tekstų porų gavybai ar požymių naudojimui gamintojas rekomenduoja „query:“.
Praktiniame rinkinyje gali būti dokumentacija keliomis palaikomomis kalbomis. Su kiekvienos ištraukos vektoriumi išsaugokite jos kalbą, pirminį tekstą ir šaltinio vietą. Paruoškite tikrus auditorijos paieškos klausimus, užuot manę, kad vienas angliškas bandymas atspindi visą rinkinį. Išvestis turėtų grąžinti tikrąją ištrauką ir jos kontekstą, kad skaitytojas galėtų įvertinti jos turinį.
Daugiakalbėje atitikčių užduotyje aiškiai išlaikykite palyginimo tikslą. Galima vertimų pora ir užklausa, ieškanti pagrindžiančios ištraukos, reikalauja skirtingo paruošimo. Modelio vaidmenų prefiksų gairės pateikia konkrečią šių užduočių konvenciją; prefikso praleidimas nėra dokumentuotas lygiavertis variantas, nes pakeičia mokyme naudotą įvesties šabloną.
Agregavimas ir vektorių palyginimas
Gamintojo pavyzdyje žetonų reprezentacijos vidurkinamos naudojant dėmesio kaukę užpildymo pozicijoms atmesti, o tada vektorius normalizuojamas. Normalizuotų vektorių skaliarinės sandaugos duoda kosinusinį panašumą. 1024 komponentų masyvas atvaizduoja vieną paruoštą tekstą. Išsaugokite tikslų modelį ir paruošimą susietus su saugomais vektoriais, kad vėlesnės užklausos naudotų atitinkamą reprezentaciją.
Šie vektoriai gali teikti kandidatų reitingus arba požymius vėlesniam grupavimo į klasterius ar klasifikavimo etapui. Jie neverčia šaltinio ir nekuria atsakymo. Grąžinkite pirminį ištraukos tekstą, kai paieškos rezultatas skirtas padėti skaitytojui arba vėlesniam RAG generavimo etapui.
Mokymas ir kalbų aprėptis
Modelio kortelėje dokumentuotas silpnai prižiūrimas kontrastinis išankstinis mokymas, po kurio atliekamas prižiūrimas tikslinimas. Daugiakalbis paruošimas apima tokią medžiagą kaip antraštės ir ištraukos poros, pokalbių poros ir vertimų poros, o žymėti paieškos bei kalbos supratimo duomenys naudojami vėlesniame etape. Tai paaiškina numatytas teksto reprezentavimo užduotis, bet nepatvirtina vienodų rezultatų kiekviena kalba.
Gamintojas aiškiai nurodo rezultatų pablogėjimą mažai išteklių turinčioms kalboms kaip ribojimą. Tikrinkite tikrąsias rinkinio kalbas ir formuluotes, įskaitant santrumpas, vardus bei pavadinimus ir specializuotą žodyną. Daugiakalbystės žyma naudingai apibūdina aprėptį; grąžinto teksto tinkamumą auditorijai ir užduočiai vis tiek reikia įvertinti.
Ilgis ir naudingi rezultatai
Ilga įvestis nukerpama iki ne daugiau kaip 512 žetonų. Ilgą dokumentą paruoškite kaip nuoseklias ištraukas su vaidmens prefiksu ir susijusiomis antraštėmis. Apibrėžimus ir išlygas išlaikykite šalia teiginio, kurį jie veikia, o pirminio dokumento identifikatorių ir šaltinio versiją saugokite už vektoriaus ribų.
Gamintojas rekomenduoja susitelkti į santykinę kosinusinių balų tvarką, o ne laikyti absoliučią reikšmę universaliu pasitikėjimo matu. Naudingas rezultatas – galimų ištraukų rinkinys, palyginamos teksto reprezentacijos arba su pirminiais įrašais susieti požymiai. Šis konkretus modelis lieka atskiras nuo tik angliškų E5 v2 kontrolinių taškų ir pagal instrukcijas tikslintų E5 variantų, net jei kitas modelis taip pat grąžina 1024 reikšmes.
Ailoot Ultra · Įterpiniai POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largePradžia
intfloat Multilingual-E5-Large koduoja daugiakalbį tekstą į 1024 matmenų vektorius naudodamas 24 sluoksnių modelį. Jis palaiko šimto XLM-R kalbų aprėptį, visoms kalboms naudoja angliškus query/passage prefiksus ir nukerpa įvestis ties 512 žetonų riba.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Kontekstas
- 512 tokens
- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos intfloat/multilingual-e5-large | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Standartinis įkainis Pasirinkus spartųjį režimą
- Flex režimas
- Standartinis įkainis Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Standartinis įkainis Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00002 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra intfloat/multilingual-e5-large
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Intfloat: Multilingual-E5-Large
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8 baitai);input.min_items:1