Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large večjezično besedilo kodira v 1024-razsežne vektorje s 24-plastnim modelom. Podpira sto jezikov v okviru XLM-R, za vsak jezik uporablja angleška predponska niza query/passage in vhode skrajša pri 512 žetonih.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
Multilingual-E5-Large je večjezični model gostih besedilnih embeddingov intfloat s štiriindvajsetimi plastmi in 1024-razsežnim izhodom. Inicializiran je iz XLM-RoBERTa Large in dodatno učen na večjezičnih podatkih. Kartica modela opisuje podporo stotim jezikom v okviru XLM-R ter opozarja na slabšo zmogljivost pri jezikih z malo razpoložljivimi podatki. Njegovi vektorji predstavljajo besedilo za pridobivanje informacij, semantično primerjavo in naloge s številčnimi značilkami.
V vsakem jeziku ohranite vlogo vhoda
Naučena predponska niza sta “query:” in “passage:”, tudi za neangleško besedilo. Iskalna poizvedba in odlomki korpusa uporabljajo ustrezni vlogi. Predponi ostaneta angleška niza, izvirno besedilo pa ohrani svoj jezik. Za simetrično semantično podobnost, iskanje parafraz, iskanje vzporednih besedil ali uporabo značilk proizvajalec priporoča “query:”.
Praktična zbirka lahko vsebuje dokumentacijo v več podprtih jezikih. Jezik vsakega odlomka, izvirno besedilo in izvorno mesto ohranite z njegovim vektorjem. Pripravite dejanska iskalna vprašanja občinstva, namesto da bi domnevali, da en angleški preizkus predstavlja celotno zbirko. Izhod naj vrne dejanski odlomek in njegov kontekst, da lahko bralec oceni njegovo vsebino.
Pri večjezičnem ujemanju jasno ohranite namen primerjave. Kandidatni par prevodov in poizvedba, ki išče podporni odlomek, zahtevata različno pripravo. Modelova navodila glede predpon vlog dajejo konkretno konvencijo za te naloge; izpust predpone ni dokumentiran ekvivalent, ker spremeni vzorec vhoda, uporabljen pri učenju.
Združevanje predstavitev in primerjava vektorjev
Proizvajalčev primer povpreči predstavitve žetonov z masko pozornosti, ki izloči položaje zapolnitve, in nato normalizira vektor. Skalarni produkti normaliziranih vektorjev dajejo kosinusno podobnost. Polje s 1024 razsežnostmi predstavlja eno pripravljeno besedilo. Točno določen model in pripravo ohranite povezana s shranjenimi vektorji, da poznejše poizvedbe uporabljajo ustrezno predstavitev.
Ti vektorji lahko dajo vrstni red kandidatov ali značilke za poznejšo stopnjo gručenja oziroma razvrščanja. Ne prevajajo izvornega besedila in ne sestavljajo odgovora. Izvorno besedilo odlomka vrnite, kadar naj rezultat pridobivanja podpira bralca ali poznejšo stopnjo generiranja RAG.
Učenje in jezikovni obseg
Kartica modela dokumentira šibko nadzorovano kontrastivno predučenje, ki mu sledi nadzorovano dodatno učenje. Večjezična priprava vključuje gradivo, kot so pari naslov–odlomek, pogovorni pari in prevodni pari, poznejšo stopnjo pa zagotavljajo označeni podatki za pridobivanje informacij in razumevanje jezika. To pojasni predvidene naloge predstavljanja besedila, ne dokazuje pa enake zmogljivosti v vseh jezikih.
Proizvajalec slabšo zmogljivost v jezikih z malo podatki izrecno navaja kot omejitev. Preverite dejanske jezike in formulacije zbirke, vključno z okrajšavami, imeni in strokovnim besediščem. Večjezična oznaka uporabno opisuje obseg; relevantnost vrnjenega besedila za občinstvo in nalogo je treba še vedno pregledati.
Dolžina in uporabni rezultati
Dolg vhod se skrajša na največ 512 žetonov. Obsežen dokument pripravite kot povezane odlomke s predpono vloge in relevantnimi naslovi. Opredelitve in pojasnjujoče omejitve ohranite ob trditvi, na katero vplivajo, identifikator nadrejenega dokumenta in različico vira pa zunaj vektorja.
Proizvajalec priporoča osredotočanje na relativni vrstni red kosinusnih ocen, ne obravnavanja absolutne vrednosti kot univerzalne mere zaupanja. Koristni rezultat je nabor kandidatnih odlomkov, primerljive predstavitve besedila ali značilke, povezane z izvirnimi zapisi. Ta konkretni model ostaja ločen od izključno angleških kontrolnih točk E5 v2 in različic E5, dodatno učenih z navodili, četudi drug model prav tako vrne 1024 vrednosti.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeZačetek
intfloat Multilingual-E5-Large večjezično besedilo kodira v 1024-razsežne vektorje s 24-plastnim modelom. Podpira sto jezikov v okviru XLM-R, za vsak jezik uporablja angleška predponska niza query/passage in vhode skrajša pri 512 žetonih.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Kontekst
- 512 tokens
- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve intfloat/multilingual-e5-large | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Standardna tarifa Ko je izbran hitri način
- Način flex
- Standardna tarifa Ko je izbran način flex
- Najvišja raven razmišljanja
- Standardna tarifa Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00002 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra intfloat/multilingual-e5-large
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Intfloat: Multilingual-E5-Large
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(bajti UTF8);input.min_items:1