Intfloat: E5-Large-v2
intfloat E5-Large-v2 angleške poizvedbe in odlomke kodira kot 1024-razsežne vektorje. Njegov 24-plastni model za iskanje, semantično podobnost in številčne značilke besedila uporablja vlogi query/passage, povprečenje predstavitev in omejitev vhoda 512 žetonov.
O modelu
Ta opis zajema zmožnosti modela. Vhodi, izhodi in možnosti, ki so na voljo v Ailoot, so spodaj navedeni za izbrano metodo.
E5-Large-v2 je štiriindvajsetplastni model besedilnih embeddingov intfloat za angleščino s 1024-razsežnim izhodom. Zasnovan je za številčno predstavljanje poizvedb in odlomkov pri pridobivanju informacij ter drugih nalogah z embeddingi. Konvencija priprave E5 je del njegovega učenja: vhodno besedilo nosi predpono vloge, kodirane predstavitve žetonov pa se združijo v en vektor tega besedila.
Vlogi poizvedbe in odlomka naj bosta izrecni
Pri asimetričnem pridobivanju informacij vprašanje začnite z “query:”, besedilo korpusa pa s “passage:”. Ti vlogi ločujeta to, kar uporabnik išče, od gradiva, ki bi lahko odgovorilo. Pri simetrični primerjavi, iskanju parafraz, gručenju ali značilkah za razvrščanje proizvajalec za besedila, iz katerih nastajajo embeddingi, priporoča “query:”.
Praktična zbirka lahko indeksira angleška pojasnila podpore. Pripravite vprašanje, na primer “query: What should I check before replacing the connector?”, in ga povežite z izvornimi odlomki o preverjanjih in izjemah. Besedilo odlomka ohrani ustrezno predpono. Identifikator vira in izvirno besedilo shranite ob vsakem vektorju, da rezultat lahko vrne gradivo, ki ga uporabnik potrebuje za branje.
Predponi nista okrasni oznaki, ki ju odstranimo z ene strani naloge. Proizvajalec navaja, da izpust poslabša zmogljivost pridobivanja informacij, ker je bil model učen s takšno pripravo. Izbrano vlogo dosledno uporabite pri gradnji korpusa in pri poznejšem ustvarjanju embeddinga poizvedbe.
Povprečenje predstavitev in normalizirani vektorji
Uradni primer kodiranja povpreči predstavitve žetonov in z masko pozornosti izloči položaje zapolnitve. Nato normalizira nastali vektor. Skalarni produkt normaliziranih vektorjev poizvedbe in odlomka daje kosinusno podobnost za urejanje kandidatov. Ta postopek povprečenja pripada E5-Large-v2; postopek združevanja po prvem žetonu iz druge družine je ločena izbira priprave.
1024 izhodnih vrednosti sestavlja embedding, ne pisnega odgovora ali neposredne oznake kategorije. Stopnja pridobivanja informacij te vrednosti primerja z združljivimi predstavitvami korpusa, poznejša stopnja pa uporabi besedilo izbranega odlomka. Če vektorji služijo kot značilke gručenja ali razvrščevalnika, ohranite povezavo vsakega vektorja z vhodnim zapisom, katerega značilke predstavlja.
Angleško besedilo znotraj okna
Kartica modela določa samo angleško besedilo in skrajšanje dolgih vhodov na največ 512 žetonov. Vsak odlomek dokumenta naj bo znotraj tega okna smiseln kot celota, vključno s predpono vloge in uporabnim izvornim kontekstom. Dolg priročnik pripravite kot dele, katerih naslove, pogoje in navodila je mogoče razumeti ob ločenem pridobivanju.
Trditev o nastavitvi lahko na primer potrebuje opredelitev te nastavitve in izjemo v naslednjem stavku. To majhno enoto ohranite skupaj, namesto da bi delili samo po številu znakov. Nadrejeni dokument in različico vira ohranite z odlomkom, da posodobitev nadomesti pravilno gradivo.
Razvrstitev obravnavajte kot signal za iskanje
Proizvajalec pojasnjuje, da je vrstni red kosinusnih ocen pomembnejši od njihovih absolutnih vrednosti. Ocene ne smemo interpretirati kot umerjene verjetnosti, da odlomek odgovarja na vprašanje. Pri izbiri števila ohranjenih rezultatov ali meje filtriranja kandidatov preverite znane odlomke z odgovorom in bližnje nerelevantno gradivo.
Koristni izhod je predstavitev korpusa ali poizvedbe, signal semantične primerjave ali številčne značilke za drugo nalogo. Ta konkretna angleška kontrolna točka Large v2 ostaja ločena od E5-Base-v2 in Multilingual-E5-Large. Samo ujemanje razsežnosti iz njihovih vektorjev ne naredi dokumentiranega skupnega prostora embeddingov.
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2Začetek
intfloat E5-Large-v2 angleške poizvedbe in odlomke kodira kot 1024-razsežne vektorje. Njegov 24-plastni model za iskanje, semantično podobnost in številčne značilke besedila uporablja vlogi query/passage, povprečenje predstavitev in omejitev vhoda 512 žetonov.
- Dovoljeni vhodi
- Besedilo · token_ids
- Rezultati
- embedding
Na voljo v Ailoot · vhodi in metode
Ailoot Ultra · Vektorske predstavitve POST /v1/embeddings
- Vhod
text,token_ids- Izhod
embedding- Izhodni format
- json
| Polje | Vrsta | Zahteva | Vrednosti in omejitve | Privzeto |
|---|---|---|---|---|
Poljemodel | Vrstastring | ZahtevaObvezno | Vrednosti in omejitve intfloat/e5-large-v2 | Privzeto— |
Poljeinput | Vrstastring|string[]|integer[]|integer[][] | ZahtevaObvezno | Vrednosti in omejitve Najmanjše število elementov: 1 Pogoji: Neprazen paket istovrstnih vhodnih podatkov. Identifikatorji žetonov so nenegativna cela števila. Vhodni proračun: Največ: 512 · Besedilna enota: bajti UTF8 · Enota žetonov: elementi polja žetonov | Privzeto— |
Poljeencoding_format | Vrstastring | ZahtevaIzbirno | Vrednosti in omejitve float | Privzetofloat |
Poljedimensions | Vrstainteger | ZahtevaNi podprto | Vrednosti in omejitve Najmanj: 1 | Privzeto— |
Poljeuser | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljesession_id | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljetrace | Vrstajson_value | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: Izvor dovoljuje to polje metapodatkov JSON; natančen pomen pri ponudniku je odvisen od modela. | Privzeto— |
Poljeprovider | Vrstaobject | ZahtevaIzbirno | Vrednosti in omejitve Pogoji: provider.options je zavrnjen | Privzeto— |
Kombinacije vhodnih gradiv
text_to_embedding
Parametri in življenjski cikel metode
| Parameter | Specifikacija |
|---|---|
Parametercontent_type | Specifikacijaapplication/json |
Parameterrequired | Specifikacijamodel, input |
Parameterinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Specifikacijafloat |
Parameterdimensions_override | Specifikacijafalse |
Parametermax_input_budget_units | Specifikacija512 |
Parametermultimodal_objects | Specifikacijafalse |
Parametermaterial_types | Specifikacijatext, token_ids |
Življenjski cikel: synchronous_json
Shranite indeks in dimenzijo vsakega vektorja.
Ime multimodalnega modela ne pomeni, da so na tej točno določeni poti dovoljeni slikovni objekti.
Cenik
Tarifni podatki ne dodajajo možnosti zahteve. Podprti parametri so navedeni pri izbrani metodi.
- Hitri način
- Ni navedeno Ko je izbran hitri način
- Način flex
- Ni navedeno Ko je izbran način flex
- Najvišja raven razmišljanja
- Ni navedeno Ko najvišja raven razmišljanja uporablja privzeto prilagoditev (default)
Cene Ailoot
Cene po nastavitvah
| Nastavitev | Cenovna lestvica | Strošek |
|---|---|---|
| NastavitevOsnovne cene za žetone | Cenovna lestvicaOsnovna cena | Strošek Vhod · Vhodni žetoni $0.00002 / 1K žetonov Izhod · Izhodni žetoni $0 / 1K žetonov Vhod · Branje predpomnilnika — / 1K žetonov Vhod · Zapis v predpomnilnik — / 1K žetonov Vhod · Zapis v predpomnilnik, 1 ura — / 1K žetonov |
Ailoot pred zahtevo rezervira ocenjeni znesek. Po rezultatu obračuna končni strošek na podlagi izmerjene porabe. Obračun pretakanja uporablja končni zapis porabe. Kako delujeta rezervacija in obračun →
Primeri zahtev
Ailoot Ultra · Vektorske predstavitve
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prejmi in shrani rezultate
Ailoot Ultra · Vektorske predstavitve
json
Ohrani vse dokončane rezultate
Shranite vsak v celoti vrnjen odgovor, datoteko in del vsebine.
Shranite vsak vektor skupaj z njegovim indeksom. Število vektorjev mora biti enako številu vhodov; dimenzije morajo biti skladne.
Če je treba preveriti izvirni odgovor
Končna točka za opravila ustvarjanja vektorskih predstavitev se ne uvaja.
Polja odgovora
| Polje | Vrsta |
|---|---|
Poljeobject | Vrstastring |
Poljemodel | Vrstastring |
Poljedata[].index | Vrstainteger |
Poljedata[].embedding | Vrstafinite float[] |
Poljeusage | Vrstaobject |
Napake in naslednji koraki
| Odgovor | Pogoj | Naslednji korak |
|---|---|---|
Odgovor400 · invalid_request_error | PogojNeveljavna obvezna polja, predstavitev gradiva ali vrednost parametra | Naslednji korakPred novo zahtevo za ustvarjanje popravite navedena polja. |
Druga imena
Druga imena modelov
Ailoot Ultra intfloat/e5-large-v2
Druga imena poti metod
Uporabite zgoraj navedene poti metod.
Povezani ID-ji za klic
FAQ · Intfloat: E5-Large-v2
- Kateri vhodi in rezultati so na voljo?
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- Katera polja uporablja zahteva?
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- Katere omejitve veljajo?
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(bajti UTF8);input.min_items:1