Intfloat: E5-Base-v2
intfloat E5-Base-v2 paverčia anglišką tekstą 768 matmenų įterpiniais su 12 sluoksnių koduotuvu. Užklausos ir ištraukos priešdėliai bei 512 žetonų langas apibrėžia jo parengimą paieškai, perfrazių palyginimui, grupavimui ir teksto požymiams.
Apie modelį
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
E5-Base-v2 – intfloat dvylikos sluoksnių angliškų įterpinių modelis su 768 matmenų reprezentacija. Jis paverčia paruoštą tekstą į vieną skaitinį vektorių paieškai, semantiniam palyginimui ar naudojimui kaip požymiams kitoje užduotyje. Base v2 kontrolinis taškas skiriasi nuo dvidešimt keturių sluoksnių ir 1024 matmenų Large v2 leidimo bei atskirai mokytų daugiakalbių E5 modelių.
Naudokite mokymo vaidmenų prefiksus
E5 tikisi vaidmens įvesties pradžioje. Ištraukų paieškoje klausimas prasideda „query:“, o galimas atsakymą turintis šaltinis – „passage:“. Gamintojas rekomenduoja „query:“ abiejose pusėse simetrinėms užduotims, tokioms kaip semantinis panašumas ir perfrazuotų tekstų paieška. Jis taip pat rekomenduoja šį prefiksą, kai vektoriai bus grupavimo ar klasifikavimo požymiai.
Pavyzdžiui, atsiliepimų rinkinyje gali būti kelios skirtingai suformuluotos užklausos dėl to paties patobulinimo. Koduokite šiuos įrašus naudodami rekomenduojamą simetrinį paruošimą, tada lyginkite ar grupuokite gautus vektorius. Su kiekviena reprezentacija išsaugokite pirminę formuluotę ir įrašo identifikatorių, kad klasterį būtų galima nagrinėti kaip tikras klientų žinutes, o ne nepaaiškintą skaičių grupę.
Paieškos rinkiniui paruoškite klausimus ir šaltinio ištraukas su atitinkamais vaidmenimis. Naudinga užklausa yra „query: Which setting changes the notification frequency?“ Tekstyno ištraukoje išlieka paaiškinimas ir susijusios sąlygos. Prefiksas yra modelio mokyme naudoto paruošimo dalis; gamintojas pažymi, kad jo praleidimas pablogina rezultatus.
Agreguokite ir palyginkite reprezentaciją
Oficialiame pavyzdyje skaičiuojamas žetonų reprezentacijų vidurkis atsižvelgiant į dėmesio kaukę ir atmetant užpildymą, tada gautas vektorius normalizuojamas. Normalizuotų įterpinių skaliarinė sandauga suteikia kosinusinį panašumą. 768 išvesties reikšmės aprašo vieną tekstą; tai nėra atsakymas, klasės žyma ar pakartotinio reitingavimo modelio balas tekstų porai.
Grupavimo darbo eigoje kitas etapas iš šių vektorių sudaro grupes. Klasifikavimo darbo eigoje kitas etapas naudoja juos kaip įvesties požymius. Išlaikant šį skirtumą lengviau interpretuoti rezultatą: įterpinys atvaizduoja įrašą, o tolesnė užduotis nustato grupę arba žymą. Lyginamoms reprezentacijoms nuosekliai naudokite vieną modelį ir paruošimo konvenciją.
Dirbkite anglų kalba ir 512 žetonų ribose
Modelio kortelėje nurodyta, kad šis leidimas veikia tik anglų kalbai ir nukerpa ilgą tekstą iki ne daugiau kaip 512 žetonų. Šiame intervale paruoškite nuoseklias ištraukas su būtinu vaidmens prefiksu. Ilgą apžvalgą, ataskaitą ar vadovą reikia padalyti pagal prasmingus skyrius, o ne koduoti kaip per didelę įvestį, kurios pabaiga prarandama.
Antraštę išlaikykite su jos pristatomais sakiniais ir išsaugokite sąlygą arba išimtį, keičiančią taisyklės prasmę. Trumpiems įrašams, pavyzdžiui, atsiliepimams, išsaugokite visą žinutę, jei ji telpa. Šalia vektoriaus saugomi šaltinio identifikatorius ir versija leidžia vėlesniam rinkinio atnaujinimui pakeisti teisingą įrašą.
Interpretuokite panašumą pagal užduotį
Gamintojas paaiškina, kad santykinė kosinusinių balų tvarka svarbesnė už absoliučią reikšmę. Filtravimo slenkstį reikia įvertinti naudojant paties rinkinio pavyzdžius, o vektorių panašumas nėra kalibruota atitinkančios žymos ar teisingo atsakymo tikimybė. Spręsdami, kaip naudoti vektorius, nagrinėkite artimus įrašus ir žinomus neatitikimus.
Naudingas rezultatas – angliškos paieškos indeksas, semantinio palyginimo rinkinys arba skaitiniai teksto požymiai, susieti su šaltinio įrašais. Šis Base v2 profilis turi savo matmenis, agregavimą ir vaidmenų paruošimą; kito E5 leidimo vektoriaus forma ar kalbų aprėptis nepatvirtina sukeičiamų reprezentacijų.
Ailoot Ultra · Įterpiniai POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Pradžia
intfloat E5-Base-v2 paverčia anglišką tekstą 768 matmenų įterpiniais su 12 sluoksnių koduotuvu. Užklausos ir ištraukos priešdėliai bei 512 žetonų langas apibrėžia jo parengimą paieškai, perfrazių palyginimui, grupavimui ir teksto požymiams.
- Leidžiamos įvestys
- Tekstas · token_ids
- Rezultatai
- embedding
Prieinama Ailoot · įvestys ir metodai
Ailoot Ultra · Įterpiniai POST /v1/embeddings
- Įvestis
text,token_ids- Išvestis
embedding- Išvesties formatas
- json
| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos intfloat/e5-base-v2 | Numatyta— |
Laukasinput | Tipasstring|string[]|integer[]|integer[][] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 Sąlygos: Netuščias vienalyčių įvesčių paketas. Žetonų ID yra neneigiami sveikieji skaičiai. Įvesties biudžetas: Didžiausia reikšmė: 512 · Teksto vienetas: UTF8 baitai · Tokenų vienetas: žetonų masyvo elementai | Numatyta— |
Laukasencoding_format | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos float | Numatytafloat |
Laukasdimensions | Tipasinteger | ReikalavimasNepalaikoma | Reikšmės ir ribos Mažiausia reikšmė: 1 | Numatyta— |
Laukasuser | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukassession_id | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukastrace | Tipasjson_value | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: Šaltinis leidžia šį JSON metaduomenų lauką; tiksli jo reikšmė tiekėjo sistemoje priklauso nuo modelio. | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options atmetamas | Numatyta— |
Įvesties medžiagos deriniai
text_to_embedding
Metodo parametrai ir gyvavimo ciklas
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, input |
Parametrasinput_shapes | Specifikacijastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parametrasencoding_format | Specifikacijafloat |
Parametrasdimensions_override | Specifikacijafalse |
Parametrasmax_input_budget_units | Specifikacija512 |
Parametrasmultimodal_objects | Specifikacijafalse |
Parametrasmaterial_types | Specifikacijatext, token_ids |
Gyvavimo ciklas: synchronous_json
Išsaugokite kiekvieną vektoriaus indeksą ir matmenį.
Tai, kad modelio pavadinimas nurodo multimodalumą, nereiškia, jog šiuo konkrečiu keliu priimami vaizdų objektai.
Planai
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
- Spartusis režimas
- Nenurodyta Pasirinkus spartųjį režimą
- Flex režimas
- Nenurodyta Pasirinkus flex režimą
- Didžiausios samprotavimo pastangos
- Nenurodyta Kai didžiausioms samprotavimo pastangoms taikomas numatytasis koregavimas (default)
Ailoot įkainiai
Kainos pagal konfigūraciją
| Konfigūracija | Įkainių lentelė | Mokestis |
|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Mokestis Įvestis · Įvesties tokenai $0.00001 / 1K tokenų Išvestis · Išvesties tokenai $0 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
Užklausų pavyzdžiai
Ailoot Ultra · Įterpiniai
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Gauti ir išsaugoti rezultatus
Ailoot Ultra · Įterpiniai
json
Išsaugoti visus baigtus rezultatus
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną vektorių su jo indeksu. Vektorių skaičius turi sutapti su įvesčių skaičiumi; jų matmenų skaičius turi būti vienodas.
Jei reikia patikrinti pradinį atsakymą
Vektorių generavimo užduotims atskiras API galinis taškas neįvedamas.
Atsakymo laukai
| Laukas | Tipas |
|---|---|
Laukasobject | Tipasstring |
Laukasmodel | Tipasstring |
Laukasdata[].index | Tipasinteger |
Laukasdata[].embedding | Tipasfinite float[] |
Laukasusage | Tipasobject |
Klaidos ir tolesni veiksmai
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Pseudonimai
Modelių pseudonimai
Ailoot Ultra intfloat/e5-base-v2
Metodų kelių pseudonimai
Naudokite aukščiau nurodytus metodų kelius.
Susiję ID iškvietimui
FAQ · Intfloat: E5-Base-v2
- Kokios įvestys ir rezultatai prieinami?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Kokius laukus naudoja užklausa?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Kokie apribojimai taikomi?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(UTF8 baitai);input.min_items:1