Intfloat: E5-Base-v2
intfloat E5-Base-v2 mení anglický text na 768-rozmerné embeddingy pomocou 12-vrstvového enkodéra. Prefixy query/passage a okno 512 tokenov určujú jeho prípravu na vyhľadávanie, porovnávanie parafráz, zhlukovanie a textové príznaky.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
E5-Base-v2 je dvanásťvrstvový model embeddingov od intfloat pre angličtinu so 768-rozmernou reprezentáciou. Pripravený text mení na jeden číselný vektor na vyhľadávanie, sémantické porovnávanie alebo použitie ako príznakov v inej úlohe. Kontrolný bod Base v2 sa líši od dvadsaťštyrivrstvovej, 1024-rozmernej edície Large v2 aj od samostatne trénovaných viacjazyčných modelov E5.
Používajte natrénované prefixy rolí
E5 očakáva na začiatku vstupu rolu. Pri vyhľadávaní pasáží sa otázka začína prefixom „query:“ a jej možný zdroj obsahujúci odpoveď prefixom „passage:“. Pre symetrické úlohy, ako sú sémantická podobnosť a vyhľadávanie parafráz, výrobca odporúča „query:“ na oboch stranách. Tento prefix odporúča aj vtedy, keď vektory budú príznakmi pre zhlukovanie alebo klasifikáciu.
Napríklad kolekcia spätnej väzby môže obsahovať niekoľko odlišne formulovaných žiadostí o rovnaké zlepšenie. Tieto záznamy zakódujte odporúčanou symetrickou prípravou a potom porovnajte alebo zhlukujte výsledné vektory. Pri každej reprezentácii uchovajte pôvodné znenie a identifikátor záznamu, aby bolo možné zhluk skúmať ako skutočné správy zákazníkov, nie ako nevysvetlenú skupinu čísel.
Pri vyhľadávacej kolekcii pripravte otázky a zdrojové pasáže v zodpovedajúcich rolách. Užitočný dopyt je „query: Which setting changes the notification frequency?“. Pasáž korpusu si zachová vysvetlenie a príslušné podmienky. Prefix je súčasťou natrénovanej prípravy modelu; výrobca upozorňuje, že jeho vynechanie znižuje výkon.
Zlúčte a porovnajte reprezentáciu
Oficiálny príklad vypočíta priemer reprezentácií tokenov s ohľadom na masku pozornosti, pričom vylúči výplň, a výsledný vektor normalizuje. Skalárny súčin normalizovaných embeddingov poskytuje kosínusovú podobnosť. 768 výstupných hodnôt opisuje jeden text; nejde o odpoveď, štítok triedy ani párové skóre modelu na preusporiadanie výsledkov.
Pri zhlukovaní iná fáza vytvára z týchto vektorov skupiny. Pri klasifikácii ich iná fáza používa ako vstupné príznaky. Zachovanie tohto rozdielu uľahčuje interpretáciu výsledku: embedding reprezentuje záznam, zatiaľ čo nadväzujúca úloha určuje skupinu alebo štítok. Pre porovnávané reprezentácie dôsledne používajte jeden model a jednu konvenciu prípravy.
Pracujte s angličtinou a v rámci 512 tokenov
Karta modelu uvádza, že táto edícia funguje iba pre angličtinu a dlhý text skracuje najviac na 512 tokenov. V tomto rozsahu pripravujte ucelené pasáže vrátane požadovaného prefixu roly. Dlhá recenzia, správa či príručka sa má rozdeliť podľa významových častí, nie vložiť ako nadmerný vstup, ktorého koniec sa stratí.
Nadpis ponechajte s vetami, ktoré uvádza, a zachovajte podmienku alebo výnimku meniacu význam pravidla. Pri krátkych záznamoch, ako je spätná väzba, zachovajte celú správu, ak sa zmestí. Identifikátor a verzia zdroja uložené vedľa vektora umožnia neskoršej aktualizácii kolekcie nahradiť správny záznam.
Podobnosť interpretujte vzhľadom na úlohu
Výrobca vysvetľuje, že relatívne poradie kosínusových skóre je dôležitejšie ako absolútna hodnota. Prah filtrovania treba posúdiť na vlastných príkladoch kolekcie a podobnosť vektorov nie je kalibrovanou pravdepodobnosťou zhodného štítka či správnej odpovede. Pri rozhodovaní, ako sa budú vektory používať, preskúmajte blízke záznamy aj známe nezhody.
Užitočným výstupom je anglický vyhľadávací index, súbor sémantických porovnaní alebo číselné textové príznaky spárované so zdrojovými záznamami. Tento profil Base v2 má vlastné rozmery, zlučovanie reprezentácií a prípravu rolí; tvar vektora či jazykové pokrytie inej edície E5 nepreukazujú zameniteľnú reprezentáciu.
Ailoot Ultra · Embeddingy POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Úvod
intfloat E5-Base-v2 mení anglický text na 768-rozmerné embeddingy pomocou 12-vrstvového enkodéra. Prefixy query/passage a okno 512 tokenov určujú jeho prípravu na vyhľadávanie, porovnávanie parafráz, zhlukovanie a textové príznaky.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity intfloat/e5-base-v2 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00001 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra intfloat/e5-base-v2
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Intfloat: E5-Base-v2
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1