Intfloat: E5-Large-v2
intfloat E5-Large-v2 kóduje anglické dopyty a pasáže ako 1024-rozmerné vektory. Jeho 24-vrstvový model používa roly query/passage, priemerovanie reprezentácií a limit vstupu 512 tokenov na vyhľadávanie, sémantickú podobnosť a číselné príznaky textu.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
E5-Large-v2 je dvadsaťštyrivrstvový model textových embeddingov od intfloat určený pre angličtinu s 1024-rozmerným výstupom. Je navrhnutý na číselnú reprezentáciu dopytov a pasáží pre vyhľadávanie a ďalšie úlohy s embeddingmi. Konvencia prípravy E5 je súčasťou jeho trénovania: vstupný text nesie prefix roly a zakódované reprezentácie tokenov sa zlúčia do jedného vektora pre daný text.
Jednoznačne zachovajte roly dopytu a pasáže
Pri asymetrickom vyhľadávaní začnite otázku prefixom „query:“ a text korpusu prefixom „passage:“. Tieto roly odlišujú to, čo používateľ hľadá, od materiálu, ktorý by mohol odpovedať. Pri symetrickom porovnávaní, vyhľadávaní parafráz, zhlukovaní alebo príznakoch pre klasifikáciu výrobca odporúča pre vkladané texty „query:“.
Praktická kolekcia môže indexovať anglické vysvetlenia podpory. Pripravte otázku, napríklad „query: What should I check before replacing the connector?“, a priraďte k nej zdrojové pasáže opisujúce kontroly a výnimky. Text pasáže si zachová zodpovedajúci prefix. Vedľa každého vektora uložte identifikátor zdroja a pôvodné znenie, aby výsledok mohol vrátiť materiál, ktorý si používateľ potrebuje prečítať.
Prefixy nie sú ozdobné štítky, ktoré možno z jednej strany úlohy odstrániť. Výrobca uvádza, že ich vynechanie zhoršuje výkon vyhľadávania, pretože model bol trénovaný s touto prípravou. Zvolenú rolu používajte dôsledne pri zostavovaní korpusu aj pri neskoršom vytváraní embeddingu dopytu.
Priemerovanie reprezentácií a normalizované vektory
Oficiálny príklad kódovania priemeruje reprezentácie tokenov, pričom maskou pozornosti vylučuje pozície výplne. Výsledný vektor potom normalizuje. Skalárny súčin normalizovaných vektorov dopytu a pasáže poskytuje kosínusovú podobnosť na zoradenie kandidátov. Tento postup priemerovania patrí E5-Large-v2; postup využívajúci reprezentáciu prvého tokenu z inej rodiny je samostatnou voľbou prípravy.
1024 výstupných hodnôt tvorí embedding, nie písomnú odpoveď ani priamy štítok kategórie. Fáza vyhľadávania porovnáva tieto hodnoty s kompatibilnými reprezentáciami korpusu a neskoršia fáza používa text vybranej pasáže. Ak vektory slúžia ako príznaky na zhlukovanie alebo klasifikáciu, zachovajte prepojenie každého vektora so vstupným záznamom, ktorého príznaky reprezentuje.
Anglický text v rámci okna
Karta modelu uvádza výlučne anglický text a skracovanie dlhých vstupov najviac na 512 tokenov. V tomto okne zachovajte súdržnosť každej pasáže dokumentu vrátane prefixu roly a užitočného zdrojového kontextu. Dlhá príručka má byť pripravená ako časti, ktorých názvy, podmienky a pokyny sú zrozumiteľné aj pri samostatnom vyhľadaní.
Napríklad veta opisujúca nastavenie môže potrebovať definíciu tohto nastavenia a výnimku v nasledujúcej vete. Zachovajte túto malú jednotku spolu namiesto delenia iba podľa počtu znakov. Pri pasáži uchovajte nadradený dokument a verziu zdroja, aby aktualizácia nahradila správny materiál.
Poradie čítajte ako indíciu pre vyhľadávanie
Výrobca vysvetľuje, že poradie kosínusových skóre je dôležitejšie než ich absolútne hodnoty. Skóre sa nemá interpretovať ako kalibrovaná pravdepodobnosť, že pasáž odpovedá na otázku. Pri rozhodovaní, koľko výsledkov ponechať alebo kde filtrovať súbor kandidátov, overte známe pasáže obsahujúce odpoveď aj blízky nerelevantný materiál.
Užitočným výstupom je reprezentácia korpusu či dopytu, signál sémantického porovnania alebo číselné príznaky pre inú úlohu. Tento konkrétny anglický kontrolný bod Large v2 zostáva oddelený od E5-Base-v2 a Multilingual-E5-Large. Samotná zhoda rozmerov nerobí z ich vektorov zdokumentovaný spoločný priestor embeddingov.
Ailoot Ultra · Embeddingy POST /v1/embeddings intfloat/e5-large-v2
intfloat/e5-large-v2Úvod
intfloat E5-Large-v2 kóduje anglické dopyty a pasáže ako 1024-rozmerné vektory. Jeho 24-vrstvový model používa roly query/passage, priemerovanie reprezentácií a limit vstupu 512 tokenov na vyhľadávanie, sémantickú podobnosť a číselné príznaky textu.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity intfloat/e5-large-v2 | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Neuvedené Keď je zvolený rýchly režim
- Režim Flex
- Neuvedené Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Neuvedené Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00002 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-large-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-large-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra intfloat/e5-large-v2
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Intfloat: E5-Large-v2
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·intfloat/e5-large-v2:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·intfloat/e5-large-v2:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·intfloat/e5-large-v2:input.budget.maximum:512(bajty UTF8);input.min_items:1