Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large kóduje viacjazyčný text do 1024-rozmerných vektorov pomocou 24-vrstvového modelu. Podporuje stovku jazykov v rozsahu XLM-R, pre každý jazyk používa anglické prefixy query/passage a vstupy skracuje na 512 tokenov.
O modeli
Tento opis pokrýva možnosti modelu. Dostupné vstupy, výstupy a voľby v Ailoot sú uvedené nižšie pre vybranú metódu.
Multilingual-E5-Large je viacjazyčný model hustých textových embeddingov od intfloat s dvadsiatimi štyrmi vrstvami a 1024-rozmerným výstupom. Vychádza z XLM-RoBERTa Large a ďalej sa trénuje na viacjazyčných dátach. Karta modelu opisuje podporu stovky jazykov v rozsahu XLM-R a zároveň upozorňuje na slabší výkon v jazykoch s nedostatkom dát. Jeho vektory reprezentujú text na vyhľadávanie, sémantické porovnávanie a úlohy s číselnými príznakmi.
Zachovajte rolu vstupu v každom jazyku
Natrénované prefixy sú „query:“ a „passage:“, a to aj pre neanglický text. Vyhľadávací dopyt a pasáže v jeho korpuse používajú zodpovedajúce roly. Prefixy zostávajú týmito anglickými reťazcami, zatiaľ čo pôvodné znenie si zachováva svoj jazyk. Pre symetrickú sémantickú podobnosť, vyhľadávanie parafráz, vyhľadávanie paralelných textov alebo použitie príznakov výrobca odporúča „query:“.
Praktická kolekcia môže obsahovať dokumentáciu vo viacerých podporovaných jazykoch. Spolu s vektorom uchovajte jazyk každej pasáže, pôvodný text a umiestnenie zdroja. Pripravte skutočné vyhľadávacie otázky publika namiesto predpokladu, že jeden anglický test reprezentuje celú kolekciu. Výstup má vrátiť skutočnú pasáž aj s kontextom, aby čitateľ mohol posúdiť jej obsah.
Pri viacjazyčnej úlohe porovnávania jasne odlíšte účel porovnania. Kandidátska dvojica prekladov a dopyt hľadajúci podpornú pasáž si vyžadujú odlišnú prípravu. Pokyny modelu k prefixom rolí poskytujú konkrétnu konvenciu pre tieto úlohy; vynechanie prefixu nie je zdokumentovaným ekvivalentom, pretože mení vzor vstupu použitý pri trénovaní.
Zlučovanie reprezentácií a porovnávanie vektorov
Príklad výrobcu priemeruje reprezentácie tokenov s použitím masky pozornosti, ktorá vylúči výplň, a potom vektor normalizuje. Skalárne súčiny normalizovaných vektorov dávajú kosínusovú podobnosť. Pole s 1024 rozmermi reprezentuje jeden pripravený text. Pri uložených vektoroch zachovajte informáciu o presnom modeli a príprave, aby neskoršie dopyty používali zodpovedajúcu reprezentáciu.
Tieto vektory môžu poskytovať poradie kandidátov alebo príznaky pre neskoršiu fázu zhlukovania či klasifikácie. Neprekladajú zdroj ani neskladajú odpoveď. Keď má výsledok vyhľadávania podporiť čitateľa alebo neskoršiu fázu generovania RAG, vráťte pôvodný text pasáže.
Trénovanie a jazykové pokrytie
Karta modelu dokumentuje kontrastívne predtrénovanie so slabým dohľadom, po ktorom nasleduje doladenie s dohľadom. Viacjazyčná príprava zahŕňa materiál, ako sú dvojice názov–pasáž, konverzačné dvojice a prekladové dvojice, zatiaľ čo neskoršiu fázu tvoria označené dáta pre vyhľadávanie a porozumenie jazyku. To vysvetľuje zamýšľané úlohy reprezentácie textu bez toho, aby to preukazovalo rovnaký výkon v každom jazyku.
Výrobca výslovne uvádza zhoršenie výkonu v jazykoch s nedostatkom dát ako obmedzenie. Overte skutočné jazyky a formulácie v kolekcii vrátane skratiek, mien a odborného slovníka. Označenie „viacjazyčný“ užitočne opisuje rozsah; relevantnosť vráteného textu pre publikum a úlohu je stále potrebné preskúmať.
Dĺžka a užitočné výsledky
Dlhý vstup sa skracuje najviac na 512 tokenov. Rozsiahly dokument pripravte ako ucelené pasáže vrátane prefixu roly a relevantných nadpisov. Definície a spresnenia zachovajte pri tvrdení, na ktoré sa vzťahujú, a mimo vektora uchovajte identifikátor nadradeného dokumentu a verziu zdroja.
Výrobca odporúča sústrediť sa na relatívne poradie kosínusových skóre namiesto toho, aby sa absolútna hodnota považovala za univerzálnu mieru istoty. Užitočným výsledkom je súbor kandidátskych pasáží, porovnateľné textové reprezentácie alebo príznaky prepojené s pôvodnými záznamami. Tento konkrétny model zostáva oddelený od kontrolných bodov E5 v2 určených iba pre angličtinu a od variantov E5 doladených podľa inštrukcií, aj keď iný model tiež vracia 1024 hodnôt.
Ailoot Ultra · Embeddingy POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeÚvod
intfloat Multilingual-E5-Large kóduje viacjazyčný text do 1024-rozmerných vektorov pomocou 24-vrstvového modelu. Podporuje stovku jazykov v rozsahu XLM-R, pre každý jazyk používa anglické prefixy query/passage a vstupy skracuje na 512 tokenov.
- Povolené vstupy
- Text · token_ids
- Výsledky
- embedding
Dostupné v Ailoot · vstupy a metódy
Ailoot Ultra · Embeddingy POST /v1/embeddings
- Vstup
text,token_ids- Výstup
embedding- Kontext
- 512 tokens
- Výstupný formát
- json
| Pole | Typ | Požiadavka | Hodnoty a limity | Predvolené |
|---|---|---|---|---|
Polemodel | Typstring | PožiadavkaPovinné | Hodnoty a limity intfloat/multilingual-e5-large | Predvolené— |
Poleinput | Typstring|string[]|integer[]|integer[][] | PožiadavkaPovinné | Hodnoty a limity Minimálny počet položiek: 1 Podmienky: Neprázdna homogénna dávka. ID tokenov sú nezáporné celé čísla. Vstupný rozpočet: Maximum: 512 · Textová jednotka: bajty UTF8 · Jednotka tokenov: prvky poľa tokenov | Predvolené— |
Poleencoding_format | Typstring | PožiadavkaVoliteľné | Hodnoty a limity float | Predvolenéfloat |
Poledimensions | Typinteger | PožiadavkaNepodporované | Hodnoty a limity Minimum: 1 | Predvolené— |
Poleuser | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Polesession_id | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poletrace | Typjson_value | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: Zdroj povoľuje toto pole metadát vo formáte JSON; presný význam na strane dodávateľa sa líši podľa modelu. | Predvolené— |
Poleprovider | Typobject | PožiadavkaVoliteľné | Hodnoty a limity Podmienky: provider.options sa odmieta | Predvolené— |
Kombinácie vstupných podkladov
text_to_embedding
Parametre a životný cyklus metódy
| Parameter | Špecifikácia |
|---|---|
Parametercontent_type | Špecifikáciaapplication/json |
Parameterrequired | Špecifikáciamodel, input |
Parameterinput_shapes | Špecifikáciastring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Špecifikáciafloat |
Parameterdimensions_override | Špecifikáciafalse |
Parametermax_input_budget_units | Špecifikácia512 |
Parametermultimodal_objects | Špecifikáciafalse |
Parametermaterial_types | Špecifikáciatext, token_ids |
Životný cyklus: synchronous_json
Uchovajte každý index a rozmer vektora.
Názov multimodálneho modelu neznamená, že na tejto konkrétnej trase možno použiť objekty obrázkov.
Cenník
Tarifné údaje nepridávajú možnosti požiadavky. Podporované parametre sú uvedené pri vybranej metóde.
- Rýchly režim
- Štandardná sadzba Keď je zvolený rýchly režim
- Režim Flex
- Štandardná sadzba Keď je zvolený režim flex
- Maximálna úroveň uvažovania
- Štandardná sadzba Keď sa pri maximálnej úrovni uvažovania používa predvolená úprava (default)
Sadzby Ailoot
Ceny podľa konfigurácie
| Konfigurácia | Sadzobník | Poplatok |
|---|---|---|
| KonfiguráciaZákladné sadzby za tokeny | SadzobníkZákladná sadzba | Poplatok Vstup · Vstupné tokeny $0.00002 / 1K tokenov Výstup · Výstupné tokeny $0 / 1K tokenov Vstup · Čítanie cache — / 1K tokenov Vstup · Zápis do cache — / 1K tokenov Vstup · Zápis do cache, 1 hod — / 1K tokenov |
Ailoot pred požiadavkou rezervuje odhadovanú sumu. Po získaní výsledku vyúčtuje konečný poplatok podľa nameraného využitia. Pri streamovaní sa vyúčtovanie riadi konečným záznamom využitia. Ako funguje rezervácia a vyúčtovanie →
Príklady požiadaviek
Ailoot Ultra · Embeddingy
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Prijať a uložiť výsledky
Ailoot Ultra · Embeddingy
json
Uchovať všetky dokončené výsledky
Uložte každú úplnú vrátenú odpoveď, súbor a časť obsahu.
Uchovajte každý vektor spolu s jeho indexom. Počet vektorov sa musí rovnať počtu vstupov; rozmery musia byť konzistentné.
Ak treba overiť pôvodnú odpoveď
Nezavádza sa žiadny koncový bod pre úlohy tvorby embeddingov.
Polia odpovede
| Pole | Typ |
|---|---|
Poleobject | Typstring |
Polemodel | Typstring |
Poledata[].index | Typinteger |
Poledata[].embedding | Typfinite float[] |
Poleusage | Typobject |
Chyby a ďalšie kroky
| Odpoveď | Podmienka | Ďalší krok |
|---|---|---|
Odpoveď400 · invalid_request_error | PodmienkaNeplatné povinné polia, reprezentácia materiálu alebo hodnota parametra | Ďalší krokPred novou požiadavkou na vytvorenie opravte uvedené polia. |
Aliasy
Aliasy modelov
Ailoot Ultra intfloat/multilingual-e5-large
Aliasy ciest metód
Použite cesty metód uvedené vyššie.
Súvisiace ID na volanie
FAQ · Intfloat: Multilingual-E5-Large
- Aké vstupy a výsledky sú dostupné?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Aké polia používa požiadavka?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Aké limity platia?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(bajty UTF8);input.min_items:1