Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large codeert meertalige tekst in 1024-dimensionale vectoren met een model van 24 lagen. Het ondersteunt de honderd talen binnen het XLM-R-bereik, gebruikt in elke taal de Engelse query/passage-prefixen en kapt invoer af op 512 tokens.
Over het model
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Multilingual-E5-Large is het meertalige dense tekstembeddingmodel van intfloat, met vierentwintig lagen en een 1024-dimensionale uitvoer. Het wordt geïnitialiseerd vanuit XLM-RoBERTa Large en verder getraind op meertalige gegevens. De modelkaart beschrijft ondersteuning voor de honderd talen binnen het XLM-R-bereik en vermeldt daarbij zwakkere prestaties voor talen met weinig beschikbare taaldata. De vectoren vertegenwoordigen tekst voor informatieopvraging, semantische vergelijking en taken met numerieke kenmerken.
Behoud de invoerrol in elke taal
De getrainde prefixen zijn “query:” en “passage:”, ook voor niet-Engelse tekst. Een zoekvraag en de passages in het corpus gebruiken hun bijbehorende rol. De prefixen blijven die Engelse tekenreeksen, terwijl de brontekst zijn eigen taal behoudt. Voor symmetrische semantische gelijkenis, het zoeken naar parafrases, het opsporen van parallelle teksten of gebruik als kenmerken beveelt de maker “query:” aan.
Een praktische verzameling kan documentatie in verschillende ondersteunde talen bevatten. Bewaar de taal, de oorspronkelijke tekst en de bronlocatie van elke passage samen met de vector. Bereid echte zoekvragen van het publiek voor in plaats van aan te nemen dat één Engelse test de hele verzameling vertegenwoordigt. De uitvoer moet de daadwerkelijke passage en haar context teruggeven, zodat de lezer kan beoordelen wat erin staat.
Houd bij een meertalige matchingtaak het doel van de vergelijking duidelijk. Een mogelijk vertaalpaar en een zoekvraag naar een ondersteunende passage vragen om verschillende voorbereidingen. De richtlijnen voor rolprefixen van het model bieden een concrete conventie voor die taken; het weglaten van het prefix is geen gedocumenteerd equivalent, omdat het het invoerpatroon verandert dat bij de training is gebruikt.
Pooling en vectorvergelijking
Het voorbeeld van de maker neemt het gemiddelde van tokenrepresentaties en gebruikt daarbij een attention-masker om padding uit te sluiten; vervolgens wordt de vector genormaliseerd. Inproducten van genormaliseerde vectoren leveren cosinusgelijkenis op. De 1024-dimensionale array vertegenwoordigt één voorbereide tekst. Bewaar het exacte model en de voorbereiding bij de opgeslagen vectoren, zodat latere zoekvragen de bijbehorende representatie gebruiken.
Deze vectoren kunnen ranglijsten van kandidaten of kenmerken voor een latere clustering- of classificatiefase leveren. Ze vertalen de bron niet en stellen geen antwoord op. Geef de onderliggende passagetekst terug wanneer een zoekresultaat een lezer of een latere RAG-generatiefase moet ondersteunen.
Training en taalbereik
De modelkaart documenteert contrastieve voortraining onder zwakke supervisie, gevolgd door gesuperviseerde finetuning. De meertalige voorbereiding omvat materiaal zoals titel-passageparen, gespreksparen en vertaalparen, terwijl gelabelde gegevens voor informatieopvraging en taalbegrip de latere fase ondersteunen. Dit verklaart de beoogde taken voor tekstrepresentatie zonder gelijke prestaties in elke taal vast te stellen.
De maker noemt prestatieverlies bij talen met weinig beschikbare taaldata expliciet als beperking. Controleer de werkelijke talen en bewoordingen in de verzameling, waaronder afkortingen, namen en gespecialiseerde woordenschat. Het label meertalig beschrijft het bereik op een nuttige manier; de relevantie van de geretourneerde tekst moet nog steeds voor het publiek en de taak worden onderzocht.
Lengte en bruikbare resultaten
Lange invoer wordt afgekapt op maximaal 512 tokens. Bereid een lang document voor als samenhangende passages met het rolprefix en de relevante koppen. Bewaar definities en nuanceringen naast de uitspraak waarop ze betrekking hebben en bewaar een identifier van het bovenliggende document en de bronversie buiten de vector.
De fabrikant beveelt aan zich te richten op de relatieve volgorde van cosinusscores in plaats van een absolute waarde als universele vertrouwensmaat te behandelen. Een bruikbaar resultaat is een verzameling kandidaatpassages, vergelijkbare tekstrepresentaties of kenmerken die aan hun oorspronkelijke records zijn gekoppeld. Dit exacte model blijft onderscheiden van de uitsluitend Engelstalige E5-v2-checkpoints en van op instructies afgestemde E5-varianten, ook wanneer een ander model eveneens 1024 waarden teruggeeft.
Ailoot Ultra · Embeddings POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeAan de slag
intfloat Multilingual-E5-Large codeert meertalige tekst in 1024-dimensionale vectoren met een model van 24 lagen. Het ondersteunt de honderd talen binnen het XLM-R-bereik, gebruikt in elke taal de Engelse query/passage-prefixen en kapt invoer af op 512 tokens.
- Toegestane invoer
- Tekst · token_ids
- Resultaten
- embedding
Beschikbaar in Ailoot · invoer en methoden
Ailoot Ultra · Embeddings POST /v1/embeddings
- Invoertypen
text,token_ids- Uitvoertypen
embedding- Context
- 512 tokens
- Uitvoerformaat
- json
| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten intfloat/multilingual-e5-large | Standaard— |
Veldinput | Typestring|string[]|integer[]|integer[][] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 Voorwaarden: Niet-lege homogene batch. Token-ID’s zijn niet-negatieve gehele getallen. Invoerbudget: Maximum: 512 · Teksteenheid: UTF8-bytes · Tokeneenheid: elementen van de token-array | Standaard— |
Veldencoding_format | Typestring | VereisteOptioneel | Waarden en limieten float | Standaardfloat |
Velddimensions | Typeinteger | VereisteNiet ondersteund | Waarden en limieten Minimum: 1 | Standaard— |
Velduser | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de exacte betekenis bij de upstreamprovider verschilt per model. | Standaard— |
Veldsession_id | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de exacte betekenis bij de upstreamprovider verschilt per model. | Standaard— |
Veldtrace | Typejson_value | VereisteOptioneel | Waarden en limieten Voorwaarden: De bron staat dit JSON-metadataveld toe; de exacte betekenis bij de upstreamprovider verschilt per model. | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options geweigerd | Standaard— |
Combinaties van invoermaterialen
text_to_embedding
Methodeparameters en levenscyclus
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, input |
Parameterinput_shapes | Contractstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Contractfloat |
Parameterdimensions_override | Contractfalse |
Parametermax_input_budget_units | Contract512 |
Parametermultimodal_objects | Contractfalse |
Parametermaterial_types | Contracttext, token_ids |
Levenscyclus: synchronous_json
Bewaar elke vectorindex en dimensie.
Een multimodale modelnaam houdt niet in dat afbeeldingsobjecten op dit specifieke pad zijn toegestaan.
Tarieven
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
- Snelle modus
- Standaardtarief Wanneer de snelle modus is geselecteerd
- Flexmodus
- Standaardtarief Wanneer de modus flex is geselecteerd
- Maximale redeneerinspanning
- Standaardtarief Wanneer bij maximale redeneerinspanning de default-aanpassing wordt gebruikt
Ailoot-tarieven
Prijzen per configuratie
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.00002 / 1K tokens Uitvoer · Uitvoertokens $0 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
Voorbeeldverzoeken
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Resultaten ophalen en opslaan
Ailoot Ultra · Embeddings
json
Alle voltooide resultaten bewaren
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke vector met zijn index. Het aantal vectoren moet gelijk zijn aan het aantal invoeritems; de dimensies moeten consistent zijn.
Als het oorspronkelijke antwoord moet worden gecontroleerd
Er wordt geen endpoint voor embeddingtaken geïntroduceerd.
Antwoordvelden
| Veld | Type |
|---|---|
Veldobject | Typestring |
Veldmodel | Typestring |
Velddata[].index | Typeinteger |
Velddata[].embedding | Typefinite float[] |
Veldusage | Typeobject |
Fouten en vervolgstappen
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Aliasnamen
Modelaliasnamen
Ailoot Ultra intfloat/multilingual-e5-large
Aliasnamen voor methodepaden
Gebruik de hierboven getoonde methodepaden.
Gerelateerde aanroeper-ID’s
FAQ · Intfloat: Multilingual-E5-Large
- Welke invoer en resultaten zijn beschikbaar?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Welke velden gebruikt het verzoek?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Welke limieten gelden?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8-bytes);input.min_items:1