Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large mengekod teks berbilang bahasa kepada vektor 1024 dimensi dengan model 24 lapisan. Ia menyokong skop seratus bahasa XLM-R, menggunakan awalan query/passage bahasa Inggeris untuk setiap bahasa dan memotong input pada 512 token.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Multilingual-E5-Large ialah model embedding teks padat berbilang bahasa intfloat, dengan dua puluh empat lapisan dan output 1024 dimensi. Ia dimulakan daripada XLM-RoBERTa Large dan dilatih lanjut pada data berbilang bahasa. Kad model menerangkan sokongan bagi skop seratus bahasa XLM-R sambil menyatakan prestasi lebih lemah untuk bahasa bersumber rendah. Vektornya mewakili teks untuk pemerolehan semula, perbandingan semantik dan tugas ciri berangka.
Kekalkan peranan input dalam setiap bahasa
Awalan yang dilatih ialah “query:” dan “passage:”, termasuk untuk teks bukan bahasa Inggeris. Pertanyaan pemerolehan semula dan petikan korpusnya menggunakan peranan masing-masing. Awalan kekal sebagai rentetan bahasa Inggeris itu, manakala ungkapan sumber mengekalkan bahasanya sendiri. Untuk keserupaan semantik simetri, pemerolehan semula parafrasa, perlombongan teks dwibahasa atau penggunaan sebagai ciri, pembuat mengesyorkan “query:”.
Koleksi praktikal boleh menyimpan dokumentasi dalam beberapa bahasa yang disokong. Simpan bahasa setiap petikan, teks asal dan lokasi sumber bersama vektornya. Sediakan soalan carian sebenar daripada khalayak dan jangan menganggap satu ujian bahasa Inggeris mewakili seluruh koleksi. Output perlu mengembalikan petikan sebenar dan konteksnya supaya pembaca dapat menilai kandungannya.
Untuk tugas pemadanan berbilang bahasa, pastikan tujuan perbandingan jelas. Sepasang calon terjemahan dan pertanyaan yang mencari petikan sokongan memerlukan penyediaan berbeza. Panduan awalan peranan model memberikan konvensyen konkrit untuk tugas tersebut; pengguguran awalan bukan padanan yang didokumenkan kerana ia mengubah corak input yang digunakan semasa latihan.
Pooling dan perbandingan vektor
Contoh pembuat mempuratakan perwakilan token menggunakan topeng perhatian untuk mengecualikan padding, kemudian menormalkan vektor. Hasil darab titik ternormal memberikan keserupaan kosinus. Tatasusunan 1024 dimensi mewakili satu teks yang telah disediakan. Simpan model dan penyediaan tepat bersama vektor tersimpan supaya pertanyaan kemudian menggunakan perwakilan sepadan.
Vektor ini boleh membekalkan kedudukan calon atau ciri untuk peringkat pengelompokan atau pengelasan kemudian. Ia tidak menterjemah sumber atau mengarang jawapan. Kembalikan teks petikan asal apabila hasil pemerolehan semula bertujuan membantu pembaca atau peringkat penjanaan RAG kemudian.
Latihan dan liputan bahasa
Kad model mendokumenkan pralatihan kontrastif dengan penyeliaan lemah, diikuti penalaan halus diselia. Penyediaan berbilang bahasa merangkumi bahan seperti pasangan tajuk–petikan, pasangan perbualan dan pasangan terjemahan, manakala data pemerolehan semula dan pemahaman bahasa berlabel membekalkan peringkat kemudian. Ini menjelaskan tugas perwakilan teks yang dimaksudkan tanpa membuktikan prestasi sama dalam setiap bahasa.
Pembuat secara jelas mengenal pasti kemerosotan bagi bahasa bersumber rendah sebagai batasan. Periksa bahasa dan ungkapan sebenar dalam koleksi, termasuk singkatan, nama dan kosa kata khusus. Label berbilang bahasa berguna untuk menerangkan skop; kerelevanan teks yang dikembalikan masih perlu diperiksa berdasarkan khalayak dan tugas.
Panjang dan hasil yang berguna
Input panjang dipotong kepada paling banyak 512 token. Sediakan dokumen panjang sebagai petikan yang koheren dengan awalan peranan dan tajuk berkaitan disertakan. Kekalkan takrif serta syarat dan batasan di sisi pernyataan yang dipengaruhinya serta simpan pengecam dokumen induk dan versi sumber di luar vektor.
Pengeluar mengesyorkan tumpuan pada urutan relatif skor kosinus, bukannya menganggap nilai mutlak sebagai ukuran keyakinan sejagat. Hasil berguna ialah set petikan calon, perwakilan teks yang boleh dibandingkan atau ciri yang dipautkan kepada rekod asalnya. Model tepat ini kekal berasingan daripada checkpoint E5 v2 bahasa Inggeris sahaja dan varian E5 yang ditala mengikut arahan, walaupun model lain juga mengembalikan 1024 nilai.
Ailoot Ultra · Pembenaman POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largePengenalan
intfloat Multilingual-E5-Large mengekod teks berbilang bahasa kepada vektor 1024 dimensi dengan model 24 lapisan. Ia menyokong skop seratus bahasa XLM-R, menggunakan awalan query/passage bahasa Inggeris untuk setiap bahasa dan memotong input pada 512 token.
- Input yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Pembenaman POST /v1/embeddings
- Input
text,token_ids- Output
embedding- Konteks
- 512 tokens
- Format output
- json
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had intfloat/multilingual-e5-large | Lalai— |
Medaninput | Jenisstring|string[]|integer[]|integer[][] | KeperluanDiperlukan | Nilai & had Item minimum: 1 Syarat: Kelompok homogen yang tidak kosong. ID token ialah integer bukan negatif. Bajet input: Maksimum: 512 · Unit teks: bait UTF8 · Unit token: elemen tatasusunan token | Lalai— |
Medanencoding_format | Jenisstring | KeperluanPilihan | Nilai & had float | Lalaifloat |
Medandimensions | Jenisinteger | KeperluanTidak disokong | Nilai & had Minimum: 1 | Lalai— |
Medanuser | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medansession_id | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medantrace | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak | Lalai— |
Gabungan bahan input
text_to_embedding
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Kitar hayat: synchronous_json
Simpan setiap indeks dan dimensi vektor.
Nama model multimodal tidak bermakna objek imej dibenarkan pada laluan khusus ini.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Kadar standard Apabila mod pantas dipilih
- Mod flex
- Kadar standard Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Kadar standard Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.00002 / 1K token Output · Token output $0 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Pembenaman
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Pembenaman
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan setiap vektor bersama indeksnya. Bilangan vektor mesti sama dengan bilangan input; dimensi mesti konsisten.
Jika respons asal perlu disemak
Tiada titik akhir tugas pembenaman diperkenalkan.
Medan respons
| Medan | Jenis |
|---|---|
Medanobject | Jenisstring |
Medanmodel | Jenisstring |
Medandata[].index | Jenisinteger |
Medandata[].embedding | Jenisfinite float[] |
Medanusage | Jenisobject |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Alias
Alias model
Ailoot Ultra intfloat/multilingual-e5-large
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · Intfloat: Multilingual-E5-Large
- Apakah input dan hasil yang tersedia?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Apakah medan yang digunakan oleh permintaan?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Apakah had yang terpakai?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(bait UTF8);input.min_items:1