Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large mengodekan teks multibahasa menjadi vektor 1024 dimensi dengan model 24 lapisan. Model mendukung cakupan seratus bahasa XLM-R, menggunakan prefiks query/passage berbahasa Inggris untuk setiap bahasa, dan memotong masukan pada 512 token.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Multilingual-E5-Large adalah model embedding teks dense multibahasa intfloat, dengan dua puluh empat lapisan dan keluaran 1024 dimensi. Model diinisialisasi dari XLM-RoBERTa Large lalu dilatih lebih lanjut pada data multibahasa. Kartu model menjelaskan dukungan untuk cakupan seratus bahasa XLM-R sekaligus mencatat kinerja yang lebih lemah untuk bahasa dengan sumber daya terbatas. Vektornya merepresentasikan teks untuk pencarian kembali, perbandingan semantik, dan tugas fitur numerik.
Pertahankan peran masukan dalam setiap bahasa
Prefiks yang digunakan dalam pelatihan adalah “query:” dan “passage:”, termasuk untuk teks non-Inggris. Kueri pencarian dan bagian teks dalam korpus menggunakan peran masing-masing. Prefiks tetap berupa string bahasa Inggris tersebut, sedangkan teks sumber tetap menggunakan bahasanya sendiri. Untuk kemiripan semantik simetris, pencarian parafrasa, penambangan pasangan teks dwibahasa, atau penggunaan sebagai fitur, pembuat menyarankan “query:”.
Koleksi praktis dapat menyimpan dokumentasi dalam beberapa bahasa yang didukung. Simpan bahasa setiap bagian, teks asli, dan lokasi sumber bersama vektornya. Siapkan pertanyaan pencarian nyata dari audiens alih-alih menganggap satu pengujian berbahasa Inggris mewakili seluruh koleksi. Keluaran harus mengembalikan bagian teks sebenarnya beserta konteksnya agar pembaca dapat menilai isinya.
Untuk tugas pencocokan multibahasa, jaga tujuan perbandingan tetap jelas. Pasangan calon terjemahan dan kueri yang mencari bagian pendukung memerlukan persiapan berbeda. Panduan prefiks peran model menyediakan konvensi konkret untuk tugas-tugas tersebut; menghilangkan prefiks bukan padanan yang didokumentasikan karena mengubah pola masukan yang digunakan dalam pelatihan.
Pooling dan perbandingan vektor
Contoh pembuat merata-ratakan representasi token dengan masker atensi untuk mengecualikan padding, lalu menormalisasi vektor. Hasil kali titik yang dinormalisasi memberikan kemiripan kosinus. Larik 1024 dimensi mewakili satu teks yang telah disiapkan. Simpan model dan persiapan yang tepat bersama vektor tersimpan agar kueri berikutnya menggunakan representasi yang sesuai.
Vektor ini dapat memberikan peringkat kandidat atau fitur untuk tahap pengelompokan atau klasifikasi berikutnya. Vektor tidak menerjemahkan sumber atau menyusun jawaban. Kembalikan teks bagian sumber ketika hasil pencarian dimaksudkan untuk membantu pembaca atau tahap pembangkitan RAG berikutnya.
Pelatihan dan cakupan bahasa
Kartu model mendokumentasikan prapelatihan kontrastif dengan supervisi lemah, kemudian fine-tuning dengan supervisi. Persiapan multibahasa mencakup materi seperti pasangan judul–bagian teks, pasangan percakapan, dan pasangan terjemahan, sedangkan data pencarian serta pemahaman bahasa berlabel menyediakan tahap berikutnya. Ini menjelaskan tugas representasi teks yang dituju tanpa membuktikan kinerja yang sama dalam setiap bahasa.
Pembuat secara eksplisit mengidentifikasi penurunan kinerja bahasa dengan sumber daya terbatas sebagai keterbatasan. Periksa bahasa dan pilihan kata yang sebenarnya dalam koleksi, termasuk singkatan, nama, dan kosakata khusus. Label multibahasa merupakan deskripsi cakupan yang berguna; relevansi teks yang dikembalikan tetap perlu diperiksa untuk audiens dan tugasnya.
Panjang dan hasil yang berguna
Masukan panjang dipotong hingga paling banyak 512 token. Siapkan dokumen panjang sebagai bagian-bagian yang koheren dengan prefiks peran dan judul yang relevan disertakan. Pertahankan definisi serta kondisi dan batasan di samping pernyataan yang dipengaruhinya, dan simpan pengenal dokumen induk serta versi sumber di luar vektor.
Produsen menyarankan fokus pada urutan relatif skor kosinus alih-alih memperlakukan nilai absolut sebagai ukuran keyakinan universal. Hasil yang berguna adalah himpunan bagian kandidat, representasi teks yang dapat dibandingkan, atau fitur yang terhubung dengan rekaman aslinya. Model yang tepat ini tetap terpisah dari checkpoint E5 v2 berbahasa Inggris saja dan varian E5 yang dituning mengikuti instruksi, meskipun model lain juga mengembalikan 1024 nilai.
Ailoot Ultra · Embedding POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-largeMulai
intfloat Multilingual-E5-Large mengodekan teks multibahasa menjadi vektor 1024 dimensi dengan model 24 lapisan. Model mendukung cakupan seratus bahasa XLM-R, menggunakan prefiks query/passage berbahasa Inggris untuk setiap bahasa, dan memotong masukan pada 512 token.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Konteks
- 512 tokens
- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan intfloat/multilingual-e5-large | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 512 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tarif standar Saat mode fast dipilih
- Mode Flex
- Tarif standar Saat mode flex dipilih
- Upaya penalaran maksimum
- Tarif standar Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00002 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra intfloat/multilingual-e5-large
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · Intfloat: Multilingual-E5-Large
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(byte UTF8);input.min_items:1