Intfloat: E5-Base-v2
intfloat E5-Base-v2 mengubah teks bahasa Inggris menjadi embedding berdimensi 768 dengan encoder 12 lapisan. Prefiks kueri/bagian teks dan jendela 512 token menentukan persiapannya untuk pencarian, perbandingan parafrasa, pengelompokan, dan fitur teks.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
E5-Base-v2 adalah model embedding bahasa Inggris intfloat dengan dua belas lapisan dan representasi 768 dimensi. Model mengubah teks yang telah disiapkan menjadi satu vektor numerik untuk temu kembali, perbandingan semantik, atau penggunaan sebagai fitur dalam tugas lain. Checkpoint Base v2 berbeda dari edisi Large v2 dengan dua puluh empat lapisan dan 1024 dimensi serta model E5 multibahasa yang dilatih secara terpisah.
Gunakan prefiks peran yang digunakan dalam pelatihan
E5 mengharapkan peran pada awal masukan. Untuk pencarian bagian teks, pertanyaan dimulai dengan “query:” dan sumber yang mungkin memuat jawaban dimulai dengan “passage:”. Produsen menyarankan “query:” pada kedua sisi untuk tugas simetris seperti kemiripan semantik dan pencarian parafrasa. Prefiks tersebut juga disarankan ketika vektor akan menjadi fitur pengelompokan atau klasifikasi.
Misalnya, koleksi umpan balik dapat memuat beberapa permintaan untuk perbaikan yang sama dengan pilihan kata berbeda. Kodekan rekaman-rekaman itu menggunakan persiapan simetris yang disarankan, lalu bandingkan atau kelompokkan vektor hasilnya. Simpan pilihan kata asli dan pengenal rekaman bersama setiap representasi agar kelompok dapat diperiksa sebagai pesan pelanggan sebenarnya, bukan kumpulan angka tanpa penjelasan.
Untuk koleksi pencarian, siapkan pertanyaan dan bagian sumber dalam peran masing-masing. Kueri yang berguna adalah “query: Which setting changes the notification frequency?” Bagian korpus mempertahankan penjelasan dan kondisi yang relevan. Prefiks merupakan bagian dari persiapan yang digunakan untuk melatih model; pembuat mencatat bahwa menghilangkannya menurunkan kinerja.
Gabungkan dan bandingkan representasi
Contoh resmi menghitung rata-rata representasi token dengan memperhitungkan masker atensi untuk mengecualikan padding, lalu menormalisasi vektor hasilnya. Hasil kali titik antara embedding yang dinormalisasi memberikan kemiripan kosinus. Sebanyak 768 nilai keluaran menjelaskan satu teks; nilai-nilai tersebut bukan jawaban, label kelas, atau skor reranker berpasangan.
Dalam alur pengelompokan, tahap lain membentuk kelompok dari vektor tersebut. Dalam alur klasifikasi, tahap lain menggunakannya sebagai fitur masukan. Mempertahankan perbedaan ini membuat hasil lebih mudah ditafsirkan: embedding mewakili rekaman, sedangkan tugas berikutnya menentukan kelompok atau label. Gunakan satu model dan konvensi persiapan secara konsisten untuk representasi yang dibandingkan.
Bekerja dalam bahasa Inggris dan 512 token
Kartu model menyatakan edisi ini hanya bekerja untuk bahasa Inggris dan memotong teks panjang hingga paling banyak 512 token. Siapkan bagian teks yang koheren dalam rentang tersebut, termasuk prefiks peran yang diwajibkan. Ulasan, laporan, atau manual panjang harus dibagi berdasarkan bagian yang bermakna, bukan dibuat embedding-nya sebagai masukan terlalu besar yang bagian akhirnya hilang.
Simpan judul bersama kalimat yang diperkenalkannya, serta pertahankan kondisi atau pengecualian yang mengubah makna aturan. Untuk rekaman pendek seperti umpan balik, pertahankan pesan lengkap jika muat. Pengenal sumber dan versi yang disimpan di samping vektor memungkinkan pembaruan koleksi berikutnya mengganti rekaman yang tepat.
Tafsirkan kemiripan untuk tugasnya
Pembuat menjelaskan bahwa urutan relatif skor kosinus lebih penting daripada nilai absolut. Ambang penyaringan harus dinilai menggunakan contoh dari koleksi itu sendiri, dan kemiripan vektor bukan probabilitas terkalibrasi atas label yang cocok atau jawaban yang benar. Periksa rekaman berdekatan dan ketidakcocokan yang diketahui saat menentukan cara penggunaan vektor.
Hasil yang berguna adalah indeks pencarian berbahasa Inggris, himpunan perbandingan semantik, atau fitur teks numerik yang dipasangkan dengan rekaman sumbernya. Profil Base v2 ini memiliki dimensi, pooling, dan persiapan perannya sendiri; bentuk vektor atau cakupan bahasa edisi E5 lain tidak membuktikan representasi yang dapat saling dipertukarkan.
Ailoot Ultra · Embedding POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Mulai
intfloat E5-Base-v2 mengubah teks bahasa Inggris menjadi embedding berdimensi 768 dengan encoder 12 lapisan. Prefiks kueri/bagian teks dan jendela 512 token menentukan persiapannya untuk pencarian, perbandingan parafrasa, pengelompokan, dan fitur teks.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan intfloat/e5-base-v2 | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 512 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tidak ditentukan Saat mode fast dipilih
- Mode Flex
- Tidak ditentukan Saat mode flex dipilih
- Upaya penalaran maksimum
- Tidak ditentukan Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00001 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra intfloat/e5-base-v2
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · Intfloat: E5-Base-v2
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(byte UTF8);input.min_items:1