Sentence Transformers: all-MiniLM-L6-v2
Sentence Transformers all-MiniLM-L6-v2 merepresentasikan kalimat dan paragraf pendek sebagai vektor 384 dimensi untuk pencarian semantik, pengelompokan, dan kemiripan. Resep yang diterbitkan menggabungkan mean pooling dengan normalisasi L2 dan pengaturan bawaan 256 unit word piece.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
all-MiniLM-L6-v2 adalah encoder kalimat dan paragraf pendek Sentence Transformers. Model memetakan setiap teks menjadi vektor dense 384 dimensi untuk temu kembali, pengelompokan, dan kemiripan kalimat. Model di-fine-tune dari backbone MiniLM-L6-H384-uncased menggunakan pembelajaran kontrastif pada koleksi satu miliar pasangan kalimat.
Siapkan rekaman ringkas dan bermakna
Pilih kalimat atau paragraf yang harus muncul dalam hasil pencarian. Untuk koleksi FAQ, simpan pertanyaan dan penjelasan singkat yang membedakan topiknya. Bagian tentang pengaturan ulang kata sandi yang terlupa harus mempertahankan prosedur pengaturan ulang, bukan dipangkas menjadi kata terpisah seperti “Account.”
Untuk artikel panjang, indeks bagian pendek yang koheren dan simpan lokasi sumbernya. Temukan bagian kandidat dengan membandingkan vektor kueri dengan representasi tersimpan, lalu tampilkan bagian asli agar pembaca dapat memeriksa instruksi sebenarnya.
Dapatkan representasi kalimat
Resep pengodean langsung pembuat merata-ratakan representasi token dengan masker atensi, mengecualikan posisi padding dari rata-rata. Kemudian normalisasi L2 diterapkan. Tahap-tahap ini menghasilkan embedding kalimat yang digunakan untuk perbandingan; representasi token individual dari transformer dasarnya memiliki peran berbeda.
Setiap keluaran memiliki 384 komponen. Gunakan checkpoint, pooling, dan normalisasi yang sama saat membangun koleksi dan mengodekan kueri berikutnya. Kemiripan kosinus dapat membandingkan vektor hasilnya. Nilai kemiripan berguna untuk memeringkat kandidat dengan pengaturan tersebut, sementara teks asli menentukan apakah kandidat menjawab pertanyaan.
Batas panjang dan edisi
Pengaturan bawaan yang diterbitkan memotong masukan lebih panjang dari 256 unit word piece. Unit tokenizer ini tidak langsung sama dengan kata biasa atau karakter. Pertahankan kondisi penting di dalam unit yang diindeks, dan bagi prosedur panjang pada batas bermakna sebelum mengodekannya.
Urutan pelatihan dibatasi pada 128 token. Pengaturan pelatihan tersebut terpisah dari pengaturan bawaan 256 unit word piece yang digunakan untuk pengodean. Untuk bagian yang sangat panjang atau khusus, gunakan contoh kueri dan bagian teks yang representatif untuk menilai perilaku temu kembali alih-alih menganggap muat dalam batas masukan menjamin perlakuan setara terhadap setiap detail.
Edisi L6-v2 yang tepat merupakan profil embedding bahasa Inggris. Edisi L12-v2 dan paraphrase-MiniLM memiliki identitas model serta konfigurasi terpisah. Nama MiniLM yang sama atau keluaran 384 dimensi tidak membuktikan vektor yang dapat saling dipertukarkan.
Pencarian, kemiripan, dan pengelompokan
Untuk peninjauan pertanyaan duplikat, temukan pertanyaan serupa dan bandingkan pilihan kata sebenarnya sebelum menggabungkan rekaman. “Can I reset my password?” dan “Can an administrator reset another user’s password?” menyangkut subjek terkait tetapi izin yang berbeda. Pertahankan perbedaan itu dalam teks yang dikodekan dan tahap peninjauan.
Untuk pengelompokan, gunakan embedding sebagai masukan numerik bagi proses pembentukan kelompok, lalu periksa rekaman yang representatif sebelum menamai kelompok. Model ini memberikan vektor, bukan label kelompok tertulis atau jawaban FAQ yang dihasilkan. Hasil yang berguna adalah representasi ringkas bagian sumber pendek yang tetap terhubung dengan rekaman aslinya.
Ailoot Ultra · Embedding POST /v1/embeddings sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2
sentence-transformers/all-minilm-l6-v2Mulai
Sentence Transformers all-MiniLM-L6-v2 merepresentasikan kalimat dan paragraf pendek sebagai vektor 384 dimensi untuk pencarian semantik, pengelompokan, dan kemiripan. Resep yang diterbitkan menggabungkan mean pooling dengan normalisasi L2 dan pengaturan bawaan 256 unit word piece.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan sentence-transformers/all-minilm-l6-v2 | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 512 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tidak ditentukan Saat mode fast dipilih
- Mode Flex
- Tidak ditentukan Saat mode flex dipilih
- Upaya penalaran maksimum
- Tidak ditentukan Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00001 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra sentence-transformers/all-minilm-l6-v2
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · Sentence Transformers: all-MiniLM-L6-v2
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·sentence-transformers/all-minilm-l6-v2:input.budget.maximum:512(byte UTF8);input.min_items:1