Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 mengubah kalimat dan paragraf pendek menjadi vektor 768 dimensi untuk temu kembali, pengelompokan, dan kemiripan. Resep yang diterbitkan menggunakan mean pooling dan normalisasi L2, dengan pemotongan bawaan pada 384 unit word piece.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
all-mpnet-base-v2 adalah model Sentence Transformers untuk merepresentasikan kalimat dan paragraf pendek sebagai vektor dense 768 dimensi. Model di-fine-tune dari model dasar MPNet menggunakan pembelajaran kontrastif pada koleksi satu miliar pasangan kalimat. Pembuat mengidentifikasi temu kembali informasi, pengelompokan, dan kemiripan kalimat sebagai penggunaan yang dituju.
Kodekan kalimat atau paragraf pendek
Siapkan teks yang akan dibandingkan, dengan mempertahankan gagasan utama serta detail pembedanya. Untuk koleksi dokumen internal, bagian singkat dapat menjelaskan cara meminta penggantian peralatan atau informasi yang harus ada dalam laporan pemeliharaan. Pastikan judul dokumen dan lokasi sumber tetap tersedia di samping vektor.
Kueri yang dibuat embedding-nya dengan model yang sama dapat menemukan bagian terkait meskipun pilihan katanya berbeda. Periksa bagian tersebut untuk instruksi sebenarnya yang dibutuhkan pembaca. Untuk alur kemiripan, bandingkan kalimat kandidat itu sendiri setelah temu kembali, terutama ketika satu kalimat memuat pengecualian atau kondisi yang tidak ada pada kalimat lain.
Mean pooling dan normalisasi
Contoh pengodean rujukan merata-ratakan representasi token kontekstual dengan masker atensi, mengecualikan padding dari rata-rata. Kemudian normalisasi L2 diterapkan pada embedding kalimat hasilnya. Pertahankan kedua tahap saat membuat vektor untuk koleksi dan kueri berikutnya.
Setiap vektor memiliki 768 komponen. Kemiripan kosinus dapat membandingkan representasi yang dinormalisasi tersebut, sedangkan teks sumber memberikan bukti di balik hasil. Jumlah komponen yang sama tidak membuat model ini kompatibel dengan multi-qa-mpnet-base-dot-v1: edisi terpisah tersebut menetapkan pooling CLS dan vektor yang tidak dinormalisasi untuk penilaian hasil kali titik.
Pemotongan bawaan dan persiapan bagian teks
Pembuat menyatakan bahwa masukan di atas 384 unit word piece dipotong secara bawaan. Pertahankan bagian relevan di dalam batas tokenizer tersebut. Untuk prosedur panjang, bagi pada batas bagian yang bermakna dan sertakan konteks lokal yang cukup untuk menjelaskan hal yang dikenai suatu tahap. Fragmen seperti “Submit within five days” membutuhkan kejadian atau proses yang memulai tenggat tersebut.
Prosedur pelatihan membatasi urutan pada 128 token, terpisah dari pengaturan pengodean bawaan 384 unit word piece yang diterbitkan. Gunakan materi yang representatif saat menilai paragraf lebih panjang atau kosakata khusus koleksi. Lebih banyak teks yang muat dalam masukan tidak membuktikan bahwa setiap detail memengaruhi hasil temu kembali secara setara.
Temu kembali, pengelompokan, dan perbandingan
Untuk pencarian, pertahankan hubungan vektor dengan dokumen agar kandidat berperingkat dapat mengembalikan bagian asli. Dalam alur RAG, bagian terpilih menjadi konteks bagi tahap penulisan jawaban. Model memberikan representasi numerik; model tidak menghasilkan respons bersumber atau menentukan dokumen mana yang otoritatif.
Untuk pengelompokan, bandingkan rekaman dalam setiap kelompok usulan sebelum memberi label. Sekumpulan catatan pemeliharaan mungkin memiliki bahasa serupa tetapi mengacu pada perangkat atau kondisi kegagalan berbeda. Sertakan detail pembeda dalam teks yang dikodekan dan periksa detail itu dalam materi yang dikembalikan alih-alih hanya mengandalkan skor.
Checkpoint all-mpnet-base-v2 yang tepat ini adalah profil embedding kalimat bahasa Inggris dengan pengaturan mean pooling, normalisasi, dan pemotongan bawaannya sendiri. Simpan pengaturan tersebut bersama koleksi terindeks dan gunakan vektor sebagai bantuan untuk menemukan serta membandingkan bagian sumber yang penting bagi tugas.
Ailoot Ultra · Embedding POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Mulai
Sentence Transformers all-mpnet-base-v2 mengubah kalimat dan paragraf pendek menjadi vektor 768 dimensi untuk temu kembali, pengelompokan, dan kemiripan. Resep yang diterbitkan menggunakan mean pooling dan normalisasi L2, dengan pemotongan bawaan pada 384 unit word piece.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan sentence-transformers/all-mpnet-base-v2 | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 512 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tidak ditentukan Saat mode fast dipilih
- Mode Flex
- Tidak ditentukan Saat mode flex dipilih
- Upaya penalaran maksimum
- Tidak ditentukan Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00001 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · Sentence Transformers: all-mpnet-base-v2
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(byte UTF8);input.min_items:1