Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 menukarkan ayat dan perenggan pendek kepada vektor 768 dimensi untuk pemerolehan semula, pengelompokan dan keserupaan. Kaedah yang diterbitkan menggunakan mean pooling serta penormalan L2, dengan pemotongan lalai pada 384 unit word piece.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
all-mpnet-base-v2 ialah model Sentence Transformers untuk mewakili ayat dan perenggan pendek sebagai vektor padat 768 dimensi. Ia ditala halus daripada model asas MPNet dengan pembelajaran kontrastif pada koleksi satu bilion pasangan ayat. Pembuat mengenal pasti pemerolehan semula maklumat, pengelompokan dan keserupaan ayat sebagai kegunaan yang dimaksudkan.
Kodkan ayat atau perenggan pendek
Sediakan teks yang patut dibandingkan, sambil mengekalkan idea utama dan perincian yang membezakannya. Untuk koleksi dokumen dalaman, bahagian pendek mungkin menerangkan cara meminta penggantian peralatan atau maklumat yang mesti ada dalam laporan penyelenggaraan. Pastikan tajuk dokumen dan lokasi sumber tersedia bersama vektor.
Pertanyaan yang dihasilkan embeddingnya dengan model sama boleh mendapatkan bahagian berkaitan walaupun ungkapannya berbeza. Periksa bahagian itu untuk arahan sebenar yang diperlukan pembaca. Untuk aliran kerja keserupaan, bandingkan ayat calon itu sendiri selepas pemerolehan semula, khususnya apabila satu ayat mempunyai pengecualian atau syarat yang tiada dalam ayat lain.
Mean pooling dan penormalan
Contoh pengekodan rujukan mempuratakan perwakilan token berkonteks menggunakan topeng perhatian, dengan mengecualikan padding daripada purata. Kemudian ia menormalkan embedding ayat hasil mengikut L2. Kekalkan kedua-dua langkah ketika menghasilkan vektor untuk koleksi dan pertanyaan kemudian.
Setiap vektor mempunyai 768 komponen. Keserupaan kosinus boleh membandingkan perwakilan ternormal itu, manakala teks sumber membekalkan bukti di sebalik hasil. Bilangan komponen yang sama tidak menjadikan model ini serasi dengan multi-qa-mpnet-base-dot-v1: edisi berasingan itu menetapkan pooling CLS dan vektor tidak ternormal untuk penskoran hasil darab titik.
Pemotongan lalai dan penyediaan petikan
Pembuat menyatakan bahawa input melebihi 384 unit word piece dipotong secara lalai. Pastikan bahagian berkaitan berada dalam sempadan tokenizer itu. Untuk prosedur panjang, bahagikan mengikut sempadan bahagian bermakna dan sertakan konteks setempat yang mencukupi untuk menjelaskan perkara yang terpakai bagi sesuatu langkah. Fragmen seperti “Submit within five days” memerlukan peristiwa atau proses yang memulakan tarikh akhir itu.
Prosedur latihan mengehadkan jujukan kepada 128 token, berasingan daripada tetapan pengekodan lalai 384 unit word piece yang diterbitkan. Gunakan bahan yang mewakili tugas ketika menilai perenggan lebih panjang atau kosa kata khusus koleksi anda. Lebih banyak teks yang muat dalam input tidak membuktikan bahawa setiap perincian akan mempengaruhi hasil pemerolehan semula secara sama rata.
Pemerolehan semula, pengelompokan dan perbandingan
Untuk carian, simpan perkaitan vektor dengan dokumen supaya calon berperingkat dapat mengembalikan bahagian asal. Dalam aliran kerja RAG, bahagian terpilih menjadi konteks untuk peringkat penulisan jawapan. Model membekalkan perwakilan berangka; ia tidak menjana respons bersumber atau memutuskan dokumen mana yang berautoriti.
Untuk pengelompokan, bandingkan rekod dalam setiap kumpulan cadangan sebelum memberikan label. Set nota penyelenggaraan mungkin mengandungi bahasa serupa tetapi merujuk peranti atau keadaan kegagalan berbeza. Sertakan perincian pembeza itu dalam teks yang dikodkan dan periksanya dalam bahan yang dikembalikan, bukannya bergantung pada skor sahaja.
Checkpoint all-mpnet-base-v2 tepat ini ialah profil embedding ayat bahasa Inggeris dengan tetapan mean pooling, penormalan dan pemotongan lalainya sendiri. Simpan tetapan itu bersama koleksi berindeks dan gunakan vektor sebagai bantuan untuk mencari serta membandingkan petikan sumber yang penting kepada tugas.
Ailoot Ultra · Pembenaman POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Pengenalan
Sentence Transformers all-mpnet-base-v2 menukarkan ayat dan perenggan pendek kepada vektor 768 dimensi untuk pemerolehan semula, pengelompokan dan keserupaan. Kaedah yang diterbitkan menggunakan mean pooling serta penormalan L2, dengan pemotongan lalai pada 384 unit word piece.
- Input yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Pembenaman POST /v1/embeddings
- Input
text,token_ids- Output
embedding- Format output
- json
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had sentence-transformers/all-mpnet-base-v2 | Lalai— |
Medaninput | Jenisstring|string[]|integer[]|integer[][] | KeperluanDiperlukan | Nilai & had Item minimum: 1 Syarat: Kelompok homogen yang tidak kosong. ID token ialah integer bukan negatif. Bajet input: Maksimum: 512 · Unit teks: bait UTF8 · Unit token: elemen tatasusunan token | Lalai— |
Medanencoding_format | Jenisstring | KeperluanPilihan | Nilai & had float | Lalaifloat |
Medandimensions | Jenisinteger | KeperluanTidak disokong | Nilai & had Minimum: 1 | Lalai— |
Medanuser | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medansession_id | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medantrace | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak | Lalai— |
Gabungan bahan input
text_to_embedding
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Kitar hayat: synchronous_json
Simpan setiap indeks dan dimensi vektor.
Nama model multimodal tidak bermakna objek imej dibenarkan pada laluan khusus ini.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Tidak dinyatakan Apabila mod pantas dipilih
- Mod flex
- Tidak dinyatakan Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Tidak dinyatakan Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.00001 / 1K token Output · Token output $0 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Pembenaman
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Pembenaman
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan setiap vektor bersama indeksnya. Bilangan vektor mesti sama dengan bilangan input; dimensi mesti konsisten.
Jika respons asal perlu disemak
Tiada titik akhir tugas pembenaman diperkenalkan.
Medan respons
| Medan | Jenis |
|---|---|
Medanobject | Jenisstring |
Medanmodel | Jenisstring |
Medandata[].index | Jenisinteger |
Medandata[].embedding | Jenisfinite float[] |
Medanusage | Jenisobject |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Alias
Alias model
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · Sentence Transformers: all-mpnet-base-v2
- Apakah input dan hasil yang tersedia?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Apakah medan yang digunakan oleh permintaan?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Apakah had yang terpakai?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(bait UTF8);input.min_items:1