Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base menghasilkan embedding teks bahasa Inggeris kepada vektor 768 dimensi untuk pemerolehan semula dan keserupaan semantik. Model tepat ini menggunakan average pooling, menyokong jujukan sehingga 512 token dan mendokumenkan perbandingan berasaskan kosinus dengan penormalan pilihan.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
GTE-base ialah model General Text Embeddings bersaiz base yang dilatih Alibaba DAMO Academy. Pengekod teks bahasa Inggeris ini terutamanya berasaskan rangka kerja BERT dan menghasilkan vektor padat 768 dimensi. Latihannya menggunakan korpus besar pasangan berkaitan merentas domain, dengan pemerolehan semula maklumat, keserupaan teks semantik dan penyusunan semula kedudukan teks berasaskan embedding antara aplikasi yang dinyatakan.
Sediakan pertanyaan dan petikan bahasa Inggeris
Gunakan teks bahasa Inggeris yang boleh dibaca untuk keperluan maklumat serta bahan yang akan dicari. Contohnya, pertanyaan tentang menggantikan komponen haus boleh dibandingkan dengan bahagian penyelenggaraan pendek yang menerangkan kriteria penggantian, langkah pemeriksaan dan arahan pesanan. Kekalkan nama komponen dan syarat yang membezakan bahagian tersebut.
Contoh yang diterbitkan mengekod soalan dan teks calon secara langsung tanpa arahan tugas tambahan. Pastikan penyediaan itu konsisten merentas koleksi dan pertanyaan kemudian. Simpan petikan asal serta pengecamnya bersama vektor supaya hasil berperingkat dapat menunjukkan maklumat yang diwakili.
Average pooling dan perbandingan
Kaedah rujukan mempuratakan perwakilan token model menggunakan topeng perhatian supaya kedudukan padding tidak menyumbang kepada hasil. Kemudian ia menunjukkan penormalan L2 pilihan dan membandingkan vektor ternormal melalui hasil darab titik. Contoh berasingan menggunakan keserupaan kosinus.
Pilih dan kekalkan tetapan penormalan serta perbandingan yang konsisten untuk pengindeksan dan pemerolehan semula. Output mengandungi 768 komponen berangka; ia tidak mengandungi jawapan terjana. Untuk peringkat penyusunan semula kedudukan calon, kodkan petikan calon menggunakan model yang sama dan susunkannya mengikut keserupaan kepada pertanyaan. Ini tetap perbandingan berasaskan embedding, bukan dakwaan bahawa model membaca setiap pasangan pertanyaan–petikan secara bersama sebagai cross-encoder.
Skop bahasa Inggeris dan input 512 token
Kad tepat mengehadkan model ini kepada teks bahasa Inggeris dan menyatakan bahawa input panjang dipotong kepada maksimum 512 token. Oleh itu, manual panjang perlu menjadi bahagian bermakna sebelum diindeks. Simpan amaran, pengecualian atau syarat dan batasan bersama peraturan yang diperincikannya apabila perincian itu diperlukan untuk mentafsir petikan.
Untuk pertanyaan tentang selang penyelenggaraan, bahagian yang mengandungi selang dan keadaan operasi lebih berguna daripada fragmen yang hanya mengandungi nombor. Kekalkan tajuk atau identiti peralatan apabila ia memperjelas arahan. Periksa panjang tokenizer, bukannya bergantung pada bilangan perkataan yang kelihatan.
Gunakan petikan sumber di sebalik skor
Pemerolehan semula mengembalikan calon daripada koleksi berindeks. Periksa petikan teratas berdasarkan tugas tepat dan simpan lokasi sumbernya apabila memberikannya kepada peringkat penulisan jawapan RAG. Petikan berkaitan mungkin membincangkan pemeriksaan tanpa membenarkan penggantian; perbezaan itu mesti kekal kelihatan dalam bahan sumber.
GTE-base berbeza daripada GTE-large yang menghasilkan vektor 1024 dimensi, serta daripada edisi GTE berbilang bahasa atau berkonteks lanjutan kemudian. Identiti model yang diterbitkan menetapkan skop bahasa Inggeris, perwakilan 768 komponen dan sempadan 512 token. Gunakan profil tepat ini bersama pertanyaan yang mewakili tugas dan rekod sumber ketika menilai koleksi pemerolehan semula.
Ailoot Ultra · Pembenaman POST /v1/embeddings thenlper/gte-base
thenlper/gte-basePengenalan
Alibaba DAMO Academy GTE-base menghasilkan embedding teks bahasa Inggeris kepada vektor 768 dimensi untuk pemerolehan semula dan keserupaan semantik. Model tepat ini menggunakan average pooling, menyokong jujukan sehingga 512 token dan mendokumenkan perbandingan berasaskan kosinus dengan penormalan pilihan.
- Input yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Pembenaman POST /v1/embeddings
- Input
text,token_ids- Output
embedding- Format output
- json
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had thenlper/gte-base | Lalai— |
Medaninput | Jenisstring|string[]|integer[]|integer[][] | KeperluanDiperlukan | Nilai & had Item minimum: 1 Syarat: Kelompok homogen yang tidak kosong. ID token ialah integer bukan negatif. Bajet input: Maksimum: 512 · Unit teks: bait UTF8 · Unit token: elemen tatasusunan token | Lalai— |
Medanencoding_format | Jenisstring | KeperluanPilihan | Nilai & had float | Lalaifloat |
Medandimensions | Jenisinteger | KeperluanTidak disokong | Nilai & had Minimum: 1 | Lalai— |
Medanuser | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medansession_id | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medantrace | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak | Lalai— |
Gabungan bahan input
text_to_embedding
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Kitar hayat: synchronous_json
Simpan setiap indeks dan dimensi vektor.
Nama model multimodal tidak bermakna objek imej dibenarkan pada laluan khusus ini.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Tidak dinyatakan Apabila mod pantas dipilih
- Mod flex
- Tidak dinyatakan Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Tidak dinyatakan Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.00001 / 1K token Output · Token output $0 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Pembenaman
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Pembenaman
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan setiap vektor bersama indeksnya. Bilangan vektor mesti sama dengan bilangan input; dimensi mesti konsisten.
Jika respons asal perlu disemak
Tiada titik akhir tugas pembenaman diperkenalkan.
Medan respons
| Medan | Jenis |
|---|---|
Medanobject | Jenisstring |
Medanmodel | Jenisstring |
Medandata[].index | Jenisinteger |
Medandata[].embedding | Jenisfinite float[] |
Medanusage | Jenisobject |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Alias
Alias model
Ailoot Ultra thenlper/gte-base
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · Thenlper: GTE-Base
- Apakah input dan hasil yang tersedia?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Apakah medan yang digunakan oleh permintaan?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Apakah had yang terpakai?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(bait UTF8);input.min_items:1