Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base membuat embedding teks bahasa Inggris menjadi vektor 768 dimensi untuk temu kembali dan kemiripan semantik. Model yang tepat ini menggunakan average pooling, mendukung urutan hingga 512 token, dan mendokumentasikan perbandingan berbasis kosinus dengan normalisasi opsional.
Tentang model
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
GTE-base adalah model General Text Embeddings berukuran base yang dilatih Alibaba DAMO Academy. Encoder teks bahasa Inggris ini terutama berbasis kerangka BERT dan menghasilkan vektor dense 768 dimensi. Pelatihannya menggunakan korpus besar pasangan berbasis relevansi lintas domain, dengan temu kembali informasi, kemiripan teks semantik, dan pemeringkatan ulang teks berbasis embedding di antara aplikasi yang dinyatakan.
Siapkan kueri dan bagian teks bahasa Inggris
Gunakan teks bahasa Inggris yang dapat dibaca untuk kebutuhan informasi maupun materi yang akan dicari. Misalnya, kueri tentang penggantian komponen aus dapat dibandingkan dengan bagian pemeliharaan singkat yang menjelaskan kriteria penggantian, tahap inspeksi, dan instruksi pemesanan. Pertahankan nama komponen serta kondisi yang membedakan bagian-bagian tersebut.
Contoh yang diterbitkan mengodekan pertanyaan dan teks kandidat langsung, tanpa instruksi tugas tambahan. Jaga persiapan tersebut tetap konsisten pada koleksi dan kueri berikutnya. Simpan bagian asli dan pengenalnya di samping vektor agar hasil berperingkat dapat menunjukkan informasi yang direpresentasikan.
Average pooling dan perbandingan
Resep rujukan merata-ratakan representasi token model menggunakan masker atensi, sehingga posisi padding tidak berkontribusi pada hasil. Kemudian resep menunjukkan normalisasi L2 opsional dan membandingkan vektor ternormalisasi melalui hasil kali titik. Contoh terpisah menggunakan kemiripan kosinus.
Pilih dan pertahankan pengaturan normalisasi serta perbandingan yang konsisten untuk pengindeksan dan temu kembali. Keluaran memuat 768 komponen numerik; bukan jawaban yang dihasilkan. Untuk tahap pemeringkatan ulang kandidat, kodekan bagian kandidat dengan model yang sama dan urutkan berdasarkan kemiripannya dengan kueri. Ini tetap perbandingan berbasis embedding, bukan klaim bahwa model membaca setiap pasangan kueri–bagian secara bersama sebagai cross-encoder.
Cakupan bahasa Inggris dan masukan 512 token
Kartu yang tepat membatasi model ini pada teks bahasa Inggris dan menyatakan bahwa masukan panjang dipotong hingga maksimum 512 token. Karena itu, manual panjang harus dibagi menjadi bagian bermakna sebelum diindeks. Simpan peringatan, pengecualian, atau kondisi dan batasan bersama aturan yang diperjelasnya ketika detail tersebut diperlukan untuk menafsirkan bagian.
Untuk kueri tentang interval pemeliharaan, bagian yang memuat interval serta kondisi operasi lebih berguna daripada fragmen yang hanya memuat angka. Pertahankan judul atau identitas peralatan ketika memperjelas instruksi. Periksa panjang tokenizer alih-alih mengandalkan jumlah kata yang terlihat.
Gunakan bagian sumber di balik skor
Temu kembali mengembalikan kandidat dari koleksi terindeks. Periksa bagian teratas untuk tugas yang tepat dan simpan lokasi sumbernya ketika meneruskannya ke tahap penulisan jawaban RAG. Bagian terkait mungkin membahas inspeksi tanpa mengizinkan penggantian; perbedaan itu harus tetap terlihat dalam materi sumber.
GTE-base berbeda dari GTE-large yang menghasilkan vektor 1024 dimensi, dan dari edisi GTE multibahasa atau berkonteks lebih panjang yang lebih baru. Identitas model yang diterbitkan menetapkan cakupan bahasa Inggris, representasi 768 komponen, dan batas 512 token. Gunakan profil yang tepat ini dengan kueri representatif serta rekaman sumber saat menilai koleksi temu kembali.
Ailoot Ultra · Embedding POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseMulai
Alibaba DAMO Academy GTE-base membuat embedding teks bahasa Inggris menjadi vektor 768 dimensi untuk temu kembali dan kemiripan semantik. Model yang tepat ini menggunakan average pooling, mendukung urutan hingga 512 token, dan mendokumentasikan perbandingan berbasis kosinus dengan normalisasi opsional.
- Masukan yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · masukan & metode
Ailoot Ultra · Embedding POST /v1/embeddings
- Masukan
text,token_ids- Keluaran
embedding- Format keluaran
- json
| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan thenlper/gte-base | Bawaan— |
Kolominput | Jenisstring|string[]|integer[]|integer[][] | PersyaratanWajib | Nilai & batasan Item minimum: 1 Kondisi: Batch homogen yang tidak kosong. ID token berupa bilangan bulat nonnegatif. Anggaran masukan: Maksimum: 512 · Satuan teks: byte UTF8 · Satuan token: elemen array token | Bawaan— |
Kolomencoding_format | Jenisstring | PersyaratanOpsional | Nilai & batasan float | Bawaanfloat |
Kolomdimensions | Jenisinteger | PersyaratanTidak didukung | Nilai & batasan Minimum: 1 | Bawaan— |
Kolomuser | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomsession_id | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomtrace | Jenisjson_value | PersyaratanOpsional | Nilai & batasan Kondisi: Sumber mengizinkan kolom metadata JSON ini; makna tepatnya pada layanan hulu bergantung pada model. | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak | Bawaan— |
Kombinasi bahan masukan
text_to_embedding
Parameter metode dan siklus hidup
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Siklus hidup: synchronous_json
Pertahankan index dan dimensi setiap vektor.
Nama model multimodal tidak mengizinkan objek gambar pada jalur persis ini.
Paket
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
- Mode Fast
- Tidak ditentukan Saat mode fast dipilih
- Mode Flex
- Tidak ditentukan Saat mode flex dipilih
- Upaya penalaran maksimum
- Tidak ditentukan Saat upaya penalaran maksimum menggunakan penyesuaian default
Tarif Ailoot
Harga menurut konfigurasi
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.00001 / 1K token Keluaran · Token keluaran $0 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
Contoh permintaan
Ailoot Ultra · Embedding
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Embedding
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap vektor beserta index masing-masing. Jumlah vektor harus sama dengan jumlah input; dimensinya harus konsisten.
Jika respons asli perlu diperiksa
Endpoint untuk tugas embedding tidak ditambahkan.
Kolom respons
| Kolom | Jenis |
|---|---|
Kolomobject | Jenisstring |
Kolommodel | Jenisstring |
Kolomdata[].index | Jenisinteger |
Kolomdata[].embedding | Jenisfinite float[] |
Kolomusage | Jenisobject |
Kesalahan dan langkah berikutnya
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Alias
Alias model
Ailoot Ultra thenlper/gte-base
Alias jalur metode
Gunakan jalur metode yang ditampilkan di atas.
ID pemanggil terkait
FAQ · Thenlper: GTE-Base
- Input dan hasil apa yang tersedia?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Kolom apa yang digunakan permintaan?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Batasan apa yang berlaku?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(byte UTF8);input.min_items:1