Thenlper: GTE-Large
Alibaba DAMO Academy GTE-large menukarkan teks bahasa Inggeris kepada vektor 1024 dimensi untuk pemerolehan semula, keserupaan semantik dan penyusunan semula kedudukan berasaskan embedding. Kaedah rujukannya menggunakan average pooling, penormalan pilihan dan panjang jujukan maksimum 512 token.
Tentang model
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
GTE-large ialah model General Text Embeddings bersaiz besar yang dilatih Alibaba DAMO Academy. Ia pengekod teks bahasa Inggeris yang terutamanya berasaskan rangka kerja BERT, dengan perwakilan padat 1024 dimensi bagi setiap input. Pembuat melatih keluarga GTE pada pasangan teks berkaitan merentas domain dan mengenal pasti pemerolehan semula, keserupaan teks semantik serta penyusunan semula kedudukan teks sebagai aplikasi hiliran.
Wakili kandungan sesuatu bahagian
Sediakan petikan bahasa Inggeris yang patut dibandingkan dengan pertanyaan carian. Untuk koleksi laporan teknikal, simpan subjek, pemerhatian dan syarat berkaitan sesuatu bahagian pendek. Laporan yang menerangkan getaran hanya di bawah beban tertentu perlu mengekalkan syarat itu, bukannya meninggalkan pernyataan umum tentang getaran.
Simpan pengecam sumber, tajuk dokumen dan lokasi bahagian bersama vektor tersimpan. Pertanyaan boleh mendapatkan bahagian calon, manakala laporan asal kekal tersedia untuk mengesahkan peralatan, syarat dan kesimpulan. Embedding membekalkan perwakilan berangka kandungan petikan.
Pooling, penormalan dan penggunaan vektor
Kaedah yang diterbitkan menggunakan average pooling merentas perwakilan token dengan topeng perhatian, mengecualikan padding daripada purata. Ia turut menunjukkan penormalan L2 pilihan, diikuti perbandingan hasil darab titik vektor ternormal. Contoh Sentence Transformers menggunakan keserupaan kosinus.
Gunakan tetapan penyediaan, pooling dan perbandingan yang sama merentas koleksi serta bahagian pertanyaan. Setiap perwakilan mengandungi 1024 komponen. Bilangan komponen lebih besar ialah perincian edisi; ia tidak membuktikan bahawa vektor GTE-large boleh dicampur dengan perwakilan GTE-base 768 dimensi atau pengekod 1024 dimensi lain.
Aliran kerja penyusunan semula kedudukan boleh membandingkan embedding pertanyaan dengan set embedding calon yang sudah diperoleh semula lalu menyusun semula rekod itu. Kekalkan perbezaan antara perbandingan vektor tersebut dengan model berasingan yang menilai pasangan pertanyaan–petikan secara bersama.
Panjang input dan batasan bahasa Inggeris
Kad model secara jelas mengehadkan model tepat ini kepada teks bahasa Inggeris dan memotong input panjang kepada maksimum 512 token. Bahagikan laporan teknikal panjang kepada bahagian koheren dan simpan konteks setempat yang mencukupi supaya setiap bahagian dapat difahami sendiri. Jika ayat bergantung pada syarat atau batasan sebelumnya, simpan syarat atau batasan itu dalam unit berindeks yang sama apabila muat.
Sempadan token berbeza daripada bilangan perkataan yang kelihatan. Periksa panjang bahagian yang disediakan dan pastikan perincian yang diperlukan carian sasaran tidak terletak di luar bahagian yang dikekalkan selepas pemotongan.
Periksa bukti yang diperoleh semula
Untuk aplikasi carian laporan, bentangkan bahagian calon bersama lokasi sumbernya dan periksa kandungan sebenar. Pemerhatian serupa boleh mempunyai punca atau cadangan berbeza. Skor vektor membantu menyusun calon di bawah tetapan perbandingan terpilih; ia tidak membuktikan bahawa kesimpulan laporan terpakai kepada situasi baharu.
Untuk RAG, gunakan bahagian terpilih sebagai konteks sumber bagi peringkat penulisan jawapan dan simpan perkaitan dokumennya. Profil GTE-large tepat ini membekalkan embedding padat bahasa Inggeris dengan 1024 dimensi dan sempadan input 512 token. Edisi GTE berbilang bahasa dan berkonteks lanjutan kemudian mempunyai identiti berasingan, maka liputan bahasa atau tetapan inputnya tidak boleh disimpulkan daripada nama keluarga checkpoint ini.
Ailoot Ultra · Pembenaman POST /v1/embeddings thenlper/gte-large
thenlper/gte-largePengenalan
Alibaba DAMO Academy GTE-large menukarkan teks bahasa Inggeris kepada vektor 1024 dimensi untuk pemerolehan semula, keserupaan semantik dan penyusunan semula kedudukan berasaskan embedding. Kaedah rujukannya menggunakan average pooling, penormalan pilihan dan panjang jujukan maksimum 512 token.
- Input yang diterima
- Teks · token_ids
- Hasil
- embedding
Tersedia di Ailoot · input & kaedah
Ailoot Ultra · Pembenaman POST /v1/embeddings
- Input
text,token_ids- Output
embedding- Format output
- json
| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had thenlper/gte-large | Lalai— |
Medaninput | Jenisstring|string[]|integer[]|integer[][] | KeperluanDiperlukan | Nilai & had Item minimum: 1 Syarat: Kelompok homogen yang tidak kosong. ID token ialah integer bukan negatif. Bajet input: Maksimum: 512 · Unit teks: bait UTF8 · Unit token: elemen tatasusunan token | Lalai— |
Medanencoding_format | Jenisstring | KeperluanPilihan | Nilai & had float | Lalaifloat |
Medandimensions | Jenisinteger | KeperluanTidak disokong | Nilai & had Minimum: 1 | Lalai— |
Medanuser | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medansession_id | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medantrace | Jenisjson_value | KeperluanPilihan | Nilai & had Syarat: Sumber membenarkan medan metadata JSON ini; semantik tepat di pihak huluan bergantung pada model. | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak | Lalai— |
Gabungan bahan input
text_to_embedding
Parameter kaedah dan kitar hayat
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, input |
Parameterinput_shapes | Kontrakstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parameterencoding_format | Kontrakfloat |
Parameterdimensions_override | Kontrakfalse |
Parametermax_input_budget_units | Kontrak512 |
Parametermultimodal_objects | Kontrakfalse |
Parametermaterial_types | Kontraktext, token_ids |
Kitar hayat: synchronous_json
Simpan setiap indeks dan dimensi vektor.
Nama model multimodal tidak bermakna objek imej dibenarkan pada laluan khusus ini.
Pelan harga
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
- Mod pantas
- Tidak dinyatakan Apabila mod pantas dipilih
- Mod flex
- Tidak dinyatakan Apabila mod flex dipilih
- Usaha penaakulan maksimum
- Tidak dinyatakan Apabila usaha penaakulan maksimum menggunakan pelarasan default
Kadar Ailoot
Harga mengikut konfigurasi
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.00002 / 1K token Output · Token output $0 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
Contoh permintaan
Ailoot Ultra · Pembenaman
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Terima dan simpan hasil
Ailoot Ultra · Pembenaman
json
Simpan semua hasil yang selesai
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Simpan setiap vektor bersama indeksnya. Bilangan vektor mesti sama dengan bilangan input; dimensi mesti konsisten.
Jika respons asal perlu disemak
Tiada titik akhir tugas pembenaman diperkenalkan.
Medan respons
| Medan | Jenis |
|---|---|
Medanobject | Jenisstring |
Medanmodel | Jenisstring |
Medandata[].index | Jenisinteger |
Medandata[].embedding | Jenisfinite float[] |
Medanusage | Jenisobject |
Ralat dan langkah seterusnya
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Alias
Alias model
Ailoot Ultra thenlper/gte-large
Alias laluan kaedah
Gunakan laluan kaedah yang dipaparkan di atas.
ID pemanggil berkaitan
FAQ · Thenlper: GTE-Large
- Apakah input dan hasil yang tersedia?
POST /v1/embeddings·thenlper/gte-large:text,token_ids→embedding- Apakah medan yang digunakan oleh permintaan?
POST /v1/embeddings·thenlper/gte-large:model,input,encoding_format,provider- Apakah had yang terpakai?
POST /v1/embeddings·thenlper/gte-large:input.budget.maximum:512(bait UTF8);input.min_items:1