Sentence Transformers: all-MiniLM-L6-v2

Sentence Transformers all-MiniLM-L6-v2 แทนประโยคและย่อหน้าสั้นเป็นเวกเตอร์ 384 มิติสำหรับการค้นหาเชิงความหมาย จัดกลุ่ม และความคล้าย วิธีที่เผยแพร่รวมการรวมตัวแทนแบบเฉลี่ยกับ L2 normalization และค่าเริ่มต้น 256 หน่วย word piece

Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings sentence-transformers/all-minilm-l6-v2

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

all-MiniLM-L6-v2 เป็นตัวเข้ารหัสประโยคและย่อหน้าสั้นของ Sentence Transformers แปลงข้อความแต่ละรายการเป็นเวกเตอร์หนาแน่น 384 มิติสำหรับการค้นคืน จัดกลุ่ม และความคล้ายประโยค โมเดลปรับแต่งจากโครงข่ายหลัก MiniLM-L6-H384-uncased ด้วยการเรียนรู้แบบเปรียบต่างบนคอลเล็กชันคู่ประโยคหนึ่งพันล้านคู่

เตรียมระเบียนที่กระชับและมีความหมาย

เลือกประโยคหรือย่อหน้าที่ควรปรากฏในผลค้นหา สำหรับคอลเล็กชัน FAQ ให้เก็บคำถามและคำอธิบายสั้นที่แยกหัวข้อ ย่อหน้าเรื่องรีเซ็ตรหัสผ่านที่ลืมควรคงขั้นตอนรีเซ็ต แทนการลดเหลือคำโดดอย่าง “บัญชี”

สำหรับบทความยาว ให้สร้างดัชนีส่วนสั้นที่เชื่อมโยงกันและเก็บตำแหน่งแหล่งที่มา ค้นคืนส่วนตัวเลือกด้วยการเปรียบเทียบเวกเตอร์คำค้นกับตัวแทนที่จัดเก็บ แล้วแสดงย่อหน้าต้นฉบับเพื่อให้ผู้อ่านตรวจคำสั่งจริงได้

รับตัวแทนประโยค

วิธีเข้ารหัสโดยตรงของผู้ผลิตเฉลี่ยตัวแทนโทเคนด้วย attention mask โดยตัดตำแหน่ง padding ออกจากค่าเฉลี่ย แล้วใช้ L2 normalization ขั้นตอนเหล่านี้สร้างเอ็มเบดดิงประโยคที่ใช้เปรียบเทียบ ส่วนตัวแทนโทเคนแต่ละตัวจาก transformer เบื้องล่างมีบทบาทต่างกัน

แต่ละเอาต์พุตมี 384 องค์ประกอบ ใช้เช็กพอยต์ การรวมตัวแทน และ normalization เดียวกันเมื่อสร้างคอลเล็กชันและเข้ารหัสคำค้นภายหลัง ความคล้ายโคไซน์เปรียบเทียบเวกเตอร์ผลลัพธ์ได้ ค่าความคล้ายมีประโยชน์ต่อการจัดอันดับตัวเลือกภายใต้การตั้งค่านั้น ขณะที่ข้อความต้นฉบับตัดสินว่าตัวเลือกตอบคำถามหรือไม่

ความยาวและขอบเขตรุ่น

ค่าเริ่มต้นที่เผยแพร่ตัดอินพุตยาวกว่า 256 หน่วย word piece หน่วย tokenizer นี้ไม่ตรงกับคำหรืออักขระทั่วไปโดยตรง เก็บเงื่อนไขสำคัญในหน่วยที่สร้างดัชนี และแบ่งขั้นตอนยาวตามขอบที่มีความหมายก่อนเข้ารหัส

ลำดับฝึกจำกัดไว้ที่ 128 โทเคน การตั้งค่าฝึกนั้นแยกจากค่าเริ่มต้น 256 หน่วย word piece สำหรับเข้ารหัส สำหรับย่อหน้าที่ยาวหรือเฉพาะทางเป็นพิเศษ ให้ใช้ตัวอย่างคำค้นกับย่อหน้าที่เป็นตัวแทนเพื่อประเมินพฤติกรรมค้นคืน แทนการสมมติว่าการพอดีขอบอินพุตรับประกันว่าทุกรายละเอียดถูกปฏิบัติเท่ากัน

รุ่น L6-v2 ที่ตรงนี้เป็นโปรไฟล์เอ็มเบดดิงภาษาอังกฤษ รุ่น L12-v2 และ paraphrase-MiniLM มีตัวตนโมเดลและการกำหนดค่าแยกกัน ชื่อ MiniLM ร่วมหรือเอาต์พุต 384 มิติไม่ได้ยืนยันว่าเวกเตอร์สลับใช้แทนกันได้

การค้นหา ความคล้าย และจัดกลุ่ม

สำหรับตรวจคำถามซ้ำ ให้ค้นคำถามคล้ายกันและเปรียบเทียบถ้อยคำจริงก่อนรวมระเบียน “ฉันรีเซ็ตรหัสผ่านของตัวเองได้ไหม” กับ “ผู้ดูแลระบบรีเซ็ตรหัสผ่านของผู้ใช้อื่นได้ไหม” เป็นหัวข้อเกี่ยวข้องแต่สิทธิ์ต่างกัน รักษาความต่างในข้อความที่จะเข้ารหัสและในขั้นตอนตรวจ

สำหรับการจัดกลุ่ม ใช้เอ็มเบดดิงเป็นอินพุตเชิงตัวเลขของกระบวนการรวมกลุ่ม แล้วตรวจระเบียนที่เป็นตัวแทนก่อนตั้งชื่อกลุ่ม โมเดลนี้ให้เวกเตอร์ แทนป้ายกลุ่มเป็นข้อความหรือคำตอบ FAQ ที่สร้างขึ้น ผลที่มีประโยชน์คือตัวแทนกระชับของย่อหน้าต้นฉบับสั้นที่ยังเชื่อมกับระเบียนเดิม

Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings sentence-transformers/all-minilm-l6-v2

sentence-transformers/all-minilm-l6-v2

Sentence Transformers /sentence-transformers/all-minilm-l6-v2

เริ่มต้น

อินพุตที่รองรับ: ข้อความ · token_ids
ผลลัพธ์: embedding

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings

ขาเข้า: text, token_ids
ขาออก: embedding
รูปแบบเอาต์พุต: json

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด sentence-transformers/all-minilm-l6-v2	ค่าเริ่มต้น—
ฟิลด์`input`	ประเภท`string\|string[]\|integer[]\|integer[][]`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด จำนวนรายการขั้นต่ำ: 1 เงื่อนไข: ชุดข้อมูลต้องไม่ว่างและประกอบด้วยข้อมูลชนิดเดียวกัน ID โทเคนต้องเป็นจำนวนเต็มที่ไม่ติดลบ โควตาอินพุต: สูงสุด: 512 · หน่วยข้อความ: ไบต์ UTF8 · หน่วยโทเค็น: องค์ประกอบในอาร์เรย์โทเค็น	ค่าเริ่มต้น—
ฟิลด์`encoding_format`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด float	ค่าเริ่มต้นfloat
ฟิลด์`dimensions`	ประเภท`integer`	ข้อกำหนดไม่รองรับ	ค่าและข้อจำกัด ขั้นต่ำ: 1	ค่าเริ่มต้น—
ฟิลด์`user`	ประเภท`json_value`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล	ค่าเริ่มต้น—
ฟิลด์`session_id`	ประเภท`json_value`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล	ค่าเริ่มต้น—
ฟิลด์`trace`	ประเภท`json_value`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล	ค่าเริ่มต้น—
ฟิลด์`provider`	ประเภท`object`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด เงื่อนไข: provider.options ถูกปฏิเสธ	ค่าเริ่มต้น—

ชุดผสมของสื่ออินพุต

text_to_embedding

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_type`	ข้อกำหนดapplication/json
พารามิเตอร์`required`	ข้อกำหนดmodel, input
พารามิเตอร์`input_shapes`	ข้อกำหนดstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
พารามิเตอร์`encoding_format`	ข้อกำหนดfloat
พารามิเตอร์`dimensions_override`	ข้อกำหนดfalse
พารามิเตอร์`max_input_budget_units`	ข้อกำหนด512
พารามิเตอร์`multimodal_objects`	ข้อกำหนดfalse
พารามิเตอร์`material_types`	ข้อกำหนดtext, token_ids

วงจรการทำงาน: synchronous_json

เก็บดัชนีและจำนวนมิติของเวกเตอร์ทุกรายการ

ชื่อโมเดลที่สื่อว่ารองรับข้อมูลหลายรูปแบบไม่ได้ทำให้สามารถส่งออบเจ็กต์รูปภาพผ่านเส้นทางเฉพาะนี้ได้

ราคา

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราค่าบริการ Ailoot

ราคาตามการตั้งค่า

การตั้งค่า	ตารางอัตราค่าบริการ	ค่าบริการ
การตั้งค่าอัตราราคาพื้นฐานของโทเคน	ตารางอัตราค่าบริการอัตราพื้นฐาน	ค่าบริการ ขาเข้า · โทเค็นอินพุต $0.00001 / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต $0 / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

ตัวอย่างคำขอ

Ailoot Ultra · เอ็มเบดดิง

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-minilm-l6-v2", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

รับและบันทึกผลลัพธ์

Ailoot Ultra · เอ็มเบดดิง

json

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

เก็บเวกเตอร์ทุกรายการพร้อมดัชนีของแต่ละรายการ จำนวนเวกเตอร์ต้องเท่ากับจำนวนข้อมูลนำเข้า และจำนวนมิติต้องสอดคล้องกัน

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

ไม่มีการเพิ่มจุดเชื่อมต่อสำหรับงานสร้างเวกเตอร์ตัวแทนข้อมูล

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`object`	ประเภทstring
ฟิลด์`model`	ประเภทstring
ฟิลด์`data[].index`	ประเภทinteger
ฟิลด์`data[].embedding`	ประเภทfinite float[]
ฟิลด์`usage`	ประเภทobject

ข้อผิดพลาดและขั้นตอนถัดไป

การตอบกลับ	เงื่อนไข	ขั้นตอนถัดไป
การตอบกลับ400 · `invalid_request_error`	เงื่อนไขฟิลด์จำเป็น รูปแบบการแทนข้อมูล หรือค่าพารามิเตอร์ไม่ถูกต้อง	ขั้นตอนถัดไปแก้ฟิลด์ที่ระบุก่อนส่งคำขอสร้างครั้งใหม่

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra sentence-transformers/all-minilm-l6-v2

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

sentence-transformers/all-minilm-l6-v2

FAQ · Sentence Transformers: all-MiniLM-L6-v2

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: text, token_ids → embedding
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: model, input, encoding_format, provider
มีข้อจำกัดใดบ้าง?: POST /v1/embeddings · sentence-transformers/all-minilm-l6-v2: input.budget.maximum: 512 (ไบต์ UTF8); input.min_items: 1

Sentence Transformers: all-MiniLM-L6-v2