LiquidAI: LFM2.5-Embedding-350M (free)
LiquidAI LFM2.5-Embedding-350M สร้างเวกเตอร์ 1024 มิติหนึ่งเวกเตอร์ต่อข้อความสำหรับการค้นคืนหลายภาษาและข้ามภาษา มุ่งรองรับ 11 ภาษาและอินพุตสั้น 512 โทเคน โดยแยกคำนำหน้าสำหรับคำค้นกับเอกสาร
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
LFM2.5-Embedding-350M เป็นตัวเข้ารหัสคู่แบบหนาแน่นของ LiquidAI สำหรับการค้นคืนหลายภาษาและข้ามภาษา สร้างเวกเตอร์ 1024 มิติหนึ่งตัวต่อข้อความ และมุ่งค้นหาบริบทสั้นในสิบเอ็ดภาษา ตระกูลที่มีชื่อ 350M ใช้การปรับ LFM2.5-350M-Base ให้ทำงานสองทิศทาง ตารางโมเดลละเอียดระบุว่ารุ่นเอ็มเบดดิงนี้มีพารามิเตอร์ประมาณ 354 ล้านตัว
ตัวแทนค้นคืนแบบสองทิศทาง
ผู้ผลิตปรับโครงข่ายหลักให้ attention และ local convolution ใช้บริบทได้ทั้งสองด้านของโทเคน การรวมแบบ CLS เปลี่ยนข้อความที่ประมวลผลเป็นเวกเตอร์หนาแน่นหนึ่งตัว ตารางโมเดลอธิบายสิบเจ็ดเลเยอร์ ได้แก่ บล็อก convolution สิบ บล็อก attention หก และขั้นตอนรวมตัวแทน นี่คือตัวเข้ารหัสค้นคืนที่มีการเตรียมและเอาต์พุตของตน แทนงานสร้างข้อความของโมเดลฐาน
LFM2.5-ColBERT-350M ที่มีชื่อแยกเก็บเวกเตอร์รายโทเคนสำหรับ late interaction ตัวแทนนั้นต้องใช้ดัชนีและวิธีเปรียบเทียบต่างกัน โมเดล Embedding ที่นี่ให้หนึ่งเวกเตอร์ต่อเอกสารหรือคำค้น โดยเอกสารระบุการเปรียบเทียบด้วยความคล้ายโคไซน์
ใช้พรอมป์ต์ไม่สมมาตรให้ถูก
เตรียมคำค้นด้วย “query:” และย่อหน้าต้นฉบับด้วย “document:” ผู้ผลิตเก็บพรอมป์ต์เหล่านี้ในการกำหนดค่า และเวิร์กโฟลว์อ้างอิงใช้ชื่อพรอมป์ต์ที่ตรงกัน แนะนำอย่างเจาะจงให้ใช้บทบาทที่สอดคล้องแต่ละด้าน เพราะโมเดลฝึกด้วยคำนำหน้าเหล่านี้ คำนำหน้า document นี้ต่างจากข้อตกลง “passage:” ของโมเดล E5
คอลเล็กชันค้นหาสินค้าจริงเก็บคำอธิบายในภาษาที่รองรับได้ เตรียมถ้อยคำค้นของผู้ใช้เป็นคำค้น และคำอธิบายสินค้าแต่ละชิ้นเป็นเอกสาร เก็บข้อความต้นฉบับ ตัวระบุสินค้า และภาษาไว้กับเวกเตอร์ เพื่อให้ผลค้นหาคืนระเบียนที่สอดคล้อง สำหรับคอลเล็กชันสนับสนุน ให้รักษานโยบายหรือคำสั่งที่เกี่ยวข้องกับคำถาม แทนการเปลี่ยนเป็นป้ายสั้นที่ไม่เกี่ยวข้อง
ภาษาและขนาดย่อหน้า
ชุดภาษาตามเอกสารคืออังกฤษ สเปน เยอรมัน ฝรั่งเศส อิตาลี โปรตุเกส อาหรับ สวีเดน นอร์เวย์ ญี่ปุ่น และเกาหลี ผู้ผลิตมุ่งทั้งการค้นคืนภายในภาษาและข้ามขอบเขตภาษาอย่างชัดเจน เตรียมคำถามจริงจากผู้ใช้เป้าหมายและตรวจข้อความเอกสารที่คืนมาในภาษาเหล่านั้น
ข้อกำหนดความยาวเอกสารคือ 512 โทเคน แบ่งต้นฉบับยาวเป็นย่อหน้าที่เชื่อมโยงกัน โดยรักษาหัวข้อ นิยาม และเงื่อนไขที่ผลค้นคืนต้องใช้ คำนำหน้าบทบาทและบริบทที่เพิ่มเป็นส่วนของอินพุตที่เตรียมไว้ คำตอบ FAQ คำอธิบายสินค้า หรือส่วนเทคนิคที่เจาะจงเป็นหน่วยที่เหมาะกว่าคู่มือใหญ่ทั้งเล่ม
การฝึกและการจับคู่
ผู้ผลิตอธิบายการฝึกสามขั้น ได้แก่ การฝึกล่วงหน้าแบบเปรียบต่างภาษาอังกฤษ การกลั่นความรู้หลายภาษาและข้ามภาษา แล้วปรับแต่งด้วยตัวอย่างเชิงลบที่ยากซึ่งคัดด้วย hard negative mining โมเดลที่ได้มุ่งแคตตาล็อกสินค้า คอลเล็กชัน FAQ และสนับสนุน ค้นไฟล์หรือบันทึก และค้นคืนความรู้ระดับองค์กร นี่คืองานสำหรับตัวแทนข้อความ ไม่ใช่ข้ออ้างว่าแอปพลิเคชันใดถูกนำไปใช้จริง
ตัวอย่างผู้ผลิตทำ normalization กับเวกเตอร์คำค้นและเอกสาร แล้วจัดอันดับด้วยผลคูณจุด ซึ่งเทียบเท่าความคล้ายโคไซน์ คำนวณตัวแทนคลังล่วงหน้าเมื่อเตรียมข้อมูลต้นฉบับ จากนั้นเอ็มเบดคำค้นและคืนเอกสารตัวเลือกพร้อมข้อความกับตัวระบุ เก็บโมเดลที่เลือกและข้อตกลงบทบาทไว้กับดัชนี เพื่อให้การเปรียบเทียบเชิงตัวเลขใช้ตัวแทนที่เข้ากันได้
ผลที่มีประโยชน์คือดัชนีค้นหาแบบหนาแน่นกระชับ หรือเวกเตอร์คำค้นที่ค้นคืนข้อมูลต้นฉบับข้ามชุดภาษาตามเอกสาร รุ่น LFM2.5 Embedding ที่ตรงนี้แยกจากโมเดล ColBERT คู่กัน ตัวค้นคืน LFM2 เก่า และการนำไปใช้ที่ควอนไทซ์ภายนอก ข้อความย่อหน้าที่เลือกคือหลักฐานที่ผู้อ่านหรือขั้นตอนคำตอบ RAG ภายหลังใช้
Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:free
liquid/lfm-2.5-embedding-350m:freeเริ่มต้น
LiquidAI LFM2.5-Embedding-350M สร้างเวกเตอร์ 1024 มิติหนึ่งเวกเตอร์ต่อข้อความสำหรับการค้นคืนหลายภาษาและข้ามภาษา มุ่งรองรับ 11 ภาษาและอินพุตสั้น 512 โทเคน โดยแยกคำนำหน้าสำหรับคำค้นกับเอกสาร
- อินพุตที่รองรับ
- ข้อความ · token_ids
- ผลลัพธ์
- embedding
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings
- ขาเข้า
text,token_ids- ขาออก
embedding- บริบท
- 512 tokens
- รูปแบบเอาต์พุต
- json
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด liquid/lfm-2.5-embedding-350m:free | ค่าเริ่มต้น— |
ฟิลด์input | ประเภทstring|string[]|integer[]|integer[][] | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด จำนวนรายการขั้นต่ำ: 1 เงื่อนไข: ชุดข้อมูลต้องไม่ว่างและประกอบด้วยข้อมูลชนิดเดียวกัน ID โทเคนต้องเป็นจำนวนเต็มที่ไม่ติดลบ โควตาอินพุต: สูงสุด: 512 · หน่วยข้อความ: ไบต์ UTF8 · หน่วยโทเค็น: องค์ประกอบในอาร์เรย์โทเค็น | ค่าเริ่มต้น— |
ฟิลด์encoding_format | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด float | ค่าเริ่มต้นfloat |
ฟิลด์dimensions | ประเภทinteger | ข้อกำหนดไม่รองรับ | ค่าและข้อจำกัด ขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์user | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์session_id | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์trace | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: provider.options ถูกปฏิเสธ | ค่าเริ่มต้น— |
ชุดผสมของสื่ออินพุต
text_to_embedding
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input |
พารามิเตอร์input_shapes | ข้อกำหนดstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
พารามิเตอร์encoding_format | ข้อกำหนดfloat |
พารามิเตอร์dimensions_override | ข้อกำหนดfalse |
พารามิเตอร์max_input_budget_units | ข้อกำหนด512 |
พารามิเตอร์multimodal_objects | ข้อกำหนดfalse |
พารามิเตอร์material_types | ข้อกำหนดtext, token_ids |
วงจรการทำงาน: synchronous_json
เก็บดัชนีและจำนวนมิติของเวกเตอร์ทุกรายการ
ชื่อโมเดลที่สื่อว่ารองรับข้อมูลหลายรูปแบบไม่ได้ทำให้สามารถส่งออบเจ็กต์รูปภาพผ่านเส้นทางเฉพาะนี้ได้
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- อัตรามาตรฐาน เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- อัตรามาตรฐาน เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- อัตรามาตรฐาน เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
| การตั้งค่า | ตารางอัตราค่าบริการ | ค่าบริการ |
|---|---|---|
| การตั้งค่าอัตราราคาพื้นฐานของโทเคน | ตารางอัตราค่าบริการอัตราพื้นฐาน | ค่าบริการ ขาเข้า · โทเค็นอินพุต $0 / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต $0 / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · เอ็มเบดดิง
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "liquid/lfm-2.5-embedding-350m:free", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='liquid/lfm-2.5-embedding-350m:free',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
รับและบันทึกผลลัพธ์
Ailoot Ultra · เอ็มเบดดิง
json
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บเวกเตอร์ทุกรายการพร้อมดัชนีของแต่ละรายการ จำนวนเวกเตอร์ต้องเท่ากับจำนวนข้อมูลนำเข้า และจำนวนมิติต้องสอดคล้องกัน
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
ไม่มีการเพิ่มจุดเชื่อมต่อสำหรับงานสร้างเวกเตอร์ตัวแทนข้อมูล
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์object | ประเภทstring |
ฟิลด์model | ประเภทstring |
ฟิลด์data[].index | ประเภทinteger |
ฟิลด์data[].embedding | ประเภทfinite float[] |
ฟิลด์usage | ประเภทobject |
ข้อผิดพลาดและขั้นตอนถัดไป
| การตอบกลับ | เงื่อนไข | ขั้นตอนถัดไป |
|---|---|---|
การตอบกลับ400 · invalid_request_error | เงื่อนไขฟิลด์จำเป็น รูปแบบการแทนข้อมูล หรือค่าพารามิเตอร์ไม่ถูกต้อง | ขั้นตอนถัดไปแก้ฟิลด์ที่ระบุก่อนส่งคำขอสร้างครั้งใหม่ |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra liquid/lfm-2.5-embedding-350m:free
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · LiquidAI: LFM2.5-Embedding-350M (free)
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:text,token_ids→embedding- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:model,input,encoding_format,provider- มีข้อจำกัดใดบ้าง?
POST /v1/embeddings·liquid/lfm-2.5-embedding-350m:free:ctx:512;input.budget.maximum:512(ไบต์ UTF8);input.min_items:1