VoyageAI by MongoDB: voyage-multimodal-3.5
Voyage AI voyage-multimodal-3.5 เอ็มเบดข้อความ ภาพ และเฟรมวิดีโอเข้าสู่พื้นที่ค้นคืนร่วม จัดการเนื้อหาผสมแทรกกันอย่างภาพหน้าจอเอกสาร ตาราง และฉาก รองรับอินพุต 32,000 โทเคนและตัวแทนเริ่มต้น 1024 มิติ
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
voyage-multimodal-3.5 เป็นโมเดลเอ็มเบดดิงของ Voyage AI สำหรับการค้นคืนข้ามข้อความ ภาพ และวิดีโอ ประมวลผลข้อความและเนื้อหาภาพที่ผสมแทรกกันด้วยตัวเข้ารหัส transformer เดียว แทนอินพุตมัลติโมดัลครบชุดในพื้นที่เวกเตอร์ร่วม รุ่น 3.5 เพิ่มการรองรับเฟรมวิดีโออย่างชัดเจนและมิติเอ็มเบดดิงที่ยืดหยุ่น
รักษาความสัมพันธ์ระหว่างข้อความกับภาพ
เตรียมหน้าเอกสารหรือส่วนในรูปที่รักษาข้อมูลภาพที่มีประโยชน์ สไลด์ที่มีแผนภูมิและคำอธิบายสั้นแทนได้ด้วยภาพสไลด์และข้อความประกอบในอินพุตเรียงลำดับชุดเดียว สำหรับคอลเล็กชันจาก PDF อินพุตภาพตามเอกสารคือภาพหน้าจอหน้าเอกสารหรือตัวแทนเอกสารรูปภาพอื่น
สำหรับแผนภูมิรายงาน ให้รักษาชื่อ ป้ายแกน และคำอธิบายสัญลักษณ์ไว้ในภาพ แนบคำอธิบายข้อความเมื่อให้บริบทที่จำเป็นต่อการตีความภาพ เก็บเลขหน้าและตัวระบุแหล่งที่มาข้างเวกเตอร์ผลลัพธ์ เพื่อให้ตัวเลือกที่ค้นคืนเปิดหน้าที่เกี่ยวข้องได้ แทนการคืนชื่อเอกสารอย่างเดียว
รูปแบบอินพุตผู้ผลิตรองรับลำดับของข้อความ ภาพ และวิดีโอ รูปแบบภาพที่เผยแพร่คือ PNG, JPEG, WebP และ GIF ส่วนวิดีโอใช้ MP4 เนื้อหาภาพแสดงด้วย URL หรือข้อมูล Base64 ตามวิธีที่มีเอกสารได้ ให้รูปแบบแทนข้อมูลคงที่ภายในคำขอหนึ่งครั้ง
ค้นคืนฉากแทนวิดีโอยาวทั้งหมด
โมเดลแทนวิดีโอเป็นลำดับเฟรมที่เรียงไว้ ผู้ผลิตแนะนำให้แบ่งวิดีโอยาวเป็นฉากที่เกี่ยวข้อง จัดขอบฉากให้ตรง timestamp ของบทถอดเสียงที่มี และรักษาข้อความถอดเสียงที่สอดคล้อง การลดความละเอียดหรืออัตราเฟรมช่วยให้ฉากที่ต่อเนื่องเชิงความหมายพอดีงบบริบทได้
สำหรับคอลเล็กชันวิดีโอฝึกอบรม คำค้นอาจถามหาฉากที่สาธิตการปรับตัวควบคุมเฉพาะ เชื่อมแต่ละฉากที่สร้างดัชนีกับช่วงเวลา คืนฉากที่ตรงแล้วตรวจเฟรมหรือคลิปต้นฉบับสำหรับการกระทำจริง แทนการถือเวกเตอร์ที่ค้นคืนเป็นคำอธิบายเป็นข้อความของทุกอย่างในบันทึก
ข้อความถอดเสียงมีส่วนได้เมื่อเตรียมเป็นส่วนหนึ่งของอินพุตมัลติโมดัล การเอ็มเบดเฟรมวิดีโอเองไม่ได้ให้บทถอดเสียงพูด
บริบทและขีดจำกัดการเตรียม
ความยาวบริบทที่ระบุคือ 32,000 โทเคนต่ออินพุต Voyage นับทุก 560 พิกเซลภาพและทุก 1120 พิกเซลวิดีโอเป็นหนึ่งโทเคนในการคำนวณที่เผยแพร่ เนื้อหาภาพจึงแชร์งบกับข้อความ ขีดจำกัดตามเอกสารยังรวม 16 ล้านพิกเซลและ 20 MB ต่อภาพ และ 20 MB ต่อวิดีโอ รายการมีได้สูงสุด 1000 อินพุตและรวม 320,000 โทเคน
ค่าเริ่มต้นตัดอินพุตที่ยาวเกิน หากขอบตัดอยู่ภายในภาพ จะทิ้งภาพทั้งภาพ การเตรียมหน้าเอกสารหรือฉากครบภายในงบจึงรักษาเนื้อหาอินพุตให้คาดเดาได้มากขึ้น การตั้งค่าอีกแบบตามเอกสารปฏิเสธอินพุตยาวเกินแทนการตัด
มิติเวกเตอร์และบทบาทค้นคืน
มิติเอาต์พุตเริ่มต้นคือ 1024 โดยรุ่นนี้ยังระบุ 256, 512 และ 2048 มิติ ประกาศอธิบายเอ็มเบดดิง Matryoshka และตัวแทนเลขทศนิยมลอยตัว ค่า 8 บิตมีหรือไม่มีเครื่องหมาย และไบนารี เก็บมิติและตัวแทนที่เลือกไว้กับดัชนี
วิธีค้นคืนของ Voyage แยกอินพุต query กับ document คำค้นเป็นข้อความหรือภาพได้ และเอกสารในดัชนีผสมข้อความกับภาพได้ หนึ่งเวกเตอร์แทนแต่ละลำดับอินพุตครบชุด เก็บความสัมพันธ์กับหน้าต้นฉบับ ภาพ หรือฉาก เพื่อให้ผลจัดอันดับยังตรวจได้
ใช้ต้นฉบับภาพที่คืนมา
ขั้นตอนค้นคืนหาหน้ารายงาน ตาราง สไลด์ หรือฉากที่เกี่ยวข้องกับคำค้นได้ จากนั้นขั้นตอนเขียนคำตอบหรือวิเคราะห์อ่านข้อมูลต้นฉบับนั้น สำหรับตาราง ให้ตรวจหัวข้อและค่าจริงก่อนใช้ผล สำหรับฉาก ให้ตรวจเฟรมที่เกี่ยวข้องและข้อความที่สัมพันธ์
ความต่างสำคัญจาก voyage-multimodal-3 คือรุ่น 3.5 รองรับวิดีโออย่างชัดเจนและเพิ่มตัวเลือกตัวแทน นี่คือความสามารถเอ็มเบดดิงเพื่อระบุตำแหน่งข้อมูลต้นฉบับ โดยมีเวกเตอร์เชิงตัวเลขเป็นเอาต์พุต แทนภาพ วิดีโอ หรือคำตอบเล่าเรื่องที่สร้างขึ้น
Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5
voyageai/voyage-multimodal-3.5เริ่มต้น
Voyage AI voyage-multimodal-3.5 เอ็มเบดข้อความ ภาพ และเฟรมวิดีโอเข้าสู่พื้นที่ค้นคืนร่วม จัดการเนื้อหาผสมแทรกกันอย่างภาพหน้าจอเอกสาร ตาราง และฉาก รองรับอินพุต 32,000 โทเคนและตัวแทนเริ่มต้น 1024 มิติ
- อินพุตที่รองรับ
- ข้อความ · token_ids
- ผลลัพธ์
- embedding
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · เอ็มเบดดิง POST /v1/embeddings
- ขาเข้า
text,token_ids- ขาออก
embedding- บริบท
- 32,000 tokens
- รูปแบบเอาต์พุต
- json
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด voyageai/voyage-multimodal-3.5 | ค่าเริ่มต้น— |
ฟิลด์input | ประเภทstring|string[]|integer[]|integer[][] | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด จำนวนรายการขั้นต่ำ: 1 เงื่อนไข: ชุดข้อมูลต้องไม่ว่างและประกอบด้วยข้อมูลชนิดเดียวกัน ID โทเคนต้องเป็นจำนวนเต็มที่ไม่ติดลบ โควตาอินพุต: สูงสุด: 32,000 · หน่วยข้อความ: ไบต์ UTF8 · หน่วยโทเค็น: องค์ประกอบในอาร์เรย์โทเค็น | ค่าเริ่มต้น— |
ฟิลด์encoding_format | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด float | ค่าเริ่มต้นfloat |
ฟิลด์dimensions | ประเภทinteger | ข้อกำหนดไม่รองรับ | ค่าและข้อจำกัด ขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์user | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์session_id | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์trace | ประเภทjson_value | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ต้นฉบับอนุญาตฟิลด์เมทาดาทา JSON นี้ โดยความหมายที่แน่นอนในระบบต้นทางขึ้นอยู่กับแต่ละโมเดล | ค่าเริ่มต้น— |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: provider.options ถูกปฏิเสธ | ค่าเริ่มต้น— |
ชุดผสมของสื่ออินพุต
text_to_embedding
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input |
พารามิเตอร์input_shapes | ข้อกำหนดstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
พารามิเตอร์encoding_format | ข้อกำหนดfloat |
พารามิเตอร์dimensions_override | ข้อกำหนดfalse |
พารามิเตอร์max_input_budget_units | ข้อกำหนด32000 |
พารามิเตอร์multimodal_objects | ข้อกำหนดfalse |
พารามิเตอร์material_types | ข้อกำหนดtext, token_ids |
วงจรการทำงาน: synchronous_json
เก็บดัชนีและจำนวนมิติของเวกเตอร์ทุกรายการ
ชื่อโมเดลที่สื่อว่ารองรับข้อมูลหลายรูปแบบไม่ได้ทำให้สามารถส่งออบเจ็กต์รูปภาพผ่านเส้นทางเฉพาะนี้ได้
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- อัตรามาตรฐาน เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- อัตรามาตรฐาน เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- อัตรามาตรฐาน เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
| การตั้งค่า | ตารางอัตราค่าบริการ | ค่าบริการ |
|---|---|---|
| การตั้งค่าอัตราราคาพื้นฐานของโทเคน | ตารางอัตราค่าบริการอัตราพื้นฐาน | ค่าบริการ ขาเข้า · โทเค็นอินพุต $0.00024 / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต $0 / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · เอ็มเบดดิง
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "voyageai/voyage-multimodal-3.5", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='voyageai/voyage-multimodal-3.5',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
รับและบันทึกผลลัพธ์
Ailoot Ultra · เอ็มเบดดิง
json
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บเวกเตอร์ทุกรายการพร้อมดัชนีของแต่ละรายการ จำนวนเวกเตอร์ต้องเท่ากับจำนวนข้อมูลนำเข้า และจำนวนมิติต้องสอดคล้องกัน
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
ไม่มีการเพิ่มจุดเชื่อมต่อสำหรับงานสร้างเวกเตอร์ตัวแทนข้อมูล
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์object | ประเภทstring |
ฟิลด์model | ประเภทstring |
ฟิลด์data[].index | ประเภทinteger |
ฟิลด์data[].embedding | ประเภทfinite float[] |
ฟิลด์usage | ประเภทobject |
ข้อผิดพลาดและขั้นตอนถัดไป
| การตอบกลับ | เงื่อนไข | ขั้นตอนถัดไป |
|---|---|---|
การตอบกลับ400 · invalid_request_error | เงื่อนไขฟิลด์จำเป็น รูปแบบการแทนข้อมูล หรือค่าพารามิเตอร์ไม่ถูกต้อง | ขั้นตอนถัดไปแก้ฟิลด์ที่ระบุก่อนส่งคำขอสร้างครั้งใหม่ |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra voyageai/voyage-multimodal-3.5
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · VoyageAI by MongoDB: voyage-multimodal-3.5
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:text,token_ids→embedding- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:model,input,encoding_format,provider- มีข้อจำกัดใดบ้าง?
POST /v1/embeddings·voyageai/voyage-multimodal-3.5:ctx:32000;input.budget.maximum:32000(ไบต์ UTF8);input.min_items:1