qwen2.5-omni-7b
Qwen2.5-Omni-7B รวมความเข้าใจข้อความ ภาพ เสียง และวิดีโอกับเอาต์พุตข้อความและเสียงพูดธรรมชาติ สถาปัตยกรรม Thinker-Talker ทำให้เสียงตรงกับเวลาวิดีโอ รองรับปฏิสัมพันธ์แบบสตรีม และมีเสียงสองแบบตามเอกสารในเช็กพอยต์เปิดนี้
- Ailoot Ultra · OpenAI Chat
POST /v1/chat/completionsqwen2.5-omni-7b - Ailoot Ultra · Anthropic Messages
POST /v1/messagesqwen2.5-omni-7b
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
ภาพรวม: โมเดลเดียวสำหรับอินพุตหลายชนิด
Qwen2.5-Omni-7B เป็นโมเดลหลายสื่อแบบครบวงจรของ Qwen สำหรับข้อความ ภาพ เสียง และวิดีโอ เข้าใจอินพุตเหล่านี้ร่วมกัน และสร้างข้อความพร้อมเสียงพูดธรรมชาติในขั้นตอนสตรีมได้ ใช้เมื่องานอาศัยทั้งสิ่งที่เห็นและได้ยิน หรือผู้ใช้สั่งด้วยเสียงแทนการพิมพ์ นี่คือเช็กพอยต์ 7B นี้โดยเฉพาะ Omni-Turbo เชิงพาณิชย์และ Omni รุ่นหลังมีข้อตกลงของตน
คุณสมบัติสำคัญและสถาปัตยกรรม
การออกแบบ Thinker-Talker รวมความเข้าใจกับการสร้างเสียงพูด Thinker ประมวลผลงานหลายสื่อและสร้างเนื้อหาข้อความ ส่วน Talker ร่วมสร้างคำตอบเสียง TMRoPE ซึ่งเป็นรูปแบบตำแหน่งหลายสื่อที่จัดแนวตามเวลาของผู้ผลิต ทำเวลาวิดีโอให้ตรงกับเสียง สถาปัตยกรรมออกแบบสำหรับอินพุตเป็นชิ้นและปฏิสัมพันธ์เสียงหรือวิดีโอที่ตอบสนองไว เป้าหมายออกแบบนี้ไม่ได้รับประกันเวลาตอบคงที่ของทุกอินเทอร์เฟซ
ขอบเขตงานของผู้ผลิตรวมรู้จำคำพูด แปลคำพูด เข้าใจเสียง ให้เหตุผลจากภาพ เข้าใจวิดีโอ และสร้างเสียงพูด คำสั่งพูดจึงร่วมในคำถามหลายสื่อโดยตรงได้ แทนต้องมีบทถอดเสียงพิมพ์แยกเสมอ ระบุงานเป้าหมายให้ชัด ความเข้าใจคลิปเสียง ตอบคำถามที่พูด และสร้างคำตอบเสียง เป็นการใช้ที่ต่างกันแม้โมเดลรองรับรูปแบบเข้าออกทั้งหมด
การเตรียมบทสนทนาหลายสื่อ
ให้สื่อที่เกี่ยวข้องและบอกว่าคำตอบควรเชื่อมอย่างไร สำหรับการสาธิตพร้อมบรรยาย ขอให้แยกขั้นตอนที่เห็นจากคำอธิบายผู้พูด และระบุจุดที่ตรงกัน สำหรับภาพพร้อมคำถามเสียง ระบุบทบาทภาพและขอคำตอบสั้นอิงสิ่งที่เห็น สำหรับช่วงเสียงล้วน ระบุว่าเป้าหมายคือรู้จำคำพูด อธิบายเสียง หรือตอบคำถามเกี่ยวกับเนื้อหา นี่คือตัวอย่างการใช้งานที่เขียนขึ้นจากขอบเขตงานตามเอกสาร
ตัวอย่างผู้ผลิตมีบทสนทนาข้อความล้วน เสียงล้วน วิดีโอล้วน และหลายสื่อ เก็บลำดับและเวลาเดิมของวิดีโอ ติดป้ายไฟล์แยกให้โมเดลอ้างได้โดยไม่ถือหลักฐานไม่เกี่ยวกันเป็นเหตุการณ์เดียว ผลอาจมีเฉพาะข้อความหรือข้อความพร้อมเสียง เลือกชิ้นงานที่มีประโยชน์ก่อนเตรียมคำขอ
การเตรียมเอาต์พุตเสียงพูด
สูตรเช็กพอยต์ของ Qwen ต้องใช้ system prompt ด้านความสามารถเสียงตามเอกสารเมื่อต้องการเอาต์พุตเสียง พรอมป์ต์ระบุ Qwen และความสามารถด้านการได้ยิน ภาพ ข้อความ และเสียงพูด การแทนด้วยข้อความไม่เกี่ยวข้องอาจทำให้ไม่ได้พฤติกรรมเสียงที่คาด นี่คือแนวทางขั้นตอนเช็กพอยต์ผู้ผลิต ไม่ใช่ข้ออ้างว่าทุกแอปเปิดตัวควบคุม system prompt หรือการสร้างเสียง
เช็กพอยต์นี้มีสองเสียง ได้แก่ Chelsie เสียงหญิงอบอุ่น และ Ethan เสียงชายสดใส Chelsie เป็นค่าเริ่มต้นตามเอกสารเมื่อไม่เลือกผู้พูด ตัวอย่างการสร้างเขียนเสียงที่อัตราสุ่ม 24,000 Hz ไม่ควรแทนสองเสียงนี้ด้วยคำอธิบายสี่เสียงของโมเดลเชิงพาณิชย์ที่มีชื่อแยก
การใช้เสียงจากวิดีโอ
เสียงประกอบวิดีโออาจเกี่ยวกับความหมาย เช่น คำสั่งพูดหรือเสียงจากการกระทำที่เห็น Qwen เปิด use_audio_in_video ในการเตรียมสื่อ ประมวลผล และสร้าง การตั้งค่าต้องตรงกันทั้งสามขั้นและตลอดบทสนทนาหลายรอบ มิฉะนั้นอาจได้ผลไม่คาดคิด การตีความวิดีโอด้วยภาพอย่างเดียวจึงต่างจากการตีความภาพและเสียง แม้เป็นไฟล์เดียวกัน
เอาต์พุตข้อความล้วนและแบตช์
ผู้ผลิตรองรับเอาต์พุตข้อความล้วนด้วย return_audio=False และอนุญาตปิด Talker หลังโหลด ลดหน่วยความจำ GPU ประมาณ 2 GB แต่ทำให้อินสแตนซ์นั้นส่งเสียงไม่ได้ ตัวอย่างแบตช์ที่รวมตัวอย่างต่างชนิดตามเอกสารต้องใช้ return_audio=False และรวมคำขอข้อความ ภาพ เสียง และวิดีโอ ไม่ควรนำตัวอย่างแบตช์นั้นไปอ้างว่าสร้างเสียงพูดแบบแบตช์ได้
บริบทและข้อจำกัดสำคัญ
การตั้งค่าแกนข้อความของเช็กพอยต์กำหนด maximum positions 32,768 ข้อความ สื่อที่แทนข้อมูลแล้ว และคำตอบที่สร้างใช้พื้นที่ลำดับ ตัวเลขนี้ไม่ได้กำหนดระยะเวลาเสียงหรือวิดีโอสากลโดยตัวเอง ตัวอย่างทรัพยากรของผู้ผลิตแสดงว่าวิดีโอยาวต้องใช้หน่วยความจำมากขึ้นอย่างชัดเจน คลิปสั้นที่เกี่ยวข้องจึงมักใช้ได้จริงกว่าไฟล์บันทึกใหญ่ที่ไม่เกี่ยวข้อง ตัวอย่างไม่ได้เผยแพร่ความยาวคำตอบสูงสุดตายตัวแยกหรือระยะเวลาสื่อที่รับประกันสากล
ตรวจข้อความคำพูดที่อ้างและข้อสรุปกับต้นฉบับ เก็บรายละเอียดภาพพอสำหรับคำถาม และเก็บผลข้อความเมื่อผู้ตรวจต้องตรวจคำอธิบายเสียง คุณค่าตามเอกสารคือความเข้าใจร่วมกับคำตอบข้อความหรือเสียง ส่วนตัวควบคุมเสียง การประมวลผลสื่อ และการส่งผลที่แน่นอนเป็นคุณสมบัติของอินเทอร์เฟซที่เลือก
งานตัวอย่างจริง
งานตัวอย่างจริง
ตัวอย่างทางเทคนิคภาษาอังกฤษ
Compare demonstration notes with narration
Compare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.ผลลัพธ์ที่คาดหวัง
A source-linked sequence comparison and one targeted clarification question.ตรวจสอบผลลัพธ์
The answer must preserve the opposing event order and avoid inventing a resolution.Ailoot Ultra · OpenAI Chat POST /v1/chat/completions qwen2.5-omni-7b
qwen2.5-omni-7bเริ่มต้น
Qwen2.5-Omni-7B รวมความเข้าใจข้อความ ภาพ เสียง และวิดีโอกับเอาต์พุตข้อความและเสียงพูดธรรมชาติ สถาปัตยกรรม Thinker-Talker ทำให้เสียงตรงกับเวลาวิดีโอ รองรับปฏิสัมพันธ์แบบสตรีม และมีเสียงสองแบบตามเอกสารในเช็กพอยต์เปิดนี้
- อินพุตที่รองรับ
- ข้อความ
- ผลลัพธ์
- ข้อความ
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · OpenAI Chat POST /v1/chat/completions
- ขาเข้า
text- ขาออก
text- รูปแบบเอาต์พุต
- json หรือ SSE
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด qwen2.5-omni-7b | ค่าเริ่มต้น— |
ฟิลด์messages | ประเภทmessage[] | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด จำนวนรายการขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์messages[].role | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด ตัวอย่าง: system, user, assistant, tool, function เงื่อนไข: บทบาทเหล่านี้แทนอย่างชัดเจนด้วยชนิดข้อมูลเพื่อความเข้ากันได้ในซอร์สโค้ด แต่ชุดบทบาทที่แน่นอนยังขึ้นกับแต่ละโมเดล ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์messages[].content | ประเภทstring|content_part[]|null | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์messages[].tool_calls | ประเภทtool_call[] | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์messages[].tool_call_id | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ใช้เมื่อ: role=tool โดยใช้ ID ที่ส่งกลับจริง | ค่าเริ่มต้น— |
ฟิลด์messages[].name | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์messages[].reasoning_content | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ใช้เมื่อ: ส่งเนื้อหาการใช้เหตุผลที่คืนจริงกลับในคำขอถัดไป เมื่อโมเดลนี้ใช้เนื้อหานั้น | ค่าเริ่มต้น— |
ฟิลด์messages[].reasoning_details | ประเภทobject|array | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์max_tokens | ประเภทinteger | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขั้นต่ำ: 1 ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์max_completion_tokens | ประเภทinteger | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขั้นต่ำ: 1 ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์stream | ประเภทboolean | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้นfalse |
ฟิลด์stream_options.include_usage | ประเภทboolean | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์temperature | ประเภทnumber | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์top_p | ประเภทnumber | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์stop | ประเภทstring|string[] | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์tools | ประเภทfunction_tool[] | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์tools[].type | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด function ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์tools[].function.name | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด ใช้เมื่อ: มีเครื่องมือฟังก์ชันให้ใช้ | ค่าเริ่มต้น— |
ฟิลด์tools[].function.description | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์tools[].function.parameters | ประเภทJSON_schema | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์tool_choice | ประเภทstring|object | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์parallel_tool_calls | ประเภทboolean | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์response_format | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์reasoning_effort | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์reasoning | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์service_tier | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์instructions | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ฟิลด์เพื่อความเข้ากันได้ | ค่าเริ่มต้น— |
ฟิลด์functions | ประเภทfunction[] | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์function_call | ประเภทstring|object | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์prompt_cache_options | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขึ้นอยู่กับโมเดล | ค่าเริ่มต้น— |
ฟิลด์modalities | ประเภทstring[] | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด text | ค่าเริ่มต้น— |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: เส้นทางข้อความ Ultra นี้ปฏิเสธ provider.options | ค่าเริ่มต้น— |
ฟิลด์cache_control.ttl | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด เงื่อนไข: ตำแหน่งแคชพรอมป์ต์จริงปฏิเสธ 1h | ค่าเริ่มต้น— |
ชุดผสมของสื่ออินพุต
ข้อความ · ข้อความ UTF8
messages[].content
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, messages |
พารามิเตอร์material_types | ข้อกำหนดtext |
พารามิเตอร์messages | ข้อกำหนดอาร์เรย์ข้อความที่มีโครงสร้าง role/content |
พารามิเตอร์file_material | ข้อกำหนดแทรกเอกสาร UTF-8 จริงเป็นข้อความตามต้นฉบับ โดยไม่อนุมาน ID ไฟล์ |
พารามิเตอร์optional_controls | ข้อกำหนดstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
พารามิเตอร์control_scope | ข้อกำหนดขึ้นกับโมเดล เครื่องมือฟังก์ชันของผู้ใช้ต่างจากเครื่องมือที่โฮสต์จัดให้ |
พารามิเตอร์output_modalities | ข้อกำหนดtext |
พารามิเตอร์hosted_operations | ข้อกำหนดfalse |
พารามิเตอร์multimodal_input_binding | ข้อกำหนดnull |
วงจรการทำงาน: synchronous_or_streamed
ส่ง ID โมเดลที่ตรงทุกตัวพร้อม messages
ความยาวบริบทไม่ใช่เพดานผลลัพธ์
ไฟล์ข้อความให้ข้อความตามต้นฉบับได้ ส่วนข้อมูลเข้าภาพ/เสียง/ออบเจ็กต์ไฟล์ต้องมีการผูกที่ตรงตามจริง
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
| การตั้งค่า | ตารางอัตราค่าบริการ | ค่าบริการ |
|---|---|---|
| การตั้งค่าอัตราราคาพื้นฐานของโทเคน | ตารางอัตราค่าบริการอัตราพื้นฐาน | ค่าบริการ ขาเข้า · โทเค็นอินพุต $0.0046 / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต $0.0138 / 1K โทเค็น ขาเข้า · การอ่านแคช $0 / 1K โทเค็น ขาเข้า · การเขียนแคช $0 / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · OpenAI Chat
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("choices",[]):
if x.get("message",{}).get("content"): print(x["message"]["content"])
PY_RESULT
from openai import OpenAI
import os
if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])
import base64, json
from pathlib import Path
def save_result(data, stem="result"):
# Keep every field, including usage, IDs, reasoning and tool requests.
Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
print(json.dumps(data, ensure_ascii=False, indent=2))
def save_blob(encoded, suffix, label):
raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
file = Path(stem + "-" + label + "." + ext)
file.write_bytes(raw)
print("Saved", file)
for index, block in enumerate(data.get("content") or []):
print("Content", index, json.dumps(block, ensure_ascii=False))
for choice in data.get("choices") or []:
print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
for index, item in enumerate(data.get("output") or []):
print("Output", index, json.dumps(item, ensure_ascii=False))
if item.get("type") == "image_generation_call" and item.get("result"):
save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
for ci, candidate in enumerate(data.get("candidates") or []):
for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
blob = part.get("inlineData") or part.get("inline_data")
if blob and blob.get("data"):
mime = blob.get("mimeType") or blob.get("mime_type")
suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))
save_result(result.to_dict(mode="json"))
from openai import OpenAI
import os
from pathlib import Path
if not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
import base64, json
from pathlib import Path
def save_result(data, stem="result"):
# Keep every field, including usage, IDs, reasoning and tool requests.
Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")
print(json.dumps(data, ensure_ascii=False, indent=2))
def save_blob(encoded, suffix, label):
raw = base64.b64decode(encoded, altchars=b"-_", validate=True)
ext = "png" if raw.startswith(b"\x89PNG\r\n\x1a\n") else "jpg" if raw.startswith(b"\xff\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix
file = Path(stem + "-" + label + "." + ext)
file.write_bytes(raw)
print("Saved", file)
for index, block in enumerate(data.get("content") or []):
print("Content", index, json.dumps(block, ensure_ascii=False))
for choice in data.get("choices") or []:
print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))
for index, item in enumerate(data.get("output") or []):
print("Output", index, json.dumps(item, ensure_ascii=False))
if item.get("type") == "image_generation_call" and item.get("result"):
save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))
for ci, candidate in enumerate(data.get("candidates") or []):
for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):
print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))
blob = part.get("inlineData") or part.get("inline_data")
if blob and blob.get("data"):
mime = blob.get("mimeType") or blob.get("mime_type")
suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")
save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))
with client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:
with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:
for event in stream:
payload=event.to_dict(mode="json")
log.write(json.dumps(payload,ensure_ascii=False)+"\n"); log.flush()
print(json.dumps(payload,ensure_ascii=False))
final=stream.get_final_completion()
save_result(final.to_dict(mode="json"),"stream-result")
รับและบันทึกผลลัพธ์
Ailoot Ultra · OpenAI Chat
json หรือ SSE
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บทุกตัวเลือกพร้อมเนื้อหา/การเรียกเครื่องมือ/การใช้เหตุผล ใน SSE ให้ประกอบส่วนเพิ่มตามดัชนีตัวเลือก/เครื่องมือ และเก็บเหตุผลสิ้นสุดกับข้อมูลการใช้งานสุดท้าย
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ ID และส่วนหัวของคำขอ/คำตอบ ไม่มี URL ทั่วไปสำหรับดึงงานข้อความให้ใช้
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์choices[].index | ประเภทinteger |
ฟิลด์choices[].message.content | ประเภทstring|null |
ฟิลด์choices[].message.tool_calls | ประเภทtool_call[] |
ฟิลด์choices[].message.reasoning_content | ประเภทstring |
ฟิลด์choices[].message.reasoning_details | ประเภทobject|array |
ฟิลด์choices[].finish_reason | ประเภทstring|null |
ฟิลด์usage | ประเภทobject |
ข้อผิดพลาดและขั้นตอนถัดไป
| การตอบกลับ | เงื่อนไข | ขั้นตอนถัดไป |
|---|---|---|
การตอบกลับ400 · invalid_request_error | เงื่อนไขฟิลด์จำเป็น รูปแบบการแทนข้อมูล หรือค่าพารามิเตอร์ไม่ถูกต้อง | ขั้นตอนถัดไปแก้ฟิลด์ที่ระบุก่อนส่งคำขอสร้างครั้งใหม่ |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra qwen2.5-omni-7b
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
Ailoot Ultra · Anthropic Messages POST /v1/messages qwen2.5-omni-7b
qwen2.5-omni-7bเริ่มต้น
Qwen2.5-Omni-7B รวมความเข้าใจข้อความ ภาพ เสียง และวิดีโอกับเอาต์พุตข้อความและเสียงพูดธรรมชาติ สถาปัตยกรรม Thinker-Talker ทำให้เสียงตรงกับเวลาวิดีโอ รองรับปฏิสัมพันธ์แบบสตรีม และมีเสียงสองแบบตามเอกสารในเช็กพอยต์เปิดนี้
- อินพุตที่รองรับ
- ข้อความ
- ผลลัพธ์
- json · sse
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · Anthropic Messages POST /v1/messages
- ขาเข้า
text- ขาออก
json,sse- รูปแบบเอาต์พุต
- JSON หรือ SSE
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด qwen2.5-omni-7b | ค่าเริ่มต้น— |
ฟิลด์messages | ประเภทmessage[] | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์messages[].role | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด user, assistant | ค่าเริ่มต้น— |
ฟิลด์messages[].content | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์max_tokens | ประเภทinteger | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์stream | ประเภทboolean | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้นfalse |
ชุดผสมของสื่ออินพุต
ข้อความ · ข้อความ UTF-8
สตริง messages[].content
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, messages, max_tokens |
พารามิเตอร์optional_controls | ข้อกำหนดstream |
พารามิเตอร์material_types | ข้อกำหนดtext |
พารามิเตอร์text_file_material | ข้อกำหนดอ่านเอกสาร UTF-8 จริง แล้วใส่ข้อความใน input หรือสตริงเนื้อหาข้อความที่ระบุ |
วงจรการทำงาน: synchronous_or_streamed
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
| การตั้งค่า | ตารางอัตราค่าบริการ | ค่าบริการ |
|---|---|---|
| การตั้งค่าอัตราราคาพื้นฐานของโทเคน | ตารางอัตราค่าบริการอัตราพื้นฐาน | ค่าบริการ ขาเข้า · โทเค็นอินพุต $0.0046 / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต $0.0138 / 1K โทเค็น ขาเข้า · การอ่านแคช $0 / 1K โทเค็น ขาเข้า · การเขียนแคช $0 / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · Anthropic Messages
{
"model": "qwen2.5-omni-7b",
"max_tokens": 128,
"messages": [
{
"role": "user",
"content": "Summarize the incident report."
}
],
"stream": false
}set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"
export AILOOT_TEXT_FILE
python3 - <<'PY_REQUEST'
import json, os
from pathlib import Path
source_file = Path(os.environ['AILOOT_TEXT_FILE'])
if not source_file.is_file():
raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')
text = source_file.read_text(encoding='utf-8')
if not text.strip():
raise SystemExit('Choose a document containing text')
payload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}
payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text
Path('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \
-H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
result = json.loads(Path('result.json').read_text(encoding='utf-8'))
print(json.dumps(result, ensure_ascii=False, indent=2))
PY_RESULT
import json, os
from pathlib import Path
source_file = Path(os.environ['AILOOT_TEXT_FILE'])
if not source_file.is_file():
raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')
text = source_file.read_text(encoding='utf-8')
if not text.strip():
raise SystemExit('Choose a document containing text')
payload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}
payload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\n\n' + text
from urllib.request import Request, urlopen
from urllib.error import HTTPError
api_key = os.environ['AILOOT_API_KEY']
if not api_key.strip():
raise SystemExit('Set AILOOT_API_KEY before making a request')
headers = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}
headers['x-api-key'] = api_key
request = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')
try:
with urlopen(request, timeout=120) as response:
raw = response.read()
Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')
except HTTPError as error:
Path('result.json').write_bytes(error.read())
Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')
raise
Path('result.json').write_bytes(raw)
import json
from pathlib import Path
result = json.loads(Path('result.json').read_text(encoding='utf-8'))
print(json.dumps(result, ensure_ascii=False, indent=2))
รับและบันทึกผลลัพธ์
Ailoot Ultra · Anthropic Messages
JSON หรือ SSE
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บทุกบล็อกเนื้อหา ลายเซ็นการคิด และ ID การใช้เครื่องมือจริง ประกอบส่วนเพิ่มของบล็อก SSE ทั้งหมด บล็อกข้อความแรกไม่ใช่ผลลัพธ์ทั้งหมด
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ ID และส่วนหัวของคำขอ/คำตอบ ไม่มี URL ทั่วไปสำหรับดึงงานข้อความให้ใช้
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์id | ประเภทstring |
ฟิลด์model | ประเภทstring |
ฟิลด์content[] | ประเภทtext|thinking|tool_use|other content block |
ฟิลด์stop_reason | ประเภทstring|null |
ฟิลด์usage | ประเภทobject |
ข้อผิดพลาดและขั้นตอนถัดไป
| การตอบกลับ | เงื่อนไข | ขั้นตอนถัดไป |
|---|---|---|
การตอบกลับ400 · invalid_request_error | เงื่อนไขฟิลด์จำเป็น รูปแบบการแทนข้อมูล หรือค่าพารามิเตอร์ไม่ถูกต้อง | ขั้นตอนถัดไปแก้ฟิลด์ที่ระบุก่อนส่งคำขอสร้างครั้งใหม่ |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra qwen2.5-omni-7b
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · qwen2.5-omni-7b
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/chat/completions·qwen2.5-omni-7b:text→textPOST /v1/messages·qwen2.5-omni-7b:text→json,sse- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/chat/completions·qwen2.5-omni-7b:model,messages,stream,modalities,providerPOST /v1/messages·qwen2.5-omni-7b:model,messages,max_tokens,stream- มีข้อจำกัดใดบ้าง?
POST /v1/chat/completions·qwen2.5-omni-7b:messages.min_items:1