ByteDance Seed: Seed Audio 1.0
ByteDance Seed Audio 1.0 สร้างการแสดงเสียงพูดและฉากเสียงจากโจทย์สร้างสรรค์ ประสานเสียงคน เอฟเฟกต์ และบรรยากาศ รองรับการกำหนดจังหวะบทสนทนาทีละ 100 ms และครอบคลุมมากกว่า 20 ภาษา ผู้สร้างระบุความยาวสูงสุดสองนาทีต่อการสร้างพร้อมการต่อเนื่อง
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
ByteDance Seed Audio 1.0 เป็นโมเดลสร้างเสียงที่จัดงานโดยยึดฉากเสียง สามารถกำกับเสียงพูด เอฟเฟกต์ และบรรยากาศร่วมกันผ่านโจทย์ข้อความ จึงมีประโยชน์กับเรื่องเล่ามีเสียง ฉากเผชิญหน้าในเกม บทละครสั้น หรือฉากประกอบวิดีโอที่ตัดต่อแล้ว สำหรับงานเสียงพูดอย่างเดียว ให้อธิบายผู้พูดและการแสดง สำหรับฉากเต็มกว่า ให้อธิบายสภาพแวดล้อมเสียงและความสัมพันธ์ของบทสนทนากับเสียงรอบข้างด้วย
เตรียมโจทย์ตามลำดับที่ผู้ฟังควรได้ยินฉาก ระบุตัวละคร สภาพอารมณ์ที่ตั้งใจ และถ้อยคำที่ต้องพูด จากนั้นอธิบายสถานที่ เสียงสัญญาณสำคัญ และพัฒนาการของช่วงเหตุการณ์ โจทย์การผลิตควรแยกบทสนทนาตรงตัวออกจากคำอธิบายฉาก เพื่อให้ตรวจผลกับทั้งสองส่วนได้ ระบุองค์ประกอบที่จำเป็นต่อความเข้าใจและสิ่งที่ควรอยู่ฉากหลัง ห้องเงียบ สถานีแออัด และลานเปิดต้องการออกแบบเสียงต่างกัน แม้ประโยคพูดเหมือนกัน
ตัวอย่างเฉพาะคือ ตัวละครเกมปลอบเพื่อนในฉากหลบภัยสั้น ๆ: เสียงที่สำรวมพูดว่า “เรารอที่นี่ได้” พร้อมเสียงฝนเบาเป็นบรรยากาศ และเสียงก้าวเท้าใกล้เข้ามาหนึ่งครั้งหลังประโยค การฟังตรวจที่มีประโยชน์คือถ้อยคำยังฟังชัดหรือไม่ เสียงสื่อความอุ่นใจหรือไม่ และเสียงสัญญาณเข้ามาในจุดที่สมเหตุผลของฉากหรือไม่ อีกโจทย์อาจขอผู้บรรยายเสียงชัดแนะนำสินค้าโดยไม่มีบรรยากาศรอบข้าง นี่เป็นตัวอย่างวิธีระบุเจตนา ไม่ใช่ระเบียนเสียงที่สร้างแล้วหรือสัญญาเรื่องมิกซ์สำเร็จ
ผู้สร้างระบุการควบคุมเวลาบทสนทนาตัวละครในระดับพรอมต์ทีละ 100 ms ใช้เพื่ออธิบายเวลาที่ประโยคควรเริ่มในลำดับตามบท หรือวางแผนคำพูดให้เข้ากับงานตัดต่อที่มี แยกจังหวะบทสนทนาจากการวางเอฟเฟกต์และบรรยากาศ รุ่นนี้ระบุบทสนทนาตัวละครเป็นจุดเน้นหลักของการควบคุมเวลา ตรวจจุดเริ่ม ช่วงหยุด และเสียงซ้อนจริงกับฉากที่ตั้งใจ ช่วงเวลานี้อธิบายความละเอียดการควบคุมของโมเดล ไม่ได้ตัดความจำเป็นในการฟังการแสดงสุดท้าย
กำหนดเสียงได้ผ่านคำอธิบายข้อความ ตัวอย่างอ้างอิงที่ได้รับอนุญาต หรือทั้งสองอย่าง ผู้ผลิตนำเสนอเป็นการกำกับเสียงโดยไม่ฝึกโมเดลแยกสำหรับผู้พูดแต่ละคน อธิบายลักษณะเสียงที่คงที่แยกจากอารมณ์ของประโยคปัจจุบัน ตัวละครที่ปรากฏซ้ำอาจต้องมีคำแนะนำตัวสงบและคำตอบเร่งด่วนแต่ยังจำได้ว่าเป็นคนเดิม ในการเตรียมจริง ให้เลือกเสียงอ้างอิงชัดที่ได้ยินเสียงเป้าหมายง่าย และระบุสิ่งที่ต้องถ่ายทอดสู่การแสดงใหม่ รักษาเสียงอ้างอิงและโจทย์ตัวละครให้สอดคล้องเมื่อเตรียมฉากที่เกี่ยวข้อง
รุ่นนี้ระบุการสร้างในมากกว่า 20 ภาษา รวมจีน อังกฤษ ญี่ปุ่น เกาหลี สเปน อินโดนีเซีย เยอรมัน ฝรั่งเศส ไทย และเวียดนาม อธิบายการปรับเสียงตัวละครที่จำได้ให้เข้ากับจังหวะและการแสดงออกของภาษาต่าง ๆ ส่งบทสนทนาในภาษาสุดท้ายและให้ผู้ฟังที่เข้าใจภาษานั้นตรวจชื่อ การเน้นเสียง ช่วงหยุด และอารมณ์ สำหรับรุ่นหลายภาษา ให้รักษาบทบาทและเจตนาอารมณ์ของตัวละคร พร้อมเผื่อพื้นที่ให้แต่ละบทใช้ถ้อยคำเป็นธรรมชาติ เตรียมคำแปลเป็นส่วนของงานบท แทนการสมมติว่าโจทย์ฉากเสียงให้การตัดสินใจโลคัลไลซ์ครบทุกอย่าง
ตามประกาศผู้สร้าง Seed Audio 1.0 สร้างได้สูงสุดสองนาทีในรอบเดียวและรองรับการต่อเนื่อง เรื่องยาวได้ประโยชน์จากขอบเขตฉากและโจทย์ตัวละครที่ใช้ซ้ำ ในแต่ละช่วงต่อ ให้ฟังการเปลี่ยนเสียงคน ลักษณะพื้นเสียง และจังหวะ รวมทั้งคำที่เชื่อมแต่ละส่วน มองเสียงที่ส่งกลับเป็นชิ้นงานสำหรับฟัง: ตรวจข้อมูลไฟล์จริงเมื่อเตรียมเล่นหรือนำเข้าโปรแกรมตัดต่อ และเก็บบทกับโจทย์ฉากไว้คู่กันเพื่อแก้ไข งานที่ต่อรวมควรถูกตรวจเป็นฉากต่อเนื่อง ไม่ใช่เพียงคลิปแยก
ผู้ผลิตอธิบายกรอบร่วมที่เจตนาสร้างสรรค์ระดับภาษากำกับตัวสร้างเสียงแบบ diffusion ผลต่อการเขียนโจทย์คือสามารถพิจารณาเสียงพูดและสภาพแวดล้อมร่วมกัน เน้นความสัมพันธ์ไม่กี่อย่างที่กำหนดฉาก เช่น ประโยคอยู่ด้านหน้าหรือไม่ เอฟเฟกต์ขัดจังหวะหรือไม่ และบรรยากาศหนุนอารมณ์อย่างไร การเพิ่มสัญญาณเสียงที่ไม่เกี่ยวกันมากทำให้หาส่วนที่ต้องแก้ในผลได้ยากขึ้น เปลี่ยนทิศทางของช่วงนั้นเมื่อเสียงสัญญาณแข่งกับบทสนทนาหรือการแสดงไม่ตรงน้ำเสียงที่ตั้งใจ
ความต่อเนื่องของเสียงในเนื้อหายาวซับซ้อนและเวลาที่ละเอียดขึ้นระหว่างองค์ประกอบเสียงยังเป็นด้านพัฒนาที่ประกาศรุ่นระบุ ให้ตรวจการผลิตอย่างเฉพาะเจาะจง ได้แก่ ถ้อยคำตรงตัว อัตลักษณ์ผู้พูด ภาษา จุดเข้า ความชัดเจน และความสอดคล้องตลอดส่วนต่อ ผลที่ใช้ได้ของโมเดลนี้คือฉากเสียงหรือการแสดงเสียงพูดที่ได้ยินจริง สามารถตัดสินใจเรื่องจุดตัด คำบรรยาย และรูปแบบส่งมอบแยกจากผลจริงนั้นและข้อกำหนดของงานปลายทาง
Ailoot Ultra · เสียงพูด POST /v1/audio/speech bytedance-seed/seed-audio-1-0
bytedance-seed/seed-audio-1-0เริ่มต้น
ByteDance Seed Audio 1.0 สร้างการแสดงเสียงพูดและฉากเสียงจากโจทย์สร้างสรรค์ ประสานเสียงคน เอฟเฟกต์ และบรรยากาศ รองรับการกำหนดจังหวะบทสนทนาทีละ 100 ms และครอบคลุมมากกว่า 20 ภาษา ผู้สร้างระบุความยาวสูงสุดสองนาทีต่อการสร้างพร้อมการต่อเนื่อง
- อินพุตที่รองรับ
- ข้อความ
- ผลลัพธ์
- เสียง
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · เสียงพูด POST /v1/audio/speech
- ขาเข้า
text- ขาออก
audio
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด bytedance-seed/seed-audio-1-0 | ค่าเริ่มต้น— |
ฟิลด์input | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด ความยาวขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์voice | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ความยาวขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์response_format | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด mp3, pcm | ค่าเริ่มต้นpcm |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input |
พารามิเตอร์material_types | ข้อกำหนดtext |
วงจรการทำงาน: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน
| การตั้งค่า | ตารางอัตราค่าบริการ | หน่วยคิดค่าบริการ | ค่าบริการ |
|---|---|---|---|
| การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน | ตารางอัตราค่าบริการอัตราพื้นฐาน | หน่วยคิดค่าบริการ— | ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
| การตั้งค่าวินาทีเสียงขาออก | ตารางอัตราค่าบริการ— | หน่วยคิดค่าบริการต่อวินาทีของเสียงเอาต์พุต | ค่าบริการ ขาออก · วินาทีเสียงขาออก $0.005 ต่อวินาทีของเสียงเอาต์พุต |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · เสียงพูด
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_TEXT:?Set the actual documented input value}"
export AILOOT_INPUT_TEXT
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'bytedance-seed/seed-audio-1-0', 'input': '${ACTUAL_INPUT_TEXT}'}
request['input']=os.environ['AILOOT_INPUT_TEXT']
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
รับและบันทึกผลลัพธ์
Ailoot Ultra · เสียงพูด
เสียงไบนารีทั้งหมดหรือการตอบกลับ audio_url เดิม ส่วนหัว และแอสเซ็ตทุกชิ้นที่เป็นของคุณ
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
การอ่านเนื้อหาแบบอื่น
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ X-Client-Request-ID ที่ส่งกลับมาไว้เพื่อกระทบยอด อ่านเฉพาะค่า task_id/asset_id ที่ส่งกลับมาจริง หรืออ่านจากคลังสื่อที่เป็นของตนเอง ห้ามสร้าง URL ของงานจาก ID การดำเนินการ และห้ามส่งคำขอสร้างซ้ำเด็ดขาด
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra bytedance-seed/seed-audio-1-0
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · ByteDance Seed: Seed Audio 1.0
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/audio/speech·bytedance-seed/seed-audio-1-0:text→audio- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/audio/speech·bytedance-seed/seed-audio-1-0:model,input,voice,response_format,provider