HeyGen: Avatar IV
Avatar IV ทำภาพถ่ายให้เป็นวิดีโอพูดแบบลิปซิงก์ โดยเสียงกำกับสีหน้าและจังหวะท่าทาง HeyGen ระบุโฟลว์สคริปต์หรือเสียงบันทึก และตัวควบคุมการเคลื่อนไหว Photo Avatar สำหรับพรีเซนเตอร์สมจริงหรือมีสไตล์
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
Avatar IV เป็นเอนจินอวาตาร์ของ HeyGen ที่เปลี่ยนภาพนิ่งเป็นวิดีโอพูดมีอารมณ์ การออกแบบเสียงสู่สีหน้าที่ได้แนวคิดจาก diffusion ใช้น้ำเสียง จังหวะ และอารมณ์กำกับใบหน้า การเอียงศีรษะ การพัก และสีหน้าละเอียด จุดประสงค์คือพรีเซนเตอร์หรือตัวละครพูดพร้อมลิปซิงก์และท่าทาง ไม่ใช่โมเดลฉากทั่วไปที่สร้างสถานที่กับซาวด์แทร็กทั้งหมดจากพรอมป์ต์ภาพยนตร์
ผู้ผลิตระบุรองรับตัวละครสมจริงและมีสไตล์ รวมภาพมุมเอียงหรือด้านข้าง ใบหน้าอนิเมะ และสัตว์เลี้ยง ตัวละครจากภาพทำงานดีที่สุดเมื่อระบุดวงตา ปาก และโครงหน้าได้ง่าย HeyGen แนะนำภาพชัด แสงดี ท่าธรรมชาติ และมือมองเห็นหากท่าทางสำคัญ ใบหน้าเล็กมาก ริมฝีปากถูกบัง หน้ากากหนา จะงอยปากเด่น หรือสัดส่วนเกินจริงมากอาจลดคุณภาพใบหน้าและลิปซิงก์ ให้กรอบต้นฉบับเหมาะการแสดง
ผู้ผลิตมีสองเส้นทางคำพูด: สคริปต์คู่กับเสียงที่เลือก หรือแทร็กบันทึกล่วงหน้าที่ให้เสียงและเวลาโดยตรง ใช้เสียงบันทึกเมื่อวิธีพูดพร้อมแล้ว และสคริปต์เมื่อต้องสังเคราะห์ ทั้งสองเป็นทางเลือกแทนกันในอินเทอร์เฟซ เตรียมถ้อยคำ ชื่อ และการออกเสียงให้เสร็จก่อนทำภาพเคลื่อนไหว และเก็บเสียงหรือสคริปต์กับวิดีโอเพื่อตรวจคำพูด
โปรไฟล์ Avatar IV ของ HeyGen ครอบคลุม studio avatars, Digital Twins, Photo Avatars, ภาพโดยตรง และตัวแบบจากพรอมป์ต์ Photo Avatar ที่ใช้ซ้ำให้ตัวแบบคงที่สำหรับงานถัดไป ส่วนโฟลว์ภาพตรงเริ่มจากภาพที่ส่ง โปรไฟล์ Photo Avatar มีคำสั่งการเคลื่อนไหวอิสระและระดับการแสดงออก high, medium หรือ low โดยเริ่มต้น low เก็บรูปลักษณ์อวาตาร์กับเอนจินที่เลือกเมื่อทำซีรีส์ เพื่อไม่ให้ภาพหรือโมเดลเรนเดอร์เปลี่ยนพรีเซนเตอร์โดยไม่รู้ตัว
การกำกับท่าทางให้บอกการกระทำที่เห็นและอารมณ์ เช่น “พยักหน้าเบา ๆ พร้อมยิ้มอบอุ่น” ให้หนึ่งท่ากับหนึ่งสีหน้า คำทักทายสั้นใช้โบกมือเป็นมิตรได้ ผู้ผลิตแนะนำท่าหลักเดียว อาจคู่สีหน้า และไม่เกินสองวลีสั้นสำหรับลำดับ Avatar IV จัดจังหวะจากการแสดง คู่มือ Studio จึงไม่ต้องตารางท่าทางทุกวินาที ถ้อยคำเฉพาะและสั้นตรวจง่ายกว่าหลายการกระทำแย่งกัน
โปรไฟล์เสียงสู่วิดีโอเรนเดอร์เสียงที่ส่งได้สูงสุดสามสิบนาทีต่อคำขอ และไฟล์ MP3/WAV อัปโหลดไม่เกิน 32 MB สำหรับบทเรียนหรือบันทึกยาว ให้แบ่งตรงขอบเขตคำพูดสอดคล้องและรักษาลำดับเดิม เวลาคำพูดในวิดีโอควรตามเสียงที่เลือก ไม่ใช่การประมาณความยาวคลิปที่ไม่เกี่ยวกัน
ค่าตั้งเอาต์พุตที่ระบุมี 720p หรือ 1080p กับรูปทรง 16:9, 9:16, 4:5, 5:4 หรือ 1:1 และอัตโนมัติตามสัดส่วนต้นฉบับ แบบ cover อาจครอปตัวแบบ ส่วน contain ใส่ตัวแบบครบและอาจเห็นพื้นหลังรอบ ๆ โฟลว์เสียงสู่วิดีโอคืน MP4 เป็นค่าเริ่มต้น สำหรับ video avatars เอาต์พุต WebM โปร่งใสต้องรองรับ matting และผู้ผลิตลบพื้นหลังเพื่อเอาต์พุตนั้นแทนรวมกับพื้นหลังใหม่ ตรวจกรอบและไฟล์จริงก่อนใส่พรีเซนเตอร์ในงานใหญ่
บทเปิดการฝึกอบรมใช้ภาพพรีเซนเตอร์ชัด คำอธิบายกระชับ และท่าทางพอดีหนึ่งท่าตรงคำสั่งสำคัญ งานอธิบายสินค้าคงรูปลักษณ์เดียวแล้วเปลี่ยนสคริปต์ตามคุณสมบัติ ผู้ผลิตยังมีไฟล์คำบรรยายเสริมและคำบรรยายฝังภาพ ให้ตรวจข้อความกับจังหวะร่วมคำพูด เรนเดอร์แบบอะซิงโครนัส คำตอบสร้างงานกับวิดีโอเสร็จจึงคนละสิ่ง เก็บไฟล์สำเร็จและสถานะเสร็จกับผลของงาน
Avatar IV ต่างจาก Avatar V ที่ใช้การเคลื่อนไหวตามอ้างอิงและตัวควบคุม preset ของ Studio แยก ยังต่างจากสร้างฉากทั่วไป HeyGen Video และสนทนาอวาตาร์สดแบบโต้ตอบ ตรวจปาก มือ สีหน้า การพัก และคำพูดเทียบสื่อต้นทางกับอารมณ์เป้าหมาย ภาพ ท่า แสง และคำสั่งเคลื่อนไหวมีผลต่อผลลัพธ์ งานภาพถ่ายเคลื่อนไหวจึงต้องตรวจในฐานะการแสดงที่สร้าง และเก็บอินพุตเพื่อแก้ภายหลัง
Ailoot Ultra · วิดีโอ POST /v1/videos heygen/avatar-iv
heygen/avatar-ivเริ่มต้น
Avatar IV ทำภาพถ่ายให้เป็นวิดีโอพูดแบบลิปซิงก์ โดยเสียงกำกับสีหน้าและจังหวะท่าทาง HeyGen ระบุโฟลว์สคริปต์หรือเสียงบันทึก และตัวควบคุมการเคลื่อนไหว Photo Avatar สำหรับพรีเซนเตอร์สมจริงหรือมีสไตล์
- อินพุตที่รองรับ
- ข้อความ · รูปภาพ · เสียง · วิดีโอ
- ผลลัพธ์
- วิดีโอ
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · วิดีโอ POST /v1/videos
- ขาเข้า
text,image,audio,video- ขาออก
video
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด heygen/avatar-iv | ค่าเริ่มต้น— |
ฟิลด์input_references | ประเภทarray | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด จำนวนรายการขั้นต่ำ: 2 จำนวนรายการสูงสุด: 2 | ค่าเริ่มต้น— |
ฟิลด์prompt | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input_references |
พารามิเตอร์material_types | ข้อกำหนดtext, image, audio, video |
พารามิเตอร์material_conditions | ข้อกำหนดใช้ URL เนื้อหาแอสเซ็ตสื่อจริงที่เสร็จสมบูรณ์และเป็นของคุณ พร้อมลายเซ็นที่ส่งกลับ แหล่งวิดีโอหนึ่งรายการสำหรับ BFL หรือแหล่งภาพหนึ่งรายการและเสียงหนึ่งรายการสำหรับอวตาร ต้องมีหลักฐานจากแหล่งข้อมูลยืนยันเจ้าของ/ชนิด/ไบต์, ระบุภาพ PNG/JPEG เพียงหนึ่งภาพและแอสเซ็ตเสียง WAV/MP3 เพียงหนึ่งรายการ เสียงมีขนาดไม่เกิน 32000000 ไบต์ ระยะเวลามากกว่า 0 และไม่เกิน 1800 วินาที |
วงจรการทำงาน: asynchronous_job_then_owned_outputs
GET /v1/videos/{request_id} · id หรือ polling_url จริงที่ส่งกลับ
GET /v1/videos/{request_id}/content
ราคา
วิธีคำนวณค่าบริการสุดท้าย
อัตราที่แสดงใช้ประมาณการค่าใช้จ่ายก่อนการสร้างผลลัพธ์ ยอดเรียกเก็บสุดท้ายคำนวณจากค่าใช้จ่ายที่บันทึกไว้สำหรับการสร้างผลลัพธ์ครั้งเดิม ระยะเวลาของผลลัพธ์ที่วัดได้และปริมาณที่คาดการณ์ไว้ไม่ใช่ปริมาณสุดท้ายที่ใช้คิดค่าบริการ
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราประมาณการเพื่อเปรียบเทียบ
ราคาตามการตั้งค่า
เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน
| การตั้งค่า | ตารางอัตราค่าบริการ | ปริมาณคาดการณ์ | หน่วยคิดค่าบริการ | เงื่อนไขคิดค่าบริการ | ค่าบริการ |
|---|---|---|---|---|---|
| การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน | ตารางอัตราค่าบริการอัตราพื้นฐาน | ปริมาณคาดการณ์— | หน่วยคิดค่าบริการ— | เงื่อนไขคิดค่าบริการ— | ค่าบริการ ขาเข้า · โทเค็นอินพุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การอ่านแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น |
| การตั้งค่าราคาวิดีโอ | ตารางอัตราค่าบริการ— | ปริมาณคาดการณ์— | หน่วยคิดค่าบริการต่อวินาทีของวิดีโอ | เงื่อนไขคิดค่าบริการไม่มีการระบุเงื่อนไขเพิ่มเติมในคีย์ราคานี้ | ค่าบริการ ขาออก · ราคาวิดีโอ · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.1 ต่อวินาทีของวิดีโอ |
| การตั้งค่าต้นทุนการสร้างโดยประมาณ | ตารางอัตราค่าบริการ— | ปริมาณคาดการณ์ค่าประมาณสำหรับการสร้างหนึ่งครั้ง | หน่วยคิดค่าบริการ— | เงื่อนไขคิดค่าบริการ— | ค่าบริการ ขาออก · ค่าใช้จ่ายในการสร้างโดยประมาณ · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.1 ประมาณการก่อนสร้าง ค่าประมาณนี้ไม่ใช่ค่าใช้จ่ายเพิ่มเติมหรืออัตราคงที่สำหรับการสร้างผลลัพธ์ที่เสร็จสมบูรณ์แล้ว |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · วิดีโอ
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_REFERENCES_JSON:?Set the actual documented input value}"
export AILOOT_INPUT_REFERENCES_JSON
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'heygen/avatar-iv', 'input_references': '${ACTUAL_OWNED_INPUT_REFERENCES}'}
request['input_references']=json.loads(os.environ['AILOOT_INPUT_REFERENCES_JSON'])
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/videos \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
รับและบันทึกผลลัพธ์
Ailoot Ultra · วิดีโอ
GET /v1/videos/{request_id}GET /v1/videos/{request_id}/content
บันทึกไฟล์ที่สร้างเสร็จทั้งหมด
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_STATUS_FILE:?Set the actual completed status JSON file}"
export AILOOT_STATUS_FILE
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
from urllib.parse import urlsplit,urljoin
f=Path(os.environ["AILOOT_STATUS_FILE"])
if not f.is_file():raise SystemExit("Choose the actual completed status file")
r=json.loads(f.read_text())
if r.get("status")!="completed" or not isinstance(r.get("data"),list) or not r["data"]:raise SystemExit("Wait for a completed status with asset paths")
urls=[]
for x in r["data"]:
if not isinstance(x,str) or "\n" in x or "\r" in x:raise SystemExit("Invalid asset path")
u=urljoin("https://api.ailoot.ai",x)
z=urlsplit(u)
if z.scheme!="https" or z.netloc!="api.ailoot.ai" or z.username or z.password:raise SystemExit("Use the actual Ailoot asset paths from status")
urls.append(u)
Path("asset-urls.txt").write_text("\n".join(urls)+"\n")
PY_REQUEST
index=0
while IFS= read -r asset_url; do
curl --fail-with-body --silent --show-error "$asset_url" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o "video-${index}.mp4"
index=$((index + 1))
done < asset-urls.txt
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
บันทึกวิดีโอที่สร้างเสร็จหรือไฟล์ที่ส่งกลับมาทุกไฟล์ และดึงไฟล์สื่อจากทุก URL ที่ส่งกลับมาจริง
เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ X-Client-Request-ID, X-Ailoot-Task-Id และ id/polling_url จริงที่ส่งกลับ ดำเนินงานเดิมต่อ อย่าส่งคำขอสร้างซ้ำ
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์id | ประเภท |
ฟิลด์status | ประเภท |
ฟิลด์data[] | ประเภท |
ฟิลด์outputs[] | ประเภท |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra heygen/avatar-iv
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · HeyGen: Avatar IV
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/videos·heygen/avatar-iv:text,image,audio,video→video- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/videos·heygen/avatar-iv:model,input_references,prompt