Fish Audio: S2 Pro
Fish Audio S2 Pro สร้างเสียงพูดหลายภาษาที่ถ่ายทอดอารมณ์ พร้อมคำกำกับระดับคำและบทสนทนาหลายผู้พูดโดยตรง คำสั่งในวงเล็บเหลี่ยมควบคุมวิธีพูดในบท ขณะที่เสียงอ้างอิงระบุผู้พูดและการตั้งค่าผลลัพธ์กำหนดชิ้นงานเสียง
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
S2 Pro เป็นโมเดลแปลงข้อความเป็นเสียงพูดเจเนอเรชันสองของ Fish Audio สำหรับเสียงบรรยายที่ถ่ายทอดอารมณ์ บทสนทนาตัวละคร และเสียงตอบสนทนา แปลงบทเขียนเป็นเสียงและรองรับคำกำกับภาษาธรรมชาติระดับคำหรือวลี เจเนอเรชัน S1 ก่อนหน้าใช้คำกำกับในวงเล็บกลม ส่วน S2 Pro ใช้วงเล็บเหลี่ยมโดยตรงและรองรับหลายผู้พูดในคำขอสังเคราะห์เดียว ผู้ผลิตเผยแพร่ค่าน้ำหนัก S2 Pro และโค้ดปรับแต่งโมเดลสำหรับงานปรับเฉพาะแยกต่างหาก คำขอเสียงทั่วไปใช้โมเดลที่เลือก ไม่ใช่ฝึกโมเดลใหม่
เขียนเนื้อหาที่จะพูดก่อน แล้ววางคำกำกับวิธีพูดทันทีก่อนคำหรือวลีที่จะได้รับผล คำกำกับอาจบรรยายการกระซิบ ปฏิกิริยา การหยุด การเปลี่ยนอารมณ์ หรือรูปแบบการพูดอย่างเปิดกว้าง สำหรับคำอธิบายสินค้าสั้น ให้ประโยคข้อเท็จจริงชัดเจนและเน้นเฉพาะจุดที่ผู้ฟังควรสังเกตความแตกต่าง สำหรับบทตัวละคร ให้บรรยายการเปลี่ยนอารมณ์ตรงจังหวะที่เกิด แทนการกำหนดอารมณ์เดียวตลอดข้อความ
แท็กในวงเล็บเหลี่ยมเป็นคำบรรยายแบบเปิด ไม่ใช่เมนูจำกัด ตัวอย่างได้แก่ [whispering], [sigh], [long pause] และวลีอย่าง [speaking slowly, almost hesitant] แท็กอยู่กลางประโยคได้และส่งผลต่อคำพูดถัดไป แท็กบรรยายต้องมีข้อความจริงตามหลัง คำสั่งที่อยู่โดด ๆ อาจให้ผลคาดเดาไม่ได้ เริ่มจากคำกำกับที่มีประโยชน์หนึ่งหรือสองรายการก่อนเพิ่มหลายชั้น เพราะแท็กที่ขัดกันอาจบดบังวิธีพูดที่ตั้งใจ เสียงอ้างอิงต่างกันอาจตอบสนองต่อคำกำกับเดียวกันด้วยความเข้มต่างกัน
ข้อมูลเผยแพร่ S2 ระบุประมาณ 80 ภาษา และให้ตัวอย่างคำกำกับวิธีพูดในภาษาเดียวกับบท เตรียมถ้อยคำในภาษาที่ต้องพูดและรักษาชื่อ หน่วย กับตัวย่อที่ต้องอ่านแบบเฉพาะ เสียงบรรยายหลายภาษาสามารถรักษาเสียงที่ตั้งใจขณะเปลี่ยนภาษาบท แต่ชิ้นงานสุดท้ายยังต้องฟังตรวจการออกเสียงและความต่อเนื่อง การสังเคราะห์ทำให้เนื้อหาที่ส่งเป็นเสียงพูด ไม่ได้ตัดสินว่าแอปพลิเคชันควรให้ข้อมูลใด
สำหรับผู้พูดคนเดียว เลือกรหัสเสียงที่บันทึกไว้หรือส่งเสียงอ้างอิงพร้อมบทถอดเสียงที่ตรงกัน ผู้ผลิตแนะนำตัวอย่างสะอาดยาว 10–30 วินาทีสำหรับกำหนดเสียงทันที สำหรับบทสนทนา ใช้เครื่องหมายผู้พูด เช่น <|speaker:0|> และ <|speaker:1|> พร้อมรายการรหัสเสียงตามลำดับหรือกลุ่มอ้างอิงแยกสำหรับแต่ละคน หมายเลขเลือกเสียงรายการที่ตรงกัน รักษาลำดับไว้ขณะสนทนาต่อ คำกำกับการพูดด้วยภาษาธรรมชาติกับการเลือกผู้พูดมีบทบาทต่างกันในบท
ผลลัพธ์เสียงเป็น MP3, WAV, PCM ดิบ หรือ Opus ได้ MP3 มีค่าเริ่มต้น 128 kbps และมีตัวเลือก 64 หรือ 192 kbps ส่วน Opus ใช้ 48 kHz ขณะที่ WAV และ PCM รองรับตัวเลือกอัตราสุ่มตามเอกสารเป็นโมโน 16 บิต เลือกรูปแบบตามปลายทางจริง เช่น ไฟล์เก็บสำหรับเสียงบรรยาย หรือชิ้นเสียงที่เหมาะสำหรับเล่น เวิร์กโฟลว์เสียงผู้ผลิตยังอธิบายการสตรีมข้อความสดเมื่อบททยอยมาถึง ผลลัพธ์ที่สร้างควรผูกกับบทเต็มและเสียงที่เลือกเสมอ
ปรับความเร็วได้ระหว่าง 0.5 ถึง 2.0 พร้อมตัวควบคุมระดับเสียงและการปรับความดังผลลัพธ์ให้เป็นมาตรฐาน การปรับข้อความช่วยให้อ่านตัวเลขอังกฤษและจีนได้ดีขึ้น การประมวลผลแบ่งส่วนในช่วง 100–300 และมีงบโทเคนเสียงต่อส่วน จึงไม่ควรอ่านค่าพวกนี้เป็นความยาวสูงสุดตายตัวของเสียงบรรยายทั้งเรื่อง การอิงส่วนก่อนหน้าช่วยส่งบริบทเสียงไปยังช่วงถัดไป ตัวควบคุมการสุ่ม เช่น temperature และ top-p มีผลต่อความหลากหลาย แม้เป็นบรรทัดที่กำกับอย่างตั้งใจ ก็ยังต้องมีข้อความกับบริบทพอจะถ่ายทอดเสียงที่ต้องการ
บรีฟผลิตงานที่มีประโยชน์แยกเสียงบรรยาย บทสนทนา และคำกำกับวิธีพูด แล้วระบุเสียงกับรูปแบบชิ้นงาน ฟังตรวจคำตกหล่น เสียงซ้ำ การอ่านตัวเลข การเปลี่ยนผู้พูด และจังหวะปฏิกิริยา แก้บรรทัดหรือเสียงอ้างอิงที่ทำให้ไม่ตรง แทนการสมมติว่าเพิ่มแท็กจะทำให้ทุกช่วงดีขึ้น S2 Pro ยังคงเป็นโมเดล S2 เจเนอเรชันก่อนหน้าที่แยกต่างหาก ส่วน S2.1 Pro เป็นรุ่นหลังที่มีการปรับปรุงและพฤติกรรมการตั้งค่าเฉพาะโมเดล
Ailoot Ultra · เสียงพูด POST /v1/audio/speech fish-audio/s2-pro
fish-audio/s2-proเริ่มต้น
Fish Audio S2 Pro สร้างเสียงพูดหลายภาษาที่ถ่ายทอดอารมณ์ พร้อมคำกำกับระดับคำและบทสนทนาหลายผู้พูดโดยตรง คำสั่งในวงเล็บเหลี่ยมควบคุมวิธีพูดในบท ขณะที่เสียงอ้างอิงระบุผู้พูดและการตั้งค่าผลลัพธ์กำหนดชิ้นงานเสียง
- อินพุตที่รองรับ
- ข้อความ
- ผลลัพธ์
- เสียง
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · เสียงพูด POST /v1/audio/speech
- ขาเข้า
text- ขาออก
audio
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด fish-audio/s2-pro | ค่าเริ่มต้น— |
ฟิลด์input | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด ความยาวขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์voice | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด b347db033a6549378b48d00acb0d06cd ความยาวขั้นต่ำ: 1 | ค่าเริ่มต้น— |
ฟิลด์response_format | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด mp3, pcm | ค่าเริ่มต้นpcm |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_type | ข้อกำหนดapplication/json |
พารามิเตอร์required | ข้อกำหนดmodel, input, voice |
พารามิเตอร์material_types | ข้อกำหนดtext |
วงจรการทำงาน: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน
| การตั้งค่า | ตารางอัตราค่าบริการ | หน่วยคิดค่าบริการ | ค่าบริการ |
|---|---|---|---|
| การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน | ตารางอัตราค่าบริการอัตราพื้นฐาน | หน่วยคิดค่าบริการ— | ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
| การตั้งค่าไบต์ UTF-8 ขาเข้า | ตารางอัตราค่าบริการ— | หน่วยคิดค่าบริการต่อไบต์ UTF-8 ของอินพุต | ค่าบริการ ขาเข้า · ไบต์ UTF-8 ขาเข้า $0.00003 ต่อไบต์ UTF-8 ของอินพุต |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
ตัวอย่างคำขอ
Ailoot Ultra · เสียงพูด
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_INPUT_TEXT:?Set the actual documented input value}"
export AILOOT_INPUT_TEXT
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
request={'model': 'fish-audio/s2-pro', 'input': '${ACTUAL_INPUT_TEXT}', 'voice': 'b347db033a6549378b48d00acb0d06cd', 'response_format': 'mp3'}
request['input']=os.environ['AILOOT_INPUT_TEXT']
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/speech \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete response and headers, every actual output, original returned identifiers and all usage fields. Recover the original operation without submitting creation again.
รับและบันทึกผลลัพธ์
Ailoot Ultra · เสียงพูด
เสียงไบนารีทั้งหมดหรือการตอบกลับ audio_url เดิม ส่วนหัว และแอสเซ็ตทุกชิ้นที่เป็นของคุณ
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
การอ่านเนื้อหาแบบอื่น
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ X-Client-Request-ID ที่ส่งกลับมาไว้เพื่อกระทบยอด อ่านเฉพาะค่า task_id/asset_id ที่ส่งกลับมาจริง หรืออ่านจากคลังสื่อที่เป็นของตนเอง ห้ามสร้าง URL ของงานจาก ID การดำเนินการ และห้ามส่งคำขอสร้างซ้ำเด็ดขาด
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra fish-audio/s2-pro
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · Fish Audio: S2 Pro
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/audio/speech·fish-audio/s2-pro:text→audio- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/audio/speech·fish-audio/s2-pro:model,input,voice,response_format,provider