Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 เป็นโมเดลแปลงเสียงพูดเป็นข้อความของ Meta สำหรับการป้อนข้อความด้วยเสียง การตรวจจับช่วงการพูด และบทถอดเสียงที่ระบุผู้พูดได้ รองรับคำใบ้ด้านภาษาและคำศัพท์ การสลับภาษา และข้อมูลเวลาระดับช่วงการพูด โดยมีเวิร์กโฟลว์แยกสำหรับคลิปที่บันทึกไว้และเสียงสด

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

Muse Voice Transcribe 1.0 เป็นโมเดลรับรู้เสียงของ Meta สำหรับถอดเสียงพูด ตรวจจับขอบเขตของถ้อยคำที่พูด และระบุว่าช่วงการพูดแต่ละช่วงเป็นของผู้พูดคนใด โมเดลอยู่ในตระกูล Muse Spark และรวมการรู้จำเสียงพูด การแยกผู้พูด และการตรวจจับจุดสิ้นสุดการพูดไว้ภายในโมเดล ผลลัพธ์คือข้อความที่รู้จำได้ พร้อมข้อมูลเวลาและผู้พูดตามที่มีให้ในโหมดที่เลือก

โมเดลประมวลผลเสียงเป็นช่วงละ 80 มิลลิวินาที และตัดสินใจว่าจะฟังต่อหรือส่งข้อความออกมา การหน่วงเวลาแบบปรับได้ช่วยให้รอเสียงเพิ่มเติมเมื่อมีคำที่ตีความได้ยากกว่า จึงสร้างข้อความบางส่วนระหว่างที่เสียงพูดยังคงเข้ามา แล้วตามด้วยผลการถอดเสียงที่เสร็จสมบูรณ์ ควรมองข้อความคาดการณ์ชั่วคราวกับช่วงการพูดที่สมบูรณ์ว่าเป็นคนละขั้นตอนของประสบการณ์การฟัง

เลือกได้สามโหมด Push-to-talk เป็นค่าเริ่มต้นสำหรับถ้อยคำหนึ่งช่วงที่ควบคุมการเริ่มและจบได้ เช่น คำถามด้วยเสียงหรือข้อความสั้นที่ป้อนด้วยเสียง Endpointing ให้โมเดลตรวจจับขอบเขตของช่วงการพูด และส่งบทถอดเสียงที่สมบูรณ์หนึ่งรายการต่อส่วนที่ตรวจพบ Diarization ระบุข้อความที่รู้จำได้ด้วยป้ายกำกับผู้พูด และออกแบบมาสำหรับการบันทึกที่มีผู้พูดหลายคน มากกว่าการรับส่งคำสั่งเสียงสลับกันด้วยความเร็วสูงสุด

สำหรับคลิปที่บันทึกไว้ เวิร์กโฟลว์ถอดเสียงจากไฟล์จะคืนบทถอดเสียงฉบับสมบูรณ์ด้วยคำขอเดียว ผลลัพธ์เริ่มต้นเป็น JSON ที่มีบทถอดเสียงและระยะเวลาของเสียง พร้อมอาร์เรย์ turns ในโหมด endpointing และ diarization แต่ละช่วงการพูดสามารถมีตัวระบุ เวลาเริ่มและสิ้นสุดเป็นมิลลิวินาที และข้อความที่รู้จำได้ โหมด diarization มีป้ายกำกับผู้พูด ส่วน push-to-talk ให้บทถอดเสียงฉบับสมบูรณ์โดยไม่มีช่วงการพูดที่ตรวจพบอยู่ในอาร์เรย์ดังกล่าว อินเทอร์เฟซสำหรับไฟล์บันทึกเสียงของผู้ผลิตยังสามารถคืนข้อความธรรมดาหรือสตรีมเหตุการณ์การถอดเสียงได้ด้วย ข้อความธรรมดาแยกช่วงการพูดที่ตรวจพบไว้คนละบรรทัด และอาจมีป้ายกำกับผู้พูด ส่วนสตรีมเหตุการณ์จบลงหลังเหตุการณ์สุดท้ายโดยไม่มีสรุป JSON แยกต่างหาก โหมดข้อความบางส่วนแบบ delta จะคืนข้อความที่เพิ่มขึ้นทีละส่วน ขณะที่เหตุการณ์บทถอดเสียงสุดท้ายมีถ้อยคำครบทั้งหมด

เตรียมไฟล์ RIFF/WAVE ที่บรรจุเสียงโมโนแบบ PCM จำนวนเต็ม 16 บิต ที่ 16 หรือ 24 kHz อัตราดั้งเดิมของโมเดลคือ 24 kHz และอินเทอร์เฟซรับ 16 kHz ได้เช่นกัน ให้แปลงคอนเทนเนอร์หรือการเข้ารหัสรูปแบบอื่นเป็น WAV ที่รองรับนี้ก่อนส่งไฟล์บันทึกเสียง โปรไฟล์ถอดเสียงจากไฟล์รองรับเสียงยาวไม่เกิน 10 นาที และขนาดเนื้อหาคำขอรวมไม่เกิน 32 MB เก็บไฟล์บันทึกต้นฉบับและไฟล์ที่แปลงไว้โดยเชื่อมโยงกับบทถอดเสียงที่ได้รับ เพื่อให้ย้อนกลับมาฟังตรวจสอบได้ภายหลัง

เวิร์กโฟลว์เสียงสดใช้ PCM ดิบแบบโมโน จำนวนเต็มมีเครื่องหมาย 16 บิต และ little-endian โดยส่งเสียง 16 หรือ 24 kHz ในจังหวะใกล้เคียงเวลาจริง ช่วงเวลาของเซสชันตามเอกสารคือ 60 นาที Meta อธิบายว่าโมเดลรับเสียงโดยตรงได้นานกว่าหนึ่งชั่วโมง แต่ขีดจำกัดของไฟล์และเซสชันสดที่ระบุในเอกสารยังเป็นขอบเขตอินเทอร์เฟซคนละส่วน เลือกเวิร์กโฟลว์ไฟล์บันทึกหรือเวิร์กโฟลว์สดตามว่าเสียงนั้นบันทึกเสร็จแล้วหรือยังอยู่ระหว่างการรับเสียง และเก็บผลลัพธ์จากแต่ละเซสชันให้เชื่อมโยงกับส่วนข้อมูลนำเข้าของเซสชันนั้น

Muse Voice Transcribe ผ่านการฝึกด้วยมากกว่า 70 ภาษา ขณะที่อินเทอร์เฟซการรู้จำตามเอกสารแจกแจงภาษาที่รองรับไว้ 25 ภาษา ซึ่งรวมถึงอังกฤษ ฝรั่งเศส เยอรมัน สเปน อาหรับ จีนกลาง ฮินดี ญี่ปุ่น เกาหลี อิตาลี และโปรตุเกส โมเดลรู้จำการสลับภาษาได้ทั้งภายในประโยคและระหว่างประโยค คำใบ้ด้านภาษาสามารถระบุภาษาที่คาดว่าจะได้ยินในเสียง แต่มีหน้าที่ชี้นำการรู้จำ ไม่ได้บังคับให้บทถอดเสียงเป็นภาษาเดียว

คำใบ้ด้านคำศัพท์ช่วยในการรู้จำศัพท์ผลิตภัณฑ์ อักษรย่อ ชื่อบุคคล หรือสถานที่ที่สำคัญในไฟล์บันทึกเสียง ให้ระบุคำและตัวสะกดจริงที่คาดว่าจะได้ยิน รายการคำสำคัญช่วยโน้มเอียงการรู้จำ แต่ไม่รับประกันว่าจะสะกดตรงทุกครั้ง จึงควรฟังเสียงเพื่อตรวจสอบคำที่มีผลต่อสาระสำคัญ คำใบ้ด้านภาษาและคำสำคัญถูกเลือกเมื่อเริ่มการถอดเสียง ให้เลือกอย่างเหมาะสมกับไฟล์บันทึกนั้น แทนการเปลี่ยนความหมายของคำใบ้ระหว่างที่เซสชันกำลังทำงาน

โมเดลรองรับการแยกผู้พูดในการสนทนาที่มีผู้พูดมากกว่า 20 คน ป้ายกำกับ เช่น A และ B ใช้ระบุผู้พูดภายในงานถอดเสียงหนึ่งงาน ป้ายเหล่านี้ไม่ใช่ชื่อที่ยืนยันแล้ว และไม่ได้ยืนยันว่าป้ายเดียวกันหมายถึงบุคคลเดียวกันในอีกเซสชันหนึ่ง สำหรับงานวิเคราะห์การประชุมจากต้นฉบับ ให้ขอช่วงการพูดที่ระบุผู้พูด เก็บไฟล์บันทึกเสียง และใช้ป้ายกำกับจัดระเบียบการสนทนาก่อนผูกชื่อผู้เข้าร่วมจริงผ่านเวิร์กโฟลว์ของแอปพลิเคชัน

บทถอดเสียงบางส่วนจากเสียงสดอาจเปลี่ยนเมื่อมีเสียงพูดเพิ่มเติมเข้ามา ในโหมดสะสม ข้อความบางส่วนแต่ละรายการจะแทนที่ข้อความคาดการณ์ก่อนหน้า ไม่ใช่เพิ่มสำเนาของข้อความนั้นอีกครั้ง การตรวจพบจุดสิ้นสุดการพูดเป็นการทำเครื่องหมายขอบเขต ขณะที่ผลลัพธ์ของช่วงการพูดที่สมบูรณ์จะให้ข้อความสุดท้าย ซึ่งอาจต่างจากข้อความบางส่วนรายการล่าสุด เก็บช่วงการพูดที่ซ้อนทับกันให้ผูกกับตัวระบุช่วงการพูด และรับผลลัพธ์ที่สมบูรณ์ก่อนถือว่าบทถอดเสียงเสร็จแล้ว เมื่อเสียงสดที่ส่งเข้าไปสิ้นสุด ให้ส่งสัญญาณสิ้นสุดข้อมูลนำเข้าและรับผลลัพธ์ต่อไปจนกว่าฝั่งผู้สร้างผลลัพธ์จะระบายรายการที่ค้างอยู่เสร็จ การปิดการเชื่อมต่อทันทีอาจทำให้ผลลัพธ์เหล่านั้นสูญหาย ขอบเขตการพูดที่ตรวจพบหมายถึงจบช่วงการพูดหนึ่งช่วง ไม่ใช่จบทั้งเซสชัน

ข้อมูลเวลาอยู่ในระดับช่วงการพูด โปรไฟล์นี้ไม่ให้เวลาระดับคำหรือคะแนนความเชื่อมั่น และความคืบหน้าของการประมวลผลเสียงก็ไม่ใช่เวลาของคำใดคำหนึ่ง การตรวจจับเหตุการณ์เสียง การตรวจจับอารมณ์ และการจัดรูปแบบบทถอดเสียงใหม่ก็อยู่นอกโปรไฟล์ผลลัพธ์ตามเอกสารเช่นกัน ใช้ช่วงเวลาการพูดที่คืนมาสำหรับไทม์ไลน์ผู้พูดหรือการตรวจทานระดับส่วน และเก็บถ้อยคำที่รู้จำได้ไว้ หากขั้นตอนแก้ไขแยกต่างหากนำไปสร้างบันทึกที่อ่านลื่นขึ้นในภายหลัง

ชิ้นงานที่มีประโยชน์ ได้แก่ ข้อความที่ป้อนด้วยเสียงฉบับสมบูรณ์ บทถอดเสียงคำถามด้วยเสียง บทสนทนาที่ระบุผู้พูด หรือไทม์ไลน์ของถ้อยคำที่พูด เปรียบเทียบชื่อ ตัวเลข และศัพท์เทคนิคกับไฟล์บันทึกต้นฉบับ รักษาความเชื่อมโยงของโหมดและข้อมูลเวลา และเก็บช่วงการพูดที่สมบูรณ์ไว้ให้ตรวจทานได้ การถอดเสียงบอกว่าโมเดลรู้จำอะไรจากเสียง ส่วนการตอบคำถามที่พูด การแปล หรือการเปลี่ยนเนื้อหาเป็นบันทึกการประชุมเป็นหน้าที่ของขั้นตอนถัดไปในแอปพลิเคชัน

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions meta/muse-voice-transcribe-1.0

meta/muse-voice-transcribe-1.0

Meta /meta/muse-voice-transcribe-1.0

เริ่มต้น

อินพุตที่รองรับ: เสียง
ผลลัพธ์: ข้อความ

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions

ขาเข้า: audio
ขาออก: text

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด meta/muse-voice-transcribe-1.0	ค่าเริ่มต้น—
ฟิลด์`input_audio`	ประเภท`object`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด	ค่าเริ่มต้น—

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_type`	ข้อกำหนดapplication/json
พารามิเตอร์`required`	ข้อกำหนดmodel, input_audio
พารามิเตอร์`material_types`	ข้อกำหนดaudio
พารามิเตอร์`material_conditions`	ข้อกำหนดตัวอย่างนี้อ่านไฟล์ PCM WAV จริงของคุณที่ไม่ว่าง เข้ารหัสไบต์ทั้งหมดของไฟล์เป็น base64 และส่ง input_audio.format เป็น wav

วงจรการทำงาน: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · task_id ที่ตรงตามบันทึกสื่อเดิมซึ่งเป็นของคุณ

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

ราคา

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราค่าบริการ Ailoot

ราคาตามการตั้งค่า

เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน

การตั้งค่า	ตารางอัตราค่าบริการ	หน่วยคิดค่าบริการ	ค่าบริการ
การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน	ตารางอัตราค่าบริการอัตราพื้นฐาน	หน่วยคิดค่าบริการ—	ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น
การตั้งค่าวินาทีเสียงขาเข้า	ตารางอัตราค่าบริการ—	หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า $0.0001 ต่อวินาทีของเสียงอินพุต

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

ตัวอย่างคำขอ

Ailoot Ultra · การถอดเสียง

curl · ไฟล์ WAV จริงและผลลัพธ์ต้นฉบับที่ครบถ้วน

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'meta/muse-voice-transcribe-1.0', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

รับและบันทึกผลลัพธ์

Ailoot Ultra · การถอดเสียง

เนื้อหาการตอบกลับเดิมทั้งหมด สถานะ และส่วนหัวที่ส่งต่อ ตัวจัดการนี้ไม่เพิ่มโครงสร้าง JSON ฟิลด์ข้อความ หรือโครงสร้างห่อหุ้มงานแบบสากล

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

เก็บ X-Client-Request-ID จริงและการตอบกลับทั้งหมด อ่านแอสเซ็ตเดิมที่เป็นของคุณและ URL เนื้อหาที่ลงลายเซ็นตรงตามที่ส่งกลับ ห้ามส่งคำขอสร้างที่ยังไม่แน่ชัดซ้ำ

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`text (when present)`	ประเภท
ฟิลด์`usage (when present)`	ประเภท

ข้อผิดพลาดและขั้นตอนถัดไป

การตอบกลับ	เงื่อนไข	ขั้นตอนถัดไป
การตอบกลับ400 · `invalid_request_error`	เงื่อนไขเนื้อหา JSON หรือ ID โมเดลมาตรฐานที่ระบุชัดเจนไม่ถูกต้อง	ขั้นตอนถัดไปเก็บการตอบกลับและแก้ไขฟิลด์คำขอที่ระบุ
การตอบกลับ401 · `authentication_error`	เงื่อนไขคีย์ API ของ Ailoot ไม่ถูกต้อง	ขั้นตอนถัดไปใช้คีย์ API ของ Ailoot ที่คุณได้รับอนุญาต
การตอบกลับ403 · `permission_error`	เงื่อนไขกลุ่มคีย์ไม่อนุญาตให้ใช้เมธอดนี้	ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้
การตอบกลับ404 · `not_found_error`	เงื่อนไขเมธอดที่เลือกไม่มีเส้นทางที่ได้รับอนุญาต	ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้
การตอบกลับ422 · `price_unavailable`	เงื่อนไขอัตราค่าบริการที่ยอมรับไม่สามารถระบุปริมาณข้อมูลขาเข้าหรือขอบเขตที่จำเป็นได้	ขั้นตอนถัดไปเก็บการตอบกลับไว้ ใช้รูปแบบข้อมูลขาเข้าที่อัตราค่าบริการที่ยอมรับกำหนดไว้
การตอบกลับ503 ·	เงื่อนไขที่เก็บข้อมูล เส้นทาง ราคาเมธอด หรือการกันวงเงินที่จำเป็นไม่พร้อมใช้งาน	ขั้นตอนถัดไปเก็บการตอบกลับเดิมทั้งหมด การกันวงเงินที่ไม่แน่นอนไม่อนุญาตให้ส่งซ้ำ
การตอบกลับ502 · `server_error`	เงื่อนไขต้องตรวจสอบผลลัพธ์ การใช้งาน หรือการชำระบัญชีเดิม	ขั้นตอนถัดไปเก็บ ID คำขอจริงและการตอบกลับเดิม อ่านบันทึกเดิมที่เป็นของคุณ อย่าส่งคำขอสร้างซ้ำ

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra meta/muse-voice-transcribe-1.0

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

meta/muse-voice-transcribe-1.0

FAQ · Meta: Muse Voice Transcribe 1.0

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: audio → text
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/audio/transcriptions · meta/muse-voice-transcribe-1.0: model, input_audio

Meta: Muse Voice Transcribe 1.0