OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo เป็นรุ่นถอดเสียงที่เปิดเผยน้ำหนักของ OpenAI ซึ่งทำงานเร็วขึ้นและพัฒนาต่อจาก large-v3 มีดีโคเดอร์สี่ชั้นและ 809 ล้านพารามิเตอร์ มุ่งใช้แปลงเสียงพูดหลายภาษาเป็นข้อความ โดยเอกสารทางการของผู้พัฒนาระบุว่างานที่ Turbo ได้รับการฝึกไม่รวมการแปลเสียงพูดเป็นภาษาอังกฤษ

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions openai/whisper-large-v3-turbo

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

Whisper large-v3-turbo หรือ Turbo เป็นโมเดลถอดเสียงที่ปรับให้มีประสิทธิภาพของ OpenAI ซึ่งพัฒนาต่อจาก Whisper large-v3 ดีโคเดอร์ลดจาก 32 ชั้นเหลือสี่ชั้น ขณะที่เอนโคเดอร์ยังมี 32 ชั้น โมเดลที่เผยแพร่มีประมาณ 809 ล้านพารามิเตอร์ ผู้พัฒนามุ่งให้รู้จำเสียงพูดเร็วขึ้นโดยยอมแลกความแม่นยำเล็กน้อย ไม่ใช่เพิ่มโหมดสร้างเสียงอีกแบบ อินพุตคือเสียงพูดที่บันทึกไว้ และผลลัพธ์คือข้อความที่รู้จำได้

ประกาศเผยแพร่แยกวิธีเตรียม Turbo ออกจากโมเดล Whisper อีกตัวที่ผ่านการกลั่นความรู้ต่างหาก Turbo ได้รับการปรับจูนเพิ่มเติมอีกสองเอพ็อกด้วยข้อมูลถอดเสียงหลายภาษา โดยไม่รวมข้อมูลแปลภาษา ความแตกต่างนี้สำคัญต่อการใช้งานจริง ที่เก็บโค้ดของ OpenAI ระบุว่า Turbo ไม่ได้ฝึกให้แปลเสียงพูดที่ไม่ใช่ภาษาอังกฤษเป็นภาษาอังกฤษ และอาจคืนภาษาต้นฉบับแม้ร้องของานแปล ใช้รุ่นนี้สำหรับถอดเสียงเป็นภาษาเดียวกับต้นฉบับ หากต้องแปล ควรใช้โมเดลอื่นที่เหมาะสมหรือทำเป็นขั้นตอนแยกหลังถอดเสียง

การตรวจจับภาษาต้นฉบับและการเลือกภาษาอย่างชัดเจนยังเป็นตัวเลือกที่มีประโยชน์ในการถอดเสียง หากทราบภาษาของเสียงบันทึกอยู่แล้ว ให้ระบุในบรีฟ หากไม่ทราบ ขั้นตอนตามเอกสารสามารถตรวจจับได้ คงชื่อ จำนวน และถ้อยคำที่พูดจริงก่อนขอปรับแก้เชิงบรรณาธิการ จากนั้นจึงนำบันทึกประชุม บทสัมภาษณ์ หรือข้อความการบรรยายไปค้นหา ใส่หมายเหตุ หรือสรุปในงานภายหลัง ไม่ควรสับสนงานรู้จำของ Turbo กับการสังเคราะห์เสียง การเลียนเสียงผู้พูด หรือการประเมินเชิงความหมายเกี่ยวกับบุคคลในเสียงบันทึก

ตัวโหลดเสียงของ OpenAI ถอดรหัสไฟล์อินพุตเป็นตัวอย่างเสียงโมโนที่ 16 kHz และโมเดลใช้หน้าต่างเสียง 30 วินาทีพร้อมช่องความถี่ Mel 128 ช่อง เสียงบันทึกที่ยาวกว่านี้ต้องใช้การอนุมานสำหรับเสียงยาว การประมวลผลแบบลำดับจะเลื่อนผ่านหน้าต่างตามลำดับ ส่วนแบบแบ่งชังก์จะถอดเสียงส่วนที่ซ้อนทับกันและเชื่อมขอบเขตเข้าด้วยกัน โมเดลการ์ดเสนอแบบหลังว่าเหมาะเมื่อประมวลผลไฟล์ยาวไฟล์เดียวและให้ความสำคัญกับเวลาจนได้ผลลัพธ์เป็นหลัก ส่วนแบบลำดับเป็นทางเลือกที่เน้นความแม่นยำ ทั้งหน้าต่างและชื่อโมเดลไม่ได้กำหนดขนาดไฟล์สูงสุดแบบตายตัวสำหรับการอัปโหลดไปยังบริการที่โฮสต์ไว้

การกำหนดค่าของ Turbo โดยตรงระบุตำแหน่งดีโคเดอร์ 448 ตำแหน่งสำหรับลำดับการถอดรหัสหนึ่งชุด ขั้นตอนการอนุมานตามเอกสารอาจรวมเวลาของแต่ละช่วงหรือแต่ละคำพร้อมข้อความถอดเสียง ข้อมูลเวลาช่วยเลื่อนไปยังส่วนที่ต้องการและจัดรูปแบบคำบรรยายภายหลัง แต่ไม่ได้เพิ่มรูปแบบไฟล์คำบรรยายหรือป้ายระบุผู้พูดที่เชื่อถือได้โดยอัตโนมัติ ระบุว่าต้องการข้อความถอดเสียงธรรมดาหรือช่วงข้อความพร้อมเวลา และเก็บเสียงต้นฉบับไว้เพื่อตรวจข้อความที่มีข้อโต้แย้ง การประมวลผลเสียงยาวและการจัดรูปแบบสุดท้ายแยกจากเอกลักษณ์ของเช็กพอยต์

Turbo ลดงานถอดรหัส แต่เวลาที่ใช้จริงขึ้นกับฮาร์ดแวร์ ความยาวเสียง ภาษา ความเร็วการพูด และวิธีอนุมาน ผู้พัฒนาระบุว่าคุณภาพลดลงมากกว่าในบางภาษา เช่น ไทยและกวางตุ้ง ไม่ได้มีพฤติกรรมสม่ำเสมอเหมือนกันทุกภาษา เปรียบเทียบช่วงตัวอย่างที่เป็นตัวแทนในภาษาที่ต้องการ ก่อนถือว่าการแลกเปลี่ยนเพื่อความเร็วนี้เหมาะกับทุกเนื้อหา สำหรับงานประมวลผลคลังเสียง ให้ตัวอย่างตรวจทานมีคำศัพท์ยาก ช่วงหยุด เสียงรบกวน หรือการพูดซ้อน ไม่ใช่เพียงประโยคเปิดที่ชัดเจน

การ์ดที่เผยแพร่ระบุข้อจำกัดสำคัญในการรู้จำของ Whisper: ข้อความที่คาดการณ์อาจมีคำที่ไม่ได้พูดจริง และอาจมีข้อความซ้ำ ผลลัพธ์ต่างกันตามภาษา สำเนียง และภาษาถิ่น โดยเฉพาะส่วนที่ข้อมูลฝึกครอบคลุมจำกัด การ์ดไม่ได้ยืนยันว่าการแยกผู้พูดหรือจำแนกผู้พูดของโมเดลพื้นฐานเป็นความสามารถมาตรฐานที่เชื่อถือได้ การตรวจทานเชิงปฏิบัติควรเน้นความตรงกับต้นฉบับ ได้แก่ ชื่อและตัวเลขสำคัญ เสียงพูดที่ตกหล่น ข้อความที่เกิดขึ้นโดยไม่คาดหมายระหว่างความเงียบ และข้อความซ้ำ แม้ข้อความถอดเสียงจะอ่านง่าย ก็ยังเป็นผลลัพธ์ที่ต้องเทียบกับเสียงบันทึก ไม่ใช่การรับประกันว่าจะรู้จำได้ตรงทั้งหมด

ชิ้นงานสำเร็จที่มีประโยชน์คือข้อความถอดเสียงในภาษาต้นฉบับ พร้อมข้อมูลเวลาที่ร้องขอและการเชื่อมโยงกับเสียงบันทึกอย่างชัดเจน เก็บเวอร์ชันที่รู้จำได้แยกจากเวอร์ชันที่แก้ไขเพื่อเผยแพร่ เพื่อให้ติดตามการเปลี่ยนแปลงได้ คงชื่อ large-v3-turbo เมื่อเปรียบเทียบรุ่น เพราะไม่ใช่โมเดล large-v3 เต็มรูปแบบ และไม่ควรนำงานแปลเป็นภาษาอังกฤษของ large-v3 มาใช้กับมันโดยไม่ระบุให้ชัด เอกลักษณ์ของโมเดลที่เปิดเผยน้ำหนักนี้ยังไม่ได้รวมขีดจำกัดการอัปโหลด โครงสร้างข้อมูลตอบกลับ หรือคำมั่นด้านสตรีมสดของบริการ whisper-1 ที่โฮสต์ไว้ เลือก Turbo เมื่อการแลกเปลี่ยนด้านการถอดเสียงตามเอกสารเหมาะกับเนื้อหาจริงและเวลาที่ต้องการได้ผลลัพธ์

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions openai/whisper-large-v3-turbo

openai/whisper-large-v3-turbo

OpenAI /openai/whisper-large-v3-turbo

เริ่มต้น

อินพุตที่รองรับ: เสียง
ผลลัพธ์: ข้อความ

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions

ขาเข้า: audio
ขาออก: text

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด openai/whisper-large-v3-turbo	ค่าเริ่มต้น—
ฟิลด์`input_audio`	ประเภท`object`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด	ค่าเริ่มต้น—

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_type`	ข้อกำหนดapplication/json
พารามิเตอร์`required`	ข้อกำหนดmodel, input_audio
พารามิเตอร์`material_types`	ข้อกำหนดaudio
พารามิเตอร์`material_conditions`	ข้อกำหนดตัวอย่างนี้อ่านไฟล์ PCM WAV จริงของคุณที่ไม่ว่าง เข้ารหัสไบต์ทั้งหมดของไฟล์เป็น base64 และส่ง input_audio.format เป็น wav

วงจรการทำงาน: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · task_id ที่ตรงตามบันทึกสื่อเดิมซึ่งเป็นของคุณ

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

ราคา

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราค่าบริการ Ailoot

ราคาตามการตั้งค่า

เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน

การตั้งค่า	ตารางอัตราค่าบริการ	หน่วยคิดค่าบริการ	ค่าบริการ
การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน	ตารางอัตราค่าบริการอัตราพื้นฐาน	หน่วยคิดค่าบริการ—	ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น
การตั้งค่าวินาทีเสียงขาเข้า	ตารางอัตราค่าบริการ—	หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า $0.00000666 ต่อวินาทีของเสียงอินพุต

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

ตัวอย่างคำขอ

Ailoot Ultra · การถอดเสียง

curl · ไฟล์ WAV จริงและผลลัพธ์ต้นฉบับที่ครบถ้วน

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual PCM WAV recording}"
export AILOOT_AUDIO_FILE
python3 - <<'PY_REQUEST'
import base64, io, json, os, wave
from pathlib import Path
audio = Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4] == b'RIFF' and audio[8:12] == b'WAVE'):
    raise SystemExit('Supply your actual PCM WAV audio file')
with wave.open(io.BytesIO(audio), 'rb') as recording:
    if recording.getcomptype() != 'NONE' or recording.getnframes() <= 0:
        raise SystemExit('Supply a nonempty PCM WAV recording')
request = {'model': 'openai/whisper-large-v3-turbo', 'input_audio': {'data': base64.b64encode(audio).decode('ascii'), 'format': 'wav'}}
Path('request.json').write_text(json.dumps(request, ensure_ascii=False), encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Retain the complete original response, headers and actual X-Client-Request-ID.
# Read existing owned records for recovery; do not resubmit an uncertain operation.

รับและบันทึกผลลัพธ์

Ailoot Ultra · การถอดเสียง

เนื้อหาการตอบกลับเดิมทั้งหมด สถานะ และส่วนหัวที่ส่งต่อ ตัวจัดการนี้ไม่เพิ่มโครงสร้าง JSON ฟิลด์ข้อความ หรือโครงสร้างห่อหุ้มงานแบบสากล

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

เก็บ X-Client-Request-ID จริงและการตอบกลับทั้งหมด อ่านแอสเซ็ตเดิมที่เป็นของคุณและ URL เนื้อหาที่ลงลายเซ็นตรงตามที่ส่งกลับ ห้ามส่งคำขอสร้างที่ยังไม่แน่ชัดซ้ำ

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`text (when present)`	ประเภท
ฟิลด์`usage (when present)`	ประเภท

ข้อผิดพลาดและขั้นตอนถัดไป

การตอบกลับ	เงื่อนไข	ขั้นตอนถัดไป
การตอบกลับ400 · `invalid_request_error`	เงื่อนไขเนื้อหา JSON หรือ ID โมเดลมาตรฐานที่ระบุชัดเจนไม่ถูกต้อง	ขั้นตอนถัดไปเก็บการตอบกลับและแก้ไขฟิลด์คำขอที่ระบุ
การตอบกลับ401 · `authentication_error`	เงื่อนไขคีย์ API ของ Ailoot ไม่ถูกต้อง	ขั้นตอนถัดไปใช้คีย์ API ของ Ailoot ที่คุณได้รับอนุญาต
การตอบกลับ403 · `permission_error`	เงื่อนไขกลุ่มคีย์ไม่อนุญาตให้ใช้เมธอดนี้	ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้
การตอบกลับ404 · `not_found_error`	เงื่อนไขเมธอดที่เลือกไม่มีเส้นทางที่ได้รับอนุญาต	ขั้นตอนถัดไปเก็บรายละเอียดข้อผิดพลาดที่ส่งกลับไว้
การตอบกลับ422 · `price_unavailable`	เงื่อนไขอัตราค่าบริการที่ยอมรับไม่สามารถระบุปริมาณข้อมูลขาเข้าหรือขอบเขตที่จำเป็นได้	ขั้นตอนถัดไปเก็บการตอบกลับไว้ ใช้รูปแบบข้อมูลขาเข้าที่อัตราค่าบริการที่ยอมรับกำหนดไว้
การตอบกลับ503 ·	เงื่อนไขที่เก็บข้อมูล เส้นทาง ราคาเมธอด หรือการกันวงเงินที่จำเป็นไม่พร้อมใช้งาน	ขั้นตอนถัดไปเก็บการตอบกลับเดิมทั้งหมด การกันวงเงินที่ไม่แน่นอนไม่อนุญาตให้ส่งซ้ำ
การตอบกลับ502 · `server_error`	เงื่อนไขต้องตรวจสอบผลลัพธ์ การใช้งาน หรือการชำระบัญชีเดิม	ขั้นตอนถัดไปเก็บ ID คำขอจริงและการตอบกลับเดิม อ่านบันทึกเดิมที่เป็นของคุณ อย่าส่งคำขอสร้างซ้ำ

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra openai/whisper-large-v3-turbo

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

openai/whisper-large-v3-turbo

FAQ · OpenAI: Whisper Large V3 Turbo

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/audio/transcriptions · openai/whisper-large-v3-turbo: audio → text
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/audio/transcriptions · openai/whisper-large-v3-turbo: model, input_audio

OpenAI: Whisper Large V3 Turbo