OpenAI: Whisper Large V3

Whisper large-v3 เป็นเช็กพอยต์รู้จำเสียงหลายภาษาแบบเปิดค่าน้ำหนักของ OpenAI สำหรับถอดเสียงและแปลคำพูดเป็นภาษาอังกฤษ โมเดลเปลี่ยนเสียงบันทึกเป็นข้อความ พร้อมการเลือกภาษา การประทับเวลา และการประมวลผลเสียงยาวเกินหน้าต่างเสียง 30 วินาทีตามเอกสาร

Ailoot Ultra · การรู้จำเสียงพูด POST /v1/audio/transcriptions openai/whisper-large-v3

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

Whisper large-v3 เป็นเช็กพอยต์รู้จำเสียงที่ OpenAI เผยแพร่ มีพารามิเตอร์ประมาณ 1.55 พันล้านตัว เป็นโมเดลหลายภาษาแบบตัวเข้ารหัสและตัวถอดรหัส โดยเสียงเข้าสู่ตัวเข้ารหัส แล้วตัวถอดรหัสทำนายข้อความและโทเคนที่เกี่ยวกับงาน งานหลักคือถอดเสียงเป็นข้อความในภาษาต้นฉบับและแปลคำพูดเป็นภาษาอังกฤษ นี่คือตัวตนของโมเดลแบบเปิดค่าน้ำหนัก ซึ่งต้องแยกจากรหัสโมเดลของบริการโฮสต์ รวมถึงกฎการอัปโหลดและรูปแบบคำตอบของบริการนั้น

Large-v3 รักษาสถาปัตยกรรมของเช็กพอยต์ Whisper ขนาดใหญ่รุ่นก่อนหน้า โดยระบุการเปลี่ยนแปลงสองอย่าง ได้แก่ อินพุตสเปกโทรแกรมใช้ช่องความถี่ Mel 128 ช่องแทน 80 ช่อง และเพิ่มโทเคนภาษากวางตุ้ง โมเดลการ์ดของผู้พัฒนาอธิบายการฝึกด้วยเสียงติดป้ายกำกับแบบอ่อนหนึ่งล้านชั่วโมง และเสียงติดป้ายกำกับเทียมสี่ล้านชั่วโมงที่เตรียมด้วย Whisper large-v2 ใช้ข้อมูลผสมนี้ฝึกสองเอพ็อก รุ่นที่เผยแพร่นี้คือเช็กพอยต์ large-v3 โดยเฉพาะ ไม่ใช่ชื่อทั่วไปสำหรับทุกโมเดลในตระกูล Whisper

เวิร์กโฟลว์อนุมานตามเอกสารถอดเสียงเป็นค่าเริ่มต้น โดยคงภาษาที่พูดในเสียงบันทึกไว้ โมเดลตรวจภาษาต้นทางอัตโนมัติได้ หรือรับการระบุภาษาที่ทราบอยู่แล้ว สำหรับการแปล โมเดลหลายภาษาขนาดใหญ่ให้ผลเป็นข้อความภาษาอังกฤษจากคำพูดที่ไม่ใช่ภาษาอังกฤษ ต้องเลือกงานนี้อย่างชัดเจน เพราะข้อความถอดเสียงภาษาเดิมกับคำแปลอังกฤษเป็นผลงานคนละแบบ สำหรับการสัมภาษณ์ ให้รักษาถ้อยคำภาษาต้นฉบับ สำหรับเอกสารอ้างอิงภาษาอังกฤษ ให้ระบุว่าต้องการคำแปลของเนื้อหาที่พูด

การเตรียมเสียงเป็นส่วนหนึ่งของเส้นทางอินพุต ตัวโหลดของ OpenAI ถอดรหัสเสียงบันทึกเป็นรูปคลื่นโมโนและสุ่มตัวอย่างใหม่ที่ 16 kHz ช่วงรับข้อมูลเสียงของโมเดลคือ 30 วินาที ซึ่งเป็นหน้าต่างประมวลผล ไม่ใช่ความยาวสูงสุดของการสัมภาษณ์หรือการบรรยายทั้งเรื่อง การอนุมานเสียงยาวทำได้โดยเลื่อนหน้าต่างไปตามลำดับ หรือแบ่งเสียงยาวเป็นชังก์ที่ซ้อนทับกันแล้วรวมข้อความถอดเสียง โมเดลการ์ดของผู้พัฒนาอธิบายการประมวลผลตามลำดับเมื่อให้ความสำคัญกับความแม่นยำ และการแบ่งชังก์เมื่อเวลาเสร็จของเสียงยาวหนึ่งไฟล์สำคัญกว่า

การตั้งค่าที่เผยแพร่ระบุตำแหน่งตัวถอดรหัส 448 ตำแหน่งสำหรับลำดับการถอดรหัสหนึ่งลำดับ เสียงที่ยาวกว่านั้นจัดการด้วยกระบวนการเสียงยาว ไม่ใช่ถือว่าตัวเลขนี้เป็นขีดจำกัดข้อความถอดเสียงทุกกรณี เวิร์กโฟลว์ตามเอกสารคืนการประทับเวลาระดับเซกเมนต์หรือระดับคำคู่กับข้อความที่รู้จำได้ เอาต์พุตเวลาเหล่านี้ช่วยนำทางในเสียงบันทึกและเตรียมคำบรรยาย ส่วนคอนเทนเนอร์คำบรรยายสุดท้ายหรือรูปแบบไฟล์ข้อความถอดเสียงเป็นตัวเลือกการจัดรูปแบบเอาต์พุตแยกต่างหาก หากจะจัดข้อความให้ตรงกับต้นฉบับ ควรรักษาเวลาของเสียงบันทึกไว้ขณะเตรียมเสียง

บทบาทที่ตั้งใจของ Whisper คือรู้จำและแปลคำพูด ข้อความถอดเสียงการบรรยาย บันทึกสัมภาษณ์ หรือคลังเนื้อหาพูดที่ค้นหาได้เป็นผลลัพธ์ที่ใช้ได้จริง การสรุปหรือการตีความทำเป็นขั้นตอนอื่นบนข้อความต่อได้ โมเดลการ์ดไม่ได้ยืนยันการจำแนกหรือแยกผู้พูดอัตโนมัติอย่างทนทานว่าเป็นเอาต์พุตมาตรฐานของเช็กพอยต์พื้นฐาน หากงานต้องมีป้ายผู้พูด ต้องจัดการข้อกำหนดนั้นแยกจากการอ้างว่าข้อความถอดเสียงแม่นยำ ข้อกำหนดงานที่มีประโยชน์ระบุภาษาต้นทาง ต้องการถอดเสียงหรือแปลอังกฤษ และต้องมีข้อมูลเวลาหรือไม่

ข้อจำกัดสำคัญรวมถึงการสร้างข้อความที่ไม่เคยมีการพูดและข้อความซ้ำ ซึ่งสัมพันธ์กับการฝึกแบบกำกับอย่างอ่อนจากข้อมูลมีเสียงรบกวนและการออกแบบลำดับต่อลำดับ คุณภาพการรู้จำต่างกันตามภาษา สำเนียง และภาษาถิ่น โดยผลจะด้อยกว่าเมื่อมีข้อมูลฝึกน้อย ดังนั้นตัวอย่างที่ใช้ตัดสินความเหมาะสมควรมีเสียงรบกวน ศัพท์เฉพาะ และเสียงพูดซ้อนกันอยู่ด้วย เปรียบเทียบชื่อ ปริมาณ และข้อความสำคัญกับเสียงบันทึก และตรวจช่วงที่ไม่มีคำพูดหรือประโยคซ้ำ แทนการถือว่าข้อความที่อ่านลื่นไหลพิสูจน์ว่าระบบได้ยินทุกคำจริง

ผลลัพธ์ที่ครบถ้วนเก็บข้อความที่รู้จำ ภาษา และข้อมูลเวลาที่ร้องขอ พร้อมการอ้างอิงถึงเสียงบันทึกต้นฉบับ แยกการถอดเสียงจากการแก้ไขภายหลัง ข้อความถอดเสียงที่แก้เพื่อเผยแพร่อาจตัดคำเสริมออก แต่ข้อความที่รู้จำต้องรักษาสิ่งที่โมเดลคืนมาจริง ตัวตนและความสามารถแปลของ large-v3 ต้องแยกจากรุ่น Turbo ที่เร็วกว่าเช่นกัน ความเร็วประมวลผลจริงขึ้นกับภาษา อัตราการพูด ฮาร์ดแวร์ และวิธีอนุมาน ชื่อเช็กพอยต์เพียงอย่างเดียวไม่ได้ยืนยันความหน่วงของบริการโฮสต์ ขนาดอัปโหลดสูงสุด หรือเส้นทางแอปพลิเคชันที่เปิดใช้งานใด ๆ

Ailoot Ultra · การรู้จำเสียงพูด POST /v1/audio/transcriptions openai/whisper-large-v3

openai/whisper-large-v3

OpenAI /openai/whisper-large-v3

เริ่มต้น

อินพุตที่รองรับ: เสียง
ผลลัพธ์: transcription

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · การรู้จำเสียงพูด POST /v1/audio/transcriptions

ขาเข้า: audio
ขาออก: transcription
รูปแบบเอาต์พุต: json

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด openai/whisper-large-v3	ค่าเริ่มต้น—
ฟิลด์`input_audio`	ประเภท`object`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`language`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`temperature`	ประเภท`number`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด ขั้นต่ำ: 0 สูงสุด: 1	ค่าเริ่มต้น—
ฟิลด์`response_format`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด json, verbose_json	ค่าเริ่มต้นjson
ฟิลด์`timestamp_granularities`	ประเภท`array`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`provider`	ประเภท`object`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—

ชุดผสมของสื่ออินพุต

speech_to_text · จำเป็น: actual matching-format audio file

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_types`	ข้อกำหนดapplication/json, multipart/form-data
พารามิเตอร์`required`	ข้อกำหนดmodel, input_audio
พารามิเตอร์`material_types`	ข้อกำหนดaudio
พารามิเตอร์`JSON_audio`	ข้อกำหนดไบต์เสียงดิบจริงในรูป base64 พร้อมรูปแบบที่ตรงกัน
พารามิเตอร์`multipart_required`	ข้อกำหนดmodel, file
พารามิเตอร์`multipart_cap_bytes`	ข้อกำหนด26214400
พารามิเตอร์`optional_controls`	ข้อกำหนดlanguage, temperature, response_format, timestamp_granularities, provider
พารามิเตอร์`default_response_format`	ข้อกำหนดjson
พารามิเตอร์`optional_features`	ข้อกำหนดผลลัพธ์แบบละเอียด diarize/keyterms และ URL/เสียงแบบอินไลน์ที่ใหญ่ขึ้นต้องอาศัยความสามารถและอัตราค่าบริการที่ตรงกับโมเดล/ผู้ให้บริการ

วงจรการทำงาน: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

ใช้โมเดลที่ตรงตามที่กำหนดและฟิลด์ข้อมูลขาเข้าตามเอกสาร

เก็บการตอบกลับทั้งหมด ผลลัพธ์จริงทุกรายการ และ ID เดิมที่ส่งกลับ

ราคา

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราค่าบริการ Ailoot

ราคาตามการตั้งค่า

เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน

การตั้งค่า	ตารางอัตราค่าบริการ	หน่วยคิดค่าบริการ	ค่าบริการ
การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน	ตารางอัตราค่าบริการอัตราพื้นฐาน	หน่วยคิดค่าบริการ—	ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น
การตั้งค่าUltra	ตารางอัตราค่าบริการ—	หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า $0.000015 ต่อวินาทีของเสียงอินพุต

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

รายละเอียดอัตราอ้างอิง

ตารางอัตราอ้างอิงระดับโมเดลไม่เปลี่ยนเมธอดที่เลือก ยอดประมาณการ หรือค่าบริการ การคิดค่าบริการจริงใช้อัตราของเมธอด Ailoot ที่เลือก

OpenAI: Whisper Large V3

ราคาตามการตั้งค่า

การตั้งค่า	เงื่อนไขคิดค่าบริการ	ค่าบริการ
การตั้งค่าOpenAI: Whisper Large V3 · การตั้งค่าเริ่มต้น	เงื่อนไขคิดค่าบริการการตั้งค่าเริ่มต้น	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า US$0.000015 ต่อวินาทีของเสียงอินพุต

ตัวอย่างคำขอ

Ailoot Ultra · การรู้จำเสียงพูด

curl · เนื้อหาคำขอแบบเนทีฟที่ตรงตามต้นฉบับและผลลัพธ์ที่ครบถ้วน

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'openai/whisper-large-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

รับและบันทึกผลลัพธ์

Ailoot Ultra · การรู้จำเสียงพูด

json

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

JSON ต้นฉบับทั้งหมด ข้อความ/ช่วงข้อความ/คำ/ผู้พูด/เวลาที่มีอยู่ทั้งหมด และการใช้งาน

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

เก็บ operation_id/X-Client-Request-ID เดิมและการตอบกลับเดิม อ่านบันทึกงาน/แอสเซ็ตจริงที่เป็นของคุณโดยไม่ส่งซ้ำ ไม่มีการสร้าง URL ตรวจสอบสถานะเสียงเฉพาะ

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`text`	ประเภทstring
ฟิลด์`usage`	ประเภทobject
ฟิลด์`segments[]`	ประเภทobject
ฟิลด์`words[]`	ประเภทobject

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra openai/whisper-large-v3

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

openai/whisper-large-v3

FAQ · OpenAI: Whisper Large V3

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/audio/transcriptions · openai/whisper-large-v3: audio → transcription
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/audio/transcriptions · openai/whisper-large-v3: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
มีข้อจำกัดใดบ้าง?: POST /v1/audio/transcriptions · openai/whisper-large-v3: temperature.minimum: 0; temperature.maximum: 1

OpenAI: Whisper Large V3