Deepgram: Nova-3
Nova-3 เป็นโมเดลแปลงเสียงพูดเป็นข้อความทั่วไปของ Deepgram สำหรับเสียงที่บันทึกและเสียงสตรีม รองรับการรู้จำภาษาเดียว โหมดสลับหลายภาษาที่ระบุไว้ และการชี้นำด้วยคำสำคัญ คืนบทถอดเสียงพร้อมเวลารายคำและข้อมูลความมั่นใจ
เกี่ยวกับโมเดล
คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก
Nova-3 เป็นโมเดลรู้จำเสียงพูดทั่วไปของ Deepgram เพื่อแปลงเสียงเป็นข้อความ ผู้ผลิตแนะนำสำหรับประชุม คำบรรยายงานอีเวนต์ บันทึกหลายผู้พูด และสภาพยากอย่างเสียงรบกวนหรือไมโครโฟนไกล โดยใช้การถอดเสียงที่บันทึกแล้วหรือสตรีม ผลที่มีประโยชน์คือเสียงพูดที่รู้จำพร้อมเวลาและความมั่นใจ ซึ่งยังเชื่อมกับเสียงต้นฉบับ
เลือกเวิร์กโฟลว์ภาษา
ภาษาเริ่มต้นตามเอกสารคืออังกฤษ คำขอภาษาเดียวเลือกภาษาที่พูดหรือโลแคลที่รองรับ ตารางโมเดลทั่วไปปัจจุบันรวมรูปแบบอังกฤษตามภูมิภาค สเปน ฝรั่งเศส เยอรมัน รัสเซีย โปรตุเกส ญี่ปุ่น อิตาลี ดัตช์ อาหรับ รูปแบบอักษรจีน และภาษาอื่นอีกมากรวมคาซัค เลือกจากรหัสที่ผู้ผลิตรองรับ แทนการสมมติว่าชื่อโลแคลใดก็รับได้
การตั้งค่าหลายภาษาเป็นเวิร์กโฟลว์สลับภาษาแยก ตาราง Nova-3 ปัจจุบันระบุสิบภาษา ได้แก่ อังกฤษ สเปน ฝรั่งเศส เยอรมัน ฮินดี รัสเซีย โปรตุเกส ญี่ปุ่น อิตาลี และดัตช์ ชุดนี้ไม่เหมือนรายการภาษาเดียวที่ใหญ่กว่า สำหรับบันทึกที่สลับภาษาที่รองรับ ให้เตรียมโหมดหลายภาษา แทนการบังคับทั้งบทสนทนาเป็นการตั้งค่าภาษาเดียวที่ไม่ตรง เก็บสิ่งที่พูดจริงก่อนเตรียมรุ่นแปลหรือสรุป
เสียงที่บันทึกและการเตรียมบทถอดเสียง
เวิร์กโฟลว์ไฟล์ Deepgram รับไบต์เสียงที่อัปโหลดหรือการอ้างอิงไฟล์เสียง บันทึกบทถอดเสียงที่คืนมาเมื่อคำขอเสร็จ เพราะผู้ผลิตไม่เก็บบทถอดเสียงให้เรียกภายหลัง รูปแบบอินพุตและการเข้ารหัสทั่วไปตามเอกสารรวม MP3, MP4, MP2, AAC, WAV, FLAC, PCM, M4A, Ogg, Opus และ WebM เก็บรูปแบบและข้อมูลแชนเนลจริงกับบันทึก ให้บันทึกมีตัวระบุคงที่และเชื่อมผลกับแหล่งที่มาและข้อมูลแชนเนลที่ถูก สำหรับประชุม ตรวจชื่อผู้เข้าร่วมและศัพท์เทคนิคขณะฟังเสียงต้นฉบับ สำหรับบรรยายหรืออีเวนต์ เก็บลำดับเสียงเพื่อให้คำบรรยายหรือผลค้นหาภายหลังระบุตำแหน่งที่เกี่ยวข้องได้
คู่มือเสียงที่บันทึกของผู้ผลิตระบุขนาดไฟล์สูงสุด 2 GB และแนะนำให้ดึงสตรีมเสียงออกจากไฟล์วิดีโอใหญ่ ยังระบุ timeout การประมวลผลสิบนาทีสำหรับคำขอ Nova ขีดเวลานั้นหมายถึงเวลาที่คำขอประมวลผล ไม่ใช่ความยาวบันทึกสูงสุดสิบนาที ผลที่มีประโยชน์รวมส่วนท้ายของบันทึกที่ตั้งใจ บทถอดเสียงที่เก็บเพียงบางส่วนไม่ควรถือเป็นข้อความครบ
อ่านคำ เวลา และความมั่นใจ
คำตอบ JSON ตามเอกสารมีตัวเลือกบทถอดเสียงและคำที่รู้จำ โดยแต่ละคำมีเวลาเริ่มและจบเป็นวินาทีจากต้นเสียงกับค่าความมั่นใจ สำหรับบทถอดเสียงหลายผู้พูด การแยกผู้พูดที่เลือกเปิดได้ให้ป้ายผู้พูดแก่แต่ละคำ การแยกผู้พูดจากเสียงที่บันทึกยังคืนความมั่นใจผู้พูด ส่วนการแยกจากสตรีมคืนป้ายผู้พูด ตรวจป้ายเหล่านั้นกับเสียงในบันทึก ความมั่นใจบทถอดเสียงรวมยังรายงานบนมาตรา 0–1 เมื่อขอ smart formatting ผลอาจมีวรรคตอนและตัวพิมพ์ใหญ่เล็กในคำที่จัดวรรคตอน พร้อมข้อมูลย่อหน้าที่อ่านรู้เรื่อง
ใช้ฟิลด์ตามความหมาย เวลาคำระบุตำแหน่งเสียงพูดที่รู้จำ ส่วนความมั่นใจเป็นการบอกความน่าเชื่อถือของโมเดล ไม่ใช่หลักฐานว่าได้ยินชื่อยากหรือปริมาณถูก สำหรับเตรียมคำบรรยาย เก็บเวลากับถ้อยคำที่ตรวจแล้วและตรวจขอบเทียบเสียง สำหรับรุ่นบรรณาธิการที่อ่านง่าย ให้แยกการเปลี่ยนจากบทถอดเสียงที่รู้จำ แทนการแทนคำไม่แน่นอนด้วยเรื่องราวที่ดูสมเหตุผลโดยไม่แจ้ง
การรู้จำสตรีมและเซกเมนต์สุดท้าย
เวิร์กโฟลว์สตรีมของ Nova คืนข้อความเมื่อเสียงเข้ามา ทั้งผลระหว่างทางและผลสุดท้าย ตัวบ่งชี้ is_final แยกข้อความที่ยังอาจแก้จากเซกเมนต์ที่ยืนยันแล้ว ตัวบ่งชี้ speech_final เกี่ยวกับการตรวจปลายช่วงเสียงพูด แยกสัญญาณเหล่านี้จากเพียงการได้รับบทถอดเสียงไม่ว่าง และเก็บเซกเมนต์สุดท้ายตามลำดับเสียงเมื่อเตรียมระเบียนครบ
Nova-3 เป็น ASR ทั่วไป ไม่ใช่โมเดลสนทนา Flux แยกที่ตรวจผลัดพูดในตัวโมเดล Nova ระบุความเป็นข้อความสุดท้ายและปลายเสียงพูด ส่วน Flux มีเหตุการณ์สถานะผลัดสนทนาของตน เลือกเวิร์กโฟลว์ถอดตามเสียงที่บันทึกแล้วหรือกำลังเข้ามาสด โดยใช้เอาต์พุตสุดท้ายจริงเป็นสิ่งส่งมอบที่เก็บ
Keyterms สำหรับคำศัพท์ที่สำคัญ
Keyterm Prompting ของ Nova-3 ตามเอกสารรองรับการถอดเสียงภาษาเดียวและหลายภาษา และปรับการรู้จำไปยังคำสำคัญโดยไม่ฝึกโมเดลใหม่ ให้ชื่อ ศัพท์ผลิตภัณฑ์ ตัวย่อ หรือวลีหลายคำที่เกี่ยวข้องและอาจถูกพูดจริง คู่มือจำกัดอินพุต keyterm รวมไว้ที่ 500 โทเคน และแนะนำให้เน้นคำศัพท์สำคัญที่สุด แทนการเพิ่มคำทั่วไปอย่างไม่เลือก
ไวยากรณ์ผู้ผลิตใช้คำธรรมดา โดยมีรายการ keyterm แยกสำหรับแต่ละคำ วลีหลายคำคงเป็นวลีเดียว น้ำหนักหรือการเพิ่มความเข้ม keyword แบบเก่า และการเชื่อมคำแยกด้วยจุลภาค อัฒภาค หรือขึ้นบรรทัดใหม่ไม่เทียบเท่ากัน อินเทอร์เฟซอาจรับเป็นค่าตามตัวอักษรเดียวโดยไม่ให้แรงส่งตามที่ตั้งใจ ใช้ตัวพิมพ์ใหญ่เล็กของชื่อให้ถูก แล้วตรวจบทถอดเสียง เพราะบริบทเสียงและ smart formatting ยังเปลี่ยนรูปเขียนสุดท้ายได้
ขอบเขตตระกูลโมเดลและผลที่มีประโยชน์
โปรไฟล์ Nova-3 ทั่วไปแยกจากตัวเลือกชื่อ Medical และ Pharma การชี้นำคำศัพท์ไม่ได้เปลี่ยนเป็นรุ่นอื่น และไม่ควรสมมติว่าขอบเขตภาษาหรือพฤติกรรมของโมเดลเฉพาะใช้กับโมเดลทั่วไป ฟีเจอร์ประมวลผลบทถอดเสียงเพิ่มเติมเป็นตัวเลือกในเวิร์กโฟลว์เสียงผู้ผลิต ไม่ใช่หลักฐานว่าการรู้จำสร้างสรุป คำแปล หรือสิ่งส่งมอบอื่นที่ไม่เคยขอ
สิ่งส่งมอบ Nova-3 ที่มีประโยชน์อาจเป็นบทถอดประชุมที่ค้นได้ ถ้อยคำพร้อมทำคำบรรยายที่มีเวลารายคำ หรือบันทึกบทสนทนาหลายภาษา เก็บตัวระบุเสียง เวิร์กโฟลว์ภาษาที่เลือก ข้อความสุดท้าย และฟิลด์ความมั่นใจหรือเวลาที่มีประโยชน์ ตรวจชื่อ ตัวเลข เสียงซ้อน และการเปลี่ยนภาษาที่ไม่ชัดกับบันทึกต้นฉบับ และให้เสียงพูดที่รู้จำจริงยังใช้ได้สำหรับขั้นตอนประมวลผลเนื้อหาถัดไป
Ailoot Ultra · การรู้จำเสียงพูด POST /v1/audio/transcriptions deepgram/nova-3
deepgram/nova-3เริ่มต้น
Nova-3 เป็นโมเดลแปลงเสียงพูดเป็นข้อความทั่วไปของ Deepgram สำหรับเสียงที่บันทึกและเสียงสตรีม รองรับการรู้จำภาษาเดียว โหมดสลับหลายภาษาที่ระบุไว้ และการชี้นำด้วยคำสำคัญ คืนบทถอดเสียงพร้อมเวลารายคำและข้อมูลความมั่นใจ
- อินพุตที่รองรับ
- เสียง
- ผลลัพธ์
- transcription
ใช้งานได้ใน Ailoot · อินพุตและเมธอด
Ailoot Ultra · การรู้จำเสียงพูด POST /v1/audio/transcriptions
- ขาเข้า
audio- ขาออก
transcription- รูปแบบเอาต์พุต
- json
| ฟิลด์ | ประเภท | ข้อกำหนด | ค่าและข้อจำกัด | ค่าเริ่มต้น |
|---|---|---|---|---|
ฟิลด์model | ประเภทstring | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด deepgram/nova-3 | ค่าเริ่มต้น— |
ฟิลด์input_audio | ประเภทobject | ข้อกำหนดจำเป็น | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์language | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์temperature | ประเภทnumber | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด ขั้นต่ำ: 0 สูงสุด: 1 | ค่าเริ่มต้น— |
ฟิลด์response_format | ประเภทstring | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด json, verbose_json | ค่าเริ่มต้นjson |
ฟิลด์timestamp_granularities | ประเภทarray | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ฟิลด์provider | ประเภทobject | ข้อกำหนดไม่บังคับ | ค่าและข้อจำกัด | ค่าเริ่มต้น— |
ชุดผสมของสื่ออินพุต
speech_to_text · จำเป็น: actual matching-format audio file
พารามิเตอร์และวงจรการทำงานของเมธอด
| พารามิเตอร์ | ข้อกำหนด |
|---|---|
พารามิเตอร์content_types | ข้อกำหนดapplication/json, multipart/form-data |
พารามิเตอร์required | ข้อกำหนดmodel, input_audio |
พารามิเตอร์material_types | ข้อกำหนดaudio |
พารามิเตอร์JSON_audio | ข้อกำหนดไบต์เสียงดิบจริงในรูป base64 พร้อมรูปแบบที่ตรงกัน |
พารามิเตอร์multipart_required | ข้อกำหนดmodel, file |
พารามิเตอร์multipart_cap_bytes | ข้อกำหนด26214400 |
พารามิเตอร์optional_controls | ข้อกำหนดlanguage, temperature, response_format, timestamp_granularities, provider |
พารามิเตอร์default_response_format | ข้อกำหนดjson |
พารามิเตอร์optional_features | ข้อกำหนดผลลัพธ์แบบละเอียด diarize/keyterms และ URL/เสียงแบบอินไลน์ที่ใหญ่ขึ้นต้องอาศัยความสามารถและอัตราค่าบริการที่ตรงกับโมเดล/ผู้ให้บริการ |
วงจรการทำงาน: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
ใช้โมเดลที่ตรงตามที่กำหนดและฟิลด์ข้อมูลขาเข้าตามเอกสาร
เก็บการตอบกลับทั้งหมด ผลลัพธ์จริงทุกรายการ และ ID เดิมที่ส่งกลับ
ราคา
ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก
- โหมดรวดเร็ว
- ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
- โหมดยืดหยุ่น
- ไม่ได้ระบุ เมื่อเลือกโหมด flex
- ระดับการใช้เหตุผลสูงสุด
- ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด
อัตราค่าบริการ Ailoot
ราคาตามการตั้งค่า
เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน
| การตั้งค่า | ตารางอัตราค่าบริการ | หน่วยคิดค่าบริการ | ค่าบริการ |
|---|---|---|---|
| การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน | ตารางอัตราค่าบริการอัตราพื้นฐาน | หน่วยคิดค่าบริการ— | ค่าบริการ ขาเข้า · โทเค็นอินพุต — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต — / 1K โทเค็น ขาเข้า · การอ่านแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง — / 1K โทเค็น |
| การตั้งค่าUltra | ตารางอัตราค่าบริการ— | หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต | ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า $0.0001433333333334 ต่อวินาทีของเสียงอินพุต |
Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →
รายละเอียดอัตราอ้างอิง
ตารางอัตราอ้างอิงระดับโมเดลไม่เปลี่ยนเมธอดที่เลือก ยอดประมาณการ หรือค่าบริการ การคิดค่าบริการจริงใช้อัตราของเมธอด Ailoot ที่เลือก
Deepgram: Nova-3
ราคาตามการตั้งค่า
| การตั้งค่า | เงื่อนไขคิดค่าบริการ | ค่าบริการ |
|---|---|---|
| การตั้งค่าDeepgram: Nova-3 · การตั้งค่าเริ่มต้น | เงื่อนไขคิดค่าบริการการตั้งค่าเริ่มต้น | ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า ≈US$0.000143 ต่อวินาทีของเสียงอินพุต |
ตัวอย่างคำขอ
Ailoot Ultra · การรู้จำเสียงพูด
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'deepgram/nova-3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
รับและบันทึกผลลัพธ์
Ailoot Ultra · การรู้จำเสียงพูด
json
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด
เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน
JSON ต้นฉบับทั้งหมด ข้อความ/ช่วงข้อความ/คำ/ผู้พูด/เวลาที่มีอยู่ทั้งหมด และการใช้งาน
เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ
เก็บ operation_id/X-Client-Request-ID เดิมและการตอบกลับเดิม อ่านบันทึกงาน/แอสเซ็ตจริงที่เป็นของคุณโดยไม่ส่งซ้ำ ไม่มีการสร้าง URL ตรวจสอบสถานะเสียงเฉพาะ
ฟิลด์การตอบกลับ
| ฟิลด์ | ประเภท |
|---|---|
ฟิลด์text | ประเภทstring |
ฟิลด์usage | ประเภทobject |
ฟิลด์segments[] | ประเภทobject |
ฟิลด์words[] | ประเภทobject |
ชื่ออื่น
ชื่ออื่นของโมเดล
Ailoot Ultra deepgram/nova-3
ชื่อพาธเมธอดอื่น
ใช้พาธเมธอดที่แสดงด้านบน
ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล
FAQ · Deepgram: Nova-3
- มีอินพุตและผลลัพธ์ใดบ้าง?
POST /v1/audio/transcriptions·deepgram/nova-3:audio→transcription- คำขอใช้ฟิลด์ใดบ้าง?
POST /v1/audio/transcriptions·deepgram/nova-3:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- มีข้อจำกัดใดบ้าง?
POST /v1/audio/transcriptions·deepgram/nova-3:temperature.minimum:0;temperature.maximum:1