NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 ของ NVIDIA เป็นโมเดลแปลงเสียงพูดเป็นข้อความขนาด 600M สำหรับ 25 ภาษาในยุโรป พร้อมการตรวจจับภาษาอัตโนมัติ โมเดลสร้างบทถอดเสียงที่มีเครื่องหมายวรรคตอน และรองรับเวลาระดับคำและส่วนของข้อความ โดยโหมดเสียงยาวขึ้นอยู่กับการกำหนดค่า attention ของผู้ผลิต

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

Parakeet TDT 0.6B v3 เป็นโมเดลรู้จำเสียงพูดหลายภาษาของ NVIDIA ที่มีพารามิเตอร์ 600 ล้านตัว โมเดลขยายจาก v2 ที่รองรับเฉพาะภาษาอังกฤษให้ครอบคลุม 25 ภาษาในยุโรป และตรวจจับภาษาของเสียงโดยอัตโนมัติโดยไม่ต้องใช้พรอมป์ต์ระบุภาษาแยกต่างหาก ผลลัพธ์คือบทถอดเสียงพูดที่มีเครื่องหมายวรรคตอนและการใช้อักษรตัวพิมพ์ใหญ่

ภาษาที่รองรับ ได้แก่ บัลแกเรีย โครเอเชีย เช็ก เดนมาร์ก ดัตช์ อังกฤษ เอสโตเนีย ฟินแลนด์ ฝรั่งเศส เยอรมัน กรีก ฮังการี อิตาลี ลัตเวีย ลิทัวเนีย มอลตา โปแลนด์ โปรตุเกส โรมาเนีย สโลวัก สโลวีเนีย สเปน สวีเดน รัสเซีย และยูเครน รายการนี้เป็นของรุ่น v3 ส่วน Parakeet ที่ใช้ตัวถอดรหัสประเภทอื่นหรือรุ่นภาษาอื่นเป็นคนละโมเดล

สถาปัตยกรรมรวมตัวเข้ารหัส FastConformer เข้ากับตัวถอดรหัส transducer ที่ทำนายทั้งโทเคนและระยะเวลา ตัวเข้ารหัสเปลี่ยนสัญญาณเสียงเป็นตัวแทนข้อมูล ส่วนตัวถอดรหัสทำนายโทเคนข้อความพร้อมระยะเวลาที่ต้องใช้เพื่อเลื่อนไปตามเฟรมเสียง พฤติกรรม TDT นี้ทำให้แตกต่างจากตัวถอดรหัส CTC และ RNN-T แบบทั่วไปในตระกูลเดียวกัน

เตรียมเสียงช่องเดียวที่สุ่มตัวอย่างด้วยอัตรา 16 kHz รูปแบบข้อมูลนำเข้าโดยตรงของผู้สร้างคือ WAV และ FLAC และตัวอย่างการใช้งานใช้ตัวประมวลผลเพื่อเตรียมคลื่นเสียงสำหรับการรู้จำ เก็บตัวระบุไฟล์บันทึกและเสียงต้นฉบับควบคู่กับข้อความที่ได้รับ เพื่อให้ตรวจสอบบทถอดเสียงหรือจัดให้ตรงกับต้นฉบับได้

การสร้างข้อมูลเวลาช่วยเพิ่มตำแหน่งเวลาให้กับเสียงพูดที่รู้จำได้ ตัวอย่าง NeMo ของ NVIDIA คืนเวลาระดับอักขระ คำ และส่วนของข้อความเมื่อเปิดการสร้างข้อมูลเวลา แอปพลิเคชันคำบรรยายหรือคลังบันทึกสามารถใช้ขอบเขตของส่วนเพื่อเชื่อมข้อความกับไฟล์บันทึก หรือใช้เวลาระดับคำเพื่อค้นหาวลีที่ต้องการ บทถอดเสียงกับฟิลด์ข้อมูลเวลาเป็นองค์ประกอบคนละส่วนของผลลัพธ์และควรเก็บให้เชื่อมโยงกัน

สำหรับไฟล์บันทึกที่ยาว การกำหนดค่า attention มีผล ผู้สร้างอธิบายว่ารองรับนานถึง 24 นาทีด้วย full attention บน A100 ที่มีหน่วยความจำ 80 GB และนานถึงสามชั่วโมงด้วย local attention ตัวอย่างงานเสียงยาวเปลี่ยนตัวเข้ารหัสให้ใช้ local attention โดยจำกัดบริบทด้านซ้ายและขวา ระยะเวลาเหล่านี้อธิบายการกำหนดค่าเฉพาะของผู้ผลิต ไม่ใช่ขีดจำกัดเดียวที่ใช้โดยไม่มีเงื่อนไขกับทุกการติดตั้ง

ผู้ผลิตยังเผยแพร่เวิร์กโฟลว์อนุมานแบบแบ่งช่วงสำหรับการใช้งานสตรีมมิง ตัวอย่างกำหนดความยาวของช่วงและบริบทเสียงด้านซ้ายและขวารอบแต่ละช่วง นี่เป็นวิธีประมวลผลที่ต่างจากโมเดลสตรีมมิง Nemotron ซึ่งรองรับแคชภายในโมเดลโดยตรง แอปพลิเคชันควรเก็บวิธีที่เลือกใช้และจุดอ้างอิงเวลาดั้งเดิมไว้เมื่อรวบรวมบทถอดเสียงของไฟล์บันทึกจากหลายส่วน

ชุดข้อมูลฝึกประกอบด้วยเสียงที่มนุษย์ถอดข้อความไว้ 10,000 ชั่วโมง และข้อมูล Granary ที่ติดป้ายกำกับอัตโนมัติ 660,000 ชั่วโมง โดยรักษาเครื่องหมายวรรคตอนและตัวพิมพ์ใหญ่ไว้ ผู้ผลิตยังรองรับการปรับแต่งเช็กพอยต์ที่เผยแพร่นี้ด้วยชุดข้อมูลเสียงอื่นผ่านเวิร์กโฟลว์โมเดลตามเอกสาร โดยเช็กพอยต์ที่ปรับแต่งยังแยกจากโมเดลฐาน v3 ผลลัพธ์ข้อความของโมเดลจึงเหมาะเป็นขั้นตอนแปลงเสียงพูดเป็นข้อความของเวิร์กโฟลว์ที่ใหญ่ขึ้น คลังการประชุมสามารถแนบบทถอดเสียงกับไฟล์บันทึก แอปพลิเคชันค้นหาสามารถทำดัชนีข้อความที่รู้จำได้ และเครื่องมือสร้างคำบรรยายสามารถใช้เมทาดาทาเวลาที่คืนมา

คุณภาพการรู้จำแตกต่างตามภาษา สำเนียง เสียงรบกวน และประเภทของการพูด ผู้ผลิตระบุโดยเฉพาะว่าคำศัพท์ที่ไม่ปรากฏในการฝึกอาจถูกพลาด และคำเดี่ยวหรือประโยคที่ไม่สมบูรณ์ให้บริบทน้อยกว่า เก็บเสียงต้นฉบับไว้เพื่อตรวจทานชื่อและศัพท์เฉพาะ แทนการเปลี่ยนผลการรู้จำที่ไม่แน่นอนให้กลายเป็นข้อเท็จจริงที่ยืนยันแล้ว

ชิ้นงานที่มีประโยชน์คือบทถอดเสียงพร้อมข้อมูลเวลาที่ขอ สรุป การแปล การวิเคราะห์ผู้พูด และการดำเนินการเป็นงานแยกของแอปพลิเคชัน ไม่ใช่คุณสมบัติที่อนุมานได้จากชื่อโมเดลแปลงเสียงพูดเป็นข้อความ รักษาอัตลักษณ์รุ่น v3 และโหมด attention ของผู้ผลิตให้แยกจากเช็กพอยต์อื่น รวมทั้งชิ้นงานที่ผ่านการแปลงหรือควอนไทซ์

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions nvidia/parakeet-tdt-0.6b-v3

nvidia/parakeet-tdt-0.6b-v3

NVIDIA /nvidia/parakeet-tdt-0.6b-v3

เริ่มต้น

อินพุตที่รองรับ: เสียง
ผลลัพธ์: ข้อความ

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions

ขาเข้า: audio
ขาออก: text

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด nvidia/parakeet-tdt-0.6b-v3	ค่าเริ่มต้น—
ฟิลด์`input_audio`	ประเภท`object`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`language`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`temperature`	ประเภท`number`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด ขั้นต่ำ: 0 สูงสุด: 1	ค่าเริ่มต้น—
ฟิลด์`response_format`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด json, verbose_json	ค่าเริ่มต้นjson
ฟิลด์`timestamp_granularities`	ประเภท`array`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`provider`	ประเภท`object`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_type`	ข้อกำหนดapplication/json
พารามิเตอร์`required`	ข้อกำหนดmodel, input_audio
พารามิเตอร์`material_types`	ข้อกำหนดaudio
พารามิเตอร์`material_conditions`	ข้อกำหนดอ่านไฟล์ WAV จริงและเข้ารหัสไบต์จริงสำหรับ input_audio แบบ JSON ที่ประกาศไว้ ข้อกำหนดที่รองรับเฉพาะ JSON นี้ไม่ได้ระบุเส้นทาง multipart

วงจรการทำงาน: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

ราคา

วิธีคำนวณค่าบริการสุดท้าย

อัตราที่แสดงใช้ประมาณการค่าใช้จ่ายก่อนการสร้างผลลัพธ์ ยอดเรียกเก็บสุดท้ายคำนวณจากค่าใช้จ่ายที่บันทึกไว้สำหรับการสร้างผลลัพธ์ครั้งเดิม ระยะเวลาของผลลัพธ์ที่วัดได้และปริมาณที่คาดการณ์ไว้ไม่ใช่ปริมาณสุดท้ายที่ใช้คิดค่าบริการ

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราประมาณการเพื่อเปรียบเทียบ

ราคาตามการตั้งค่า

เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน

การตั้งค่า	ตารางอัตราค่าบริการ	ปริมาณคาดการณ์	หน่วยคิดค่าบริการ	ค่าบริการ
การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน	ตารางอัตราค่าบริการอัตราพื้นฐาน	ปริมาณคาดการณ์—	หน่วยคิดค่าบริการ—	ค่าบริการ ขาเข้า · โทเค็นอินพุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การอ่านแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น
การตั้งค่าวินาทีเสียงขาเข้า	ตารางอัตราค่าบริการ—	ปริมาณคาดการณ์—	หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.00005 ต่อวินาทีของเสียงอินพุต
การตั้งค่าต้นทุนการสร้างโดยประมาณ	ตารางอัตราค่าบริการ—	ปริมาณคาดการณ์ค่าประมาณสำหรับการสร้างหนึ่งครั้ง	หน่วยคิดค่าบริการ—	ค่าบริการ ขาออก · ค่าใช้จ่ายในการสร้างโดยประมาณ · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.00005 ประมาณการก่อนสร้าง ค่าประมาณนี้ไม่ใช่ค่าใช้จ่ายเพิ่มเติมหรืออัตราคงที่สำหรับการสร้างผลลัพธ์ที่เสร็จสมบูรณ์แล้ว

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

ตัวอย่างคำขอ

Ailoot Ultra · การถอดเสียง

curl · เนื้อหาคำขอแบบเนทีฟที่ตรงตามต้นฉบับและผลลัพธ์ที่ครบถ้วน

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/parakeet-tdt-0.6b-v3', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

รับและบันทึกผลลัพธ์

Ailoot Ultra · การถอดเสียง

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

การอ่านเนื้อหาแบบอื่น

อ่านไฟล์สื่อที่มีอยู่และเป็นของคุณ

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

เก็บ X-Client-Request-ID ที่ส่งกลับมาไว้เพื่อกระทบยอด อ่านเฉพาะค่า task_id/asset_id ที่ส่งกลับมาจริง หรืออ่านจากคลังสื่อที่เป็นของตนเอง ห้ามสร้าง URL ของงานจาก ID การดำเนินการ และห้ามส่งคำขอสร้างซ้ำเด็ดขาด

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`text`	ประเภท
ฟิลด์`usage`	ประเภท
ฟิลด์`segments[]`	ประเภท
ฟิลด์`words[]`	ประเภท
ฟิลด์`speaker fields`	ประเภท
ฟิลด์`timestamps`	ประเภท

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra nvidia/parakeet-tdt-0.6b-v3

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

nvidia/parakeet-tdt-0.6b-v3

FAQ · NVIDIA: Parakeet TDT 0.6B v3

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: audio → text
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
มีข้อจำกัดใดบ้าง?: POST /v1/audio/transcriptions · nvidia/parakeet-tdt-0.6b-v3: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Parakeet TDT 0.6B v3