NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B ของ NVIDIA ถอดเสียงพูดเป็นข้อความที่มีเครื่องหมายวรรคตอนด้วยตัวเข้ารหัสสตรีมมิงที่รองรับแคช รองรับการกำหนดภาษาอย่างชัดเจนหรือการตรวจจับอัตโนมัติ โดยมี 32 โลแคลที่พร้อมถอดเสียง และอีกแปดโลแคลที่ต้องปรับแต่งเพิ่มเติม

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

เกี่ยวกับโมเดล

คำอธิบายนี้ครอบคลุมความสามารถของโมเดล อินพุต เอาต์พุต และตัวเลือกที่ใช้ได้ใน Ailoot แสดงด้านล่างตามเมธอดที่เลือก

Nemotron 3.5 ASR Streaming Multilingual 0.6B เป็นโมเดลรู้จำเสียงพูดของ NVIDIA ที่มีพารามิเตอร์ 600 ล้านตัว สำหรับการถอดเสียงสดและงานเสียงที่บันทึกไว้ โมเดลขยายสายรุ่นสตรีมมิงภาษาอังกฤษด้วยการใช้ตัวระบุภาษาเป็นเงื่อนไข เสียงพูดกลายเป็นข้อความในภาษาของข้อมูลนำเข้า โดยมีเครื่องหมายวรรคตอนและการใช้อักษรตัวพิมพ์ใหญ่อยู่ในผลลัพธ์

การครอบคลุมภาษาของผู้สร้างแบ่งเป็นสามระดับ โลแคลที่พร้อมถอดเสียงสิบเก้ารายการครอบคลุมภาษาอังกฤษแบบสหรัฐฯ และสหราชอาณาจักร สเปนแบบสหรัฐฯ และสเปน ฝรั่งเศสแบบฝรั่งเศสและแคนาดา อิตาลี โปรตุเกสแบบบราซิลและโปรตุเกส ดัตช์ เยอรมัน ตุรกี รัสเซีย อาหรับ ฮินดี ญี่ปุ่น เกาหลี เวียดนาม และยูเครน โลแคลที่ครอบคลุมในระดับกว้างอีกสิบสามรายการเพิ่มภาษาโปแลนด์ สวีเดน เช็ก นอร์เวย์บ็อกมอล เดนมาร์ก บัลแกเรีย ฟินแลนด์ โครเอเชีย สโลวัก จีนกลาง ฮังการี โรมาเนีย และเอสโตเนีย รวมแล้วทั้ง 32 โลแคลนี้ถอดเสียงได้โดยไม่ต้องปรับแต่งเพิ่มเติม

โลแคลที่พร้อมให้ปรับแต่งแปดรายการ ได้แก่ กรีก ลิทัวเนีย ลัตเวีย มอลตา สโลวีเนีย ฮีบรู ไทย และนอร์เวย์นีนอสก์ เป็นภาษาที่ตัวแบ่งโทเคนรู้จัก แต่ต้องปรับแต่งด้วยข้อมูลในโดเมนเพื่อเปิดความสามารถถอดเสียงเต็มรูปแบบ ดังนั้นตัวเลข 40 โลแคลของผู้ผลิตจึงไม่ได้หมายความว่าทั้งสี่สิบรายการมีความสามารถพร้อมใช้งานเท่ากัน เช็กพอยต์ที่ปรับแต่งเป็นชิ้นงานคนละรายการกับโมเดลฐาน

สถาปัตยกรรมรวมตัวเข้ารหัส FastConformer ที่รองรับแคชจำนวน 24 ชั้นเข้ากับตัวถอดรหัส RNN-T โมเดลเก็บสถานะ attention และ convolution ของตัวเข้ารหัสจากเฟรมก่อนหน้า และประมวลผลช่วงเสียงใหม่แต่ละช่วงโดยไม่คำนวณหน้าต่างที่ทับซ้อนกันซ้ำอยู่เรื่อย ๆ สัญญาณตัวระบุภาษาถูกส่งควบคู่กับตัวแทนข้อมูลเสียงเพื่อกำหนดภาษาของบทถอดเสียง หรือให้โมเดลอนุมานภาษาเอง

การกำหนดค่า NeMo ของ NVIDIA ระบุขนาดช่วงไว้ที่ 80, 160, 320, 560 และ 1120 มิลลิวินาที การตั้งค่า attention ควบคุมว่าช่วงหนึ่งจะได้รับเสียงที่ตามมามากเท่าใดก่อนส่งข้อความออกมา ช่วยให้งานปรับสมดุลระหว่างเวลารอกับบริบทเสียงได้ ค่าเหล่านี้เป็นการกำหนดค่าสตรีมมิงของผู้ผลิต ไม่ใช่เวลาตอบสนองตั้งแต่ต้นจนจบที่รับประกัน และการนำไปใช้อาจเปิดให้เลือกเพียงบางค่าที่รองรับ

เตรียมเสียง WAV แบบโมโนที่อัตราสุ่มตัวอย่าง 16 kHz ของตัวประมวลผลผู้ผลิต เมื่อทราบภาษา ให้ใช้เงื่อนไขโลแคลที่ตรงกัน ส่วนโหมดอัตโนมัติจะตรวจจับภาษาที่พูด ตัวอย่างไปป์ไลน์พื้นฐานใช้พรอมป์ต์ภาษาอังกฤษแบบสหรัฐฯ เป็นค่าเริ่มต้น จึงควรกำหนดพฤติกรรมหลายภาษาอย่างตั้งใจ แทนการสมมติจากตัวอย่างนั้น

ในโหมดอัตโนมัติ เวิร์กโฟลว์ของผู้ผลิตสามารถเติมแท็กภาษาหลังเครื่องหมายวรรคตอนท้ายบทถอดเสียง การเก็บแท็กไว้ทำให้แอปพลิเคชันที่จัดการคำขอหลายภาษาใช้ข้อมูลภาษาได้ ส่วนการตัดแท็กออกจะให้ข้อความถอดเสียงล้วน รักษาความแตกต่างระหว่างถ้อยคำที่รู้จำได้ เครื่องหมายวรรคตอน และเมทาดาทาภาษานี้เมื่อแสดงหรือประมวลผลผลลัพธ์

แอปพลิเคชันคำบรรยายสามารถป้อนเสียงตามลำดับ รวบรวมบทถอดเสียง และใช้ข้อความที่สมบูรณ์สำหรับแสดงผลหรือประมวลผลขั้นถัดไป แอปพลิเคชันเสียงสามารถส่งข้อความที่รู้จำได้ต่อไปยังขั้นตอนทำความเข้าใจภาษา งานวิเคราะห์การโทรสามารถเก็บไฟล์บันทึกต้นฉบับคู่กับบทถอดเสียง เพื่อให้ยังตรวจสอบชื่อ ตัวเลข และศัพท์ที่ไม่คุ้นเคยได้ โมเดล ASR ให้บทถอดเสียง ส่วนการสรุป การดำเนินการ และการสร้างเสียงพูดเป็นขั้นตอนแยกของแอปพลิเคชัน

NVIDIA ฝึกโมเดลด้วยข้อมูลเสียงสาธารณะและข้อมูลที่เป็นกรรมสิทธิ์ผสมกัน พร้อมป้ายกำกับจากมนุษย์และป้ายกำกับสังเคราะห์ที่ปรับรูปแบบให้เป็นข้อความซึ่งมีเครื่องหมายวรรคตอนและตัวพิมพ์ใหญ่อย่างเหมาะสม คู่มือการปรับแต่งเน้นการจับคู่ป้ายกำกับภาษาและรูปแบบข้อความ แล้วประเมินเสียงที่กันไว้สำหรับทดสอบด้วยการตั้งค่าสตรีมมิงที่ตั้งใจใช้ คู่มืออธิบายการปรับภาษา สำเนียง และโดเมน โดยไม่ได้ทำให้ผลที่ปรับแต่งเหล่านั้นกลายเป็นคุณสมบัติของเช็กพอยต์ดั้งเดิม

การ์ดโมเดลผูกความยาวของไฟล์บันทึกที่ใช้ได้จริงเข้ากับหน่วยความจำที่มี แทนการเผยแพร่เพดานระยะเวลาเดียวสำหรับทุกกรณี แยกรุ่นหลายภาษาออกจากโมเดลที่รองรับเฉพาะภาษาอังกฤษ และเก็บภาษาและการกำหนดค่าสตรีมมิงที่เลือกไว้กับผลการถอดเสียง ชิ้นงานผลลัพธ์คือข้อความที่รู้จำได้พร้อมเมทาดาทาภาษาของผู้ผลิตหากเลือกใช้ ไม่ใช่คำตอบสนทนาทั่วไป

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

NVIDIA /nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

เริ่มต้น

อินพุตที่รองรับ: เสียง
ผลลัพธ์: ข้อความ

ใช้งานได้ใน Ailoot · อินพุตและเมธอด

Ailoot Ultra · การถอดเสียง POST /v1/audio/transcriptions

ขาเข้า: audio
ขาออก: text

ฟิลด์	ประเภท	ข้อกำหนด	ค่าและข้อจำกัด	ค่าเริ่มต้น
ฟิลด์`model`	ประเภท`string`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b	ค่าเริ่มต้น—
ฟิลด์`input_audio`	ประเภท`object`	ข้อกำหนดจำเป็น	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`language`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`temperature`	ประเภท`number`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด ขั้นต่ำ: 0 สูงสุด: 1	ค่าเริ่มต้น—
ฟิลด์`response_format`	ประเภท`string`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด json, verbose_json	ค่าเริ่มต้นjson
ฟิลด์`timestamp_granularities`	ประเภท`array`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—
ฟิลด์`provider`	ประเภท`object`	ข้อกำหนดไม่บังคับ	ค่าและข้อจำกัด	ค่าเริ่มต้น—

พารามิเตอร์และวงจรการทำงานของเมธอด

พารามิเตอร์	ข้อกำหนด
พารามิเตอร์`content_type`	ข้อกำหนดapplication/json
พารามิเตอร์`required`	ข้อกำหนดmodel, input_audio
พารามิเตอร์`material_types`	ข้อกำหนดaudio
พารามิเตอร์`material_conditions`	ข้อกำหนดอ่านไฟล์ WAV จริงและเข้ารหัสไบต์จริงสำหรับ input_audio แบบ JSON ที่ประกาศไว้ ข้อกำหนดที่รองรับเฉพาะ JSON นี้ไม่ได้ระบุเส้นทาง multipart

วงจรการทำงาน: synchronous_result_then_owned_library

GET /v1/media/tasks/{task_id} · ค่า task_id ที่ส่งกลับมาจริง หรือระเบียนในคลังสื่อ

GET /v1/media/assets/{asset_id}/content

GET /v1/media/assets

GET /v1/media/assets/{asset_id}

ราคา

วิธีคำนวณค่าบริการสุดท้าย

อัตราที่แสดงใช้ประมาณการค่าใช้จ่ายก่อนการสร้างผลลัพธ์ ยอดเรียกเก็บสุดท้ายคำนวณจากค่าใช้จ่ายที่บันทึกไว้สำหรับการสร้างผลลัพธ์ครั้งเดิม ระยะเวลาของผลลัพธ์ที่วัดได้และปริมาณที่คาดการณ์ไว้ไม่ใช่ปริมาณสุดท้ายที่ใช้คิดค่าบริการ

ข้อมูลอัตราราคาไม่ได้เพิ่มตัวเลือกคำขอ พารามิเตอร์ที่รองรับระบุไว้สำหรับเมธอดที่เลือก

โหมดรวดเร็ว: ไม่ได้ระบุ เมื่อเลือกโหมดรวดเร็ว
โหมดยืดหยุ่น: ไม่ได้ระบุ เมื่อเลือกโหมด flex
ระดับการใช้เหตุผลสูงสุด: ไม่ได้ระบุ เมื่อใช้การปรับตามค่าเริ่มต้น (default) สำหรับระดับการใช้เหตุผลสูงสุด

อัตราประมาณการเพื่อเปรียบเทียบ

ราคาตามการตั้งค่า

เทียบค่าบริการแต่ละรายการกับเงื่อนไขที่แสดง เลือกใช้อัตราเดียวสำหรับแต่ละชุดการตั้งค่าที่เป็นตัวเลือกทดแทนกัน

การตั้งค่า	ตารางอัตราค่าบริการ	ปริมาณคาดการณ์	หน่วยคิดค่าบริการ	ค่าบริการ
การตั้งค่าอัตราค่าบริการโทเคนพื้นฐาน	ตารางอัตราค่าบริการอัตราพื้นฐาน	ปริมาณคาดการณ์—	หน่วยคิดค่าบริการ—	ค่าบริการ ขาเข้า · โทเค็นอินพุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาออก · โทเค็นเอาต์พุต · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การอ่านแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น ขาเข้า · การเขียนแคช, 1 ชั่วโมง · ประมาณการเพื่อเปรียบเทียบเท่านั้น — / 1K โทเค็น
การตั้งค่าวินาทีเสียงขาเข้า	ตารางอัตราค่าบริการ—	ปริมาณคาดการณ์—	หน่วยคิดค่าบริการต่อวินาทีของเสียงอินพุต	ค่าบริการ ขาเข้า · วินาทีเสียงขาเข้า · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.00000666 ต่อวินาทีของเสียงอินพุต
การตั้งค่าต้นทุนการสร้างโดยประมาณ	ตารางอัตราค่าบริการ—	ปริมาณคาดการณ์ค่าประมาณสำหรับการสร้างหนึ่งครั้ง	หน่วยคิดค่าบริการ—	ค่าบริการ ขาออก · ค่าใช้จ่ายในการสร้างโดยประมาณ · ประมาณการเพื่อเปรียบเทียบเท่านั้น $0.00000666 ประมาณการก่อนสร้าง ค่าประมาณนี้ไม่ใช่ค่าใช้จ่ายเพิ่มเติมหรืออัตราคงที่สำหรับการสร้างผลลัพธ์ที่เสร็จสมบูรณ์แล้ว

Ailoot กันยอดเงินประมาณการไว้ก่อนส่งคำขอ หลังได้ผลลัพธ์ จะคิดค่าบริการสุดท้ายตามการใช้งานที่วัดได้ การคิดค่าบริการแบบสตรีมใช้บันทึกการใช้งานสุดท้าย วิธีกันยอดเงินและคิดค่าบริการสุดท้าย →

ตัวอย่างคำขอ

Ailoot Ultra · การถอดเสียง

curl · เนื้อหาคำขอแบบเนทีฟที่ตรงตามต้นฉบับและผลลัพธ์ที่ครบถ้วน

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.

รับและบันทึกผลลัพธ์

Ailoot Ultra · การถอดเสียง

GET /v1/media/tasks/{task_id}
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}

การอ่านเนื้อหาแบบอื่น

อ่านไฟล์สื่อที่มีอยู่และเป็นของคุณ

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
  -H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.

เก็บผลลัพธ์ที่เสร็จสมบูรณ์ทั้งหมด

เก็บทุกการตอบกลับ ไฟล์ และส่วนเนื้อหาที่ส่งกลับมาอย่างครบถ้วน

เก็บการตอบกลับและส่วนหัวให้ครบถ้วน เก็บผลลัพธ์จริงทุกรายการ ตัวระบุที่ส่งกลับมาแต่เดิม และฟิลด์ข้อมูลการใช้งานทั้งหมด กู้คืนการดำเนินการเดิมโดยไม่ส่งคำขอสร้างซ้ำ

เมื่อต้องตรวจสอบการตอบกลับต้นฉบับ

เก็บ X-Client-Request-ID ที่ส่งกลับมาไว้เพื่อกระทบยอด อ่านเฉพาะค่า task_id/asset_id ที่ส่งกลับมาจริง หรืออ่านจากคลังสื่อที่เป็นของตนเอง ห้ามสร้าง URL ของงานจาก ID การดำเนินการ และห้ามส่งคำขอสร้างซ้ำเด็ดขาด

ฟิลด์การตอบกลับ

ฟิลด์	ประเภท
ฟิลด์`text`	ประเภท
ฟิลด์`usage`	ประเภท
ฟิลด์`segments[]`	ประเภท
ฟิลด์`words[]`	ประเภท
ฟิลด์`speaker fields`	ประเภท
ฟิลด์`timestamps`	ประเภท

ชื่ออื่น

ชื่ออื่นของโมเดล

Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

ชื่อพาธเมธอดอื่น

ใช้พาธเมธอดที่แสดงด้านบน

ID ที่เกี่ยวข้องสำหรับเรียกใช้โมเดล

nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b

FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

มีอินพุตและผลลัพธ์ใดบ้าง?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: audio → text
คำขอใช้ฟิลด์ใดบ้าง?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: model, input_audio, language, temperature, response_format, timestamp_granularities, provider
มีข้อจำกัดใดบ้าง?: POST /v1/audio/transcriptions · nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b: temperature.minimum: 0; temperature.maximum: 1

NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B