NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
NVIDIA 的 Nemotron 3.5 ASR Streaming Multilingual 0.6B 使用具快取感知能力的串流編碼器，將語音轉錄為附有標點的文字。它支援明確指定語言條件或自動偵測，其中 32 個語言地區可直接轉錄，另有八個需要調適。
關於模型
此說明介紹模型的能力。Ailoot 可用的輸入、輸出與選項，依所選方法列於下方。
Nemotron 3.5 ASR Streaming Multilingual 0.6B 是 NVIDIA 具有六億參數的語音辨識模型，可用於即時轉錄及錄製音訊工作負載。它在英語串流系列的基礎上，加入語言識別條件訊號。語音會轉成與輸入語言相同的文字，輸出內建標點與大小寫處理。
製造商將語言涵蓋範圍分為三個層級。十九個可直接轉錄的語言地區涵蓋美國與英國英語、美國與西班牙西班牙語、法國與加拿大法語、義大利語、巴西與葡萄牙葡萄牙語、荷蘭語、德語、土耳其語、俄語、阿拉伯語、印地語、日語、韓語、越南語及烏克蘭語。十三個廣泛涵蓋的語言地區另外包括波蘭語、瑞典語、捷克語、挪威博克馬爾語、丹麥語、保加利亞語、芬蘭語、克羅埃西亞語、斯洛伐克語、華語、匈牙利語、羅馬尼亞語及愛沙尼亞語。這 32 個語言地區都能在無須額外微調的情況下產生轉錄結果。
另外八個可進行調適的語言地區為希臘語、立陶宛語、拉脫維亞語、馬爾他語、斯洛維尼亞語、希伯來語、泰語及挪威新挪威語。分詞器能辨識這些語言，但必須使用領域內資料進行微調，才能啟用完整轉錄。因此，製造商所說的 40 個語言地區，不代表四十個都具有相同的開箱即用能力。客製化檢查點是與基礎模型不同的產物。
架構結合了二十四層、具快取感知能力的 FastConformer 編碼器與 RNN-T 解碼器。它會保留先前影格的編碼器注意力及卷積狀態，並在處理每個新音訊區塊時，避免反覆重新計算重疊視窗。語言識別訊號與聲學表示一同提供，用來指定逐字稿的語言條件，或讓模型推斷語言。
NVIDIA 的 NeMo 設定文件記載了 80、160、320、560 及 1120 毫秒的區塊大小。注意力設定控制每個區塊在輸出文字前能取得多少未來音訊，讓任務可以在等待時間與聲學上下文之間取得平衡。這些是製造商的串流設定，並非有保證的端到端回應時間；實作可以只提供其中部分支援設定。
請依製造商處理器的 16 kHz 取樣率準備單聲道 WAV 音訊。已知語言時，請使用相應的語言地區條件設定；自動模式則會偵測口語語言。基礎管線範例預設使用美國英語提示，因此應刻意設定多語言行為，避免直接從該範例推定它已啟用。
在自動模式中，製造商的工作流程可以在逐字稿結尾標點後附加語言標籤。保留標籤，可讓處理混合語言流量的應用程式取得語言資訊；移除標籤則會回傳純淨的逐字稿文字。顯示或處理結果時，請保留辨識文字、文字標點及此語言中繼資料之間的區別。
字幕應用程式可以按順序輸入音訊、收集逐字稿，並將完成的文字用於顯示或下游處理。語音應用程式可以將辨識出的語音文字傳至語言理解階段。通話分析工作可以將原始錄音與逐字稿一起保留，使姓名、數字及不熟悉的術語仍可供檢視。ASR 模型提供逐字稿；摘要、執行動作及語音生成則是應用程式的其他階段。
NVIDIA 使用公共及專有語音資料的混合資料訓練此模型，包含人工與合成標籤，並將標籤正規化為附有標點及正確大小寫的文字。其調適指南強調語言標籤與文字風格的一致性，再以預定使用的串流設定評估保留的測試音訊。指南描述語言、口音及領域調適，並未將這些客製化結果視為原始檢查點的特性。
模型卡將實際可處理的錄音長度連結至可用記憶體，而非公布統一適用的時間上限。請將多語言版本與僅支援英語的模型分開看待，並將所選語言及串流設定與轉錄結果一起保留。輸出產物是辨識出的文字，以及可選擇保留的製造商語言中繼資料，而非一般對話回答。
Ailoot Ultra · 語音轉文字 POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b入門
NVIDIA 的 Nemotron 3.5 ASR Streaming Multilingual 0.6B 使用具快取感知能力的串流編碼器，將語音轉錄為附有標點的文字。它支援明確指定語言條件或自動偵測，其中 32 個語言地區可直接轉錄，另有八個需要調適。
- 接受的輸入
- 音訊
- 結果
- 文字
Ailoot 可用 · 輸入與方法
Ailoot Ultra · 語音轉文字 POST /v1/audio/transcriptions
- 輸入
audio- 輸出
text
| 欄位 | 類型 | 要求 | 值與限制 | 預設值 |
|---|---|---|---|---|
欄位model | 類型string | 要求必填 | 值與限制 nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | 預設值— |
欄位input_audio | 類型object | 要求必填 | 值與限制 | 預設值— |
欄位language | 類型string | 要求選填 | 值與限制 | 預設值— |
欄位temperature | 類型number | 要求選填 | 值與限制 最小值: 0 最大值: 1 | 預設值— |
欄位response_format | 類型string | 要求選填 | 值與限制 json, verbose_json | 預設值json |
欄位timestamp_granularities | 類型array | 要求選填 | 值與限制 | 預設值— |
欄位provider | 類型object | 要求選填 | 值與限制 | 預設值— |
方法參數與生命週期
| 參數 | 規格 |
|---|---|
參數content_type | 規格application/json |
參數required | 規格model, input_audio |
參數material_types | 規格audio |
參數material_conditions | 規格請讀取實際的 WAV 檔案，並將其真實位元組編碼，用於所宣告的 JSON input_audio；此確切的純 JSON 宣告並未提供 multipart 路由。 |
生命週期： synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · 實際回傳的 task_id 或媒體庫紀錄
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
方案
最終費用的計算方式
顯示的費率用於在生成前估算費用。最終費用依原始生成作業記錄的成本計算。實測的輸出時間長度與預估數量並非最終計費數量。
費率資訊不會增加請求選項。支援的參數列於所選方法中。
- 快速模式
- 未指定 選取快速模式時
- flex 模式
- 未指定 選取 flex 模式時
- 最高推理強度
- 未指定 最高推理強度採用 default 調整值時
供比較的預估費率
各設定的價格
請逐一核對各項費用與所列條件。每組互為替代選項的設定只套用一種費率。
| 設定 | 費率表 | 預估數量 | 計費單位 | 費用 |
|---|---|---|---|---|
| 設定基礎 token 費率 | 費率表基本費率 | 預估數量— | 計費單位— | 費用 輸入 · 輸入 Token · 僅供比較的估算 — / 1K Token 輸出 · 輸出 Token · 僅供比較的估算 — / 1K Token 輸入 · 讀取快取 · 僅供比較的估算 — / 1K Token 輸入 · 寫入快取 · 僅供比較的估算 — / 1K Token 輸入 · 寫入快取，1 小時 · 僅供比較的估算 — / 1K Token |
| 設定輸入音訊秒數 | 費率表— | 預估數量— | 計費單位每秒輸入音訊 | 費用 輸入 · 輸入音訊秒數 · 僅供比較的估算 $0.00000666 每秒輸入音訊 |
| 設定預估生成費用 | 費率表— | 預估數量單次生成估算值 | 計費單位— | 費用 輸出 · 預估生成費用 · 僅供比較的估算 $0.00000666 生成前估算 此估算並非額外費用，也不是本次生成完成後的固定費率。 |
Ailoot 會在請求前預留估算金額。取得結果後，依實測用量結算最終費用。串流結算採用最終用量紀錄。預留金額與結算的運作方式 →
請求範例
Ailoot Ultra · 語音轉文字
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
接收並儲存結果
Ailoot Ultra · 語音轉文字
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
其他內容讀取方式
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
保留所有已完成的結果
請保留所有完整傳回的回應、檔案與內容區塊。
保留完整回應與標頭、所有實際輸出、原始回傳的識別碼，以及所有用量欄位。恢復原始作業時，請勿再次提交建立請求。
需要檢查原始回應時
保留回傳的 X-Client-Request-ID，以供核對。僅讀取實際回傳的 task_id/asset_id 值或自己擁有的媒體庫；請勿以作業 ID 組成任務 URL，也請勿重新提交建立請求。
回應欄位
| 欄位 | 類型 |
|---|---|
欄位text | 類型 |
欄位usage | 類型 |
欄位segments[] | 類型 |
欄位words[] | 類型 |
欄位speaker fields | 類型 |
欄位timestamps | 類型 |
別名
模型別名
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
方法路徑別名
請使用上方列出的 API 方法路徑。
相關呼叫用 ID
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- 可以使用哪些輸入與結果？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- 請求使用哪些欄位？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- 適用哪些限制？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1