NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
NVIDIAのNemotron 3.5 ASR Streaming Multilingual 0.6Bは、キャッシュを利用するストリーミングエンコーダーで、発話を句読点付きテキストに文字起こしします。言語を明示して条件付けする方法と、自動検出の両方に対応します。32ロケールはそのまま文字起こしに利用でき、8ロケールは適応学習を必要とします。
モデルについて
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
Nemotron 3.5 ASR Streaming Multilingual 0.6Bは、ライブの文字起こしと録音済み音声の処理に向けた、NVIDIAの6億パラメータの音声認識モデルです。英語のストリーミングモデル系列に、言語IDによる条件付けを追加しています。発話は入力言語のテキストになり、出力には句読点と大文字・小文字の適切な表記が組み込まれています。
開発元が示す言語範囲は3段階です。文字起こし対応済みの19ロケールは、米国・英国の英語、米国・スペインのスペイン語、フランス・カナダのフランス語、イタリア語、ブラジル・ポルトガルのポルトガル語、オランダ語、ドイツ語、トルコ語、ロシア語、アラビア語、ヒンディー語、日本語、韓国語、ベトナム語、ウクライナ語を対象とします。幅広く対応する13ロケールとして、ポーランド語、スウェーデン語、チェコ語、ノルウェー語ブークモール、デンマーク語、ブルガリア語、フィンランド語、クロアチア語、スロバキア語、中国語の標準語、ハンガリー語、ルーマニア語、エストニア語が加わります。これら32ロケールは、追加のファインチューニングなしで文字起こしを生成します。
適応学習に対応する8ロケール、すなわちギリシャ語、リトアニア語、ラトビア語、マルタ語、スロベニア語、ヘブライ語、タイ語、ノルウェー語ニーノシュクは、トークナイザーで認識されますが、完全な文字起こしを有効にするには対象領域でのファインチューニングが必要です。そのため、開発元の40ロケールという数値は、40すべてが初期状態で同じ能力を持つという主張ではありません。カスタマイズしたチェックポイントは、基本モデルとは別の成果物です。
アーキテクチャは、キャッシュを利用する24層のFastConformerエンコーダーとRNN-Tデコーダーを組み合わせています。先行フレームのエンコーダーのアテンション状態と畳み込み状態を保持し、重なるウィンドウを何度も再計算せずに、新しい音声チャンクをそれぞれ処理します。音響表現とともに言語ID信号を渡し、文字起こしの言語を条件付けするか、モデルに言語を推定させます。
NVIDIAのNeMo構成には、80、160、320、560、1120ミリ秒のチャンクサイズが記載されています。アテンション設定は、テキストを出力する前にチャンクがどの程度先の音声を受け取るかを制御し、待ち時間と音響的な文脈のバランスをタスクに合わせて調整できるようにします。これらは開発元のストリーミング構成であり、処理全体の応答時間を保証するものではありません。実装が提供するのは、その一部の構成だけの場合もあります。
開発元のプロセッサーのサンプルレートである16 kHzのモノラルWAV音声を準備します。言語が分かっている場合は対応するロケールの条件付けを使い、自動モードでは話されている言語を検出します。基本パイプラインの例では、既定で米国英語のプロンプトを使っているため、その例から多言語動作を当然視せず、意図的に設定する必要があります。
自動モードでは、開発元のワークフローにより、文字起こしの末尾の句読点の後に言語タグが付加される場合があります。タグを保持すると、複数言語の入力を扱うアプリケーションで言語を利用でき、タグを除去すると、文字起こし本文だけを返せます。結果を表示または処理する際は、認識された単語、句読点、この言語メタデータを区別してください。
字幕アプリケーションでは、音声を順番に渡して文字起こしを集め、確定したテキストを表示や後続処理に利用できます。音声アプリケーションでは、認識した発話を言語理解の段階に渡せます。通話分析では、元の録音と文字起こしを一緒に保持し、名前、数値、不慣れな用語を確認できるようにします。ASRモデルが提供するのは文字起こしであり、要約、アクション、音声生成はアプリケーションの別の段階です。
NVIDIAは、人手および合成のラベルを持つ公開・独自の音声データを混ぜ、句読点と適切な大文字・小文字を備えたテキストに正規化して学習しています。適応学習のガイドでは、言語ラベルとテキストのスタイルを合わせ、その後、実際に使う予定のストリーミング設定で学習に使っていない音声を評価することを重視しています。言語、アクセント、ドメインの適応について説明していますが、そのカスタマイズ結果を元のチェックポイントの特性とはしていません。
モデルカードでは、実用上の録音の長さは利用可能なメモリに依存するとしており、どこでも適用される単一の時間上限は公開していません。多言語版と英語専用モデルを区別し、選択した言語とストリーミング構成を文字起こし結果とともに保持してください。出力成果物は、開発元の言語メタデータを必要に応じて伴う認識テキストであり、一般的な会話の回答ではありません。
Ailoot Ultra · 文字起こし POST /v1/audio/transcriptions nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
nvidia/nemotron-3.5-asr-streaming-multilingual-0.6bはじめに
NVIDIAのNemotron 3.5 ASR Streaming Multilingual 0.6Bは、キャッシュを利用するストリーミングエンコーダーで、発話を句読点付きテキストに文字起こしします。言語を明示して条件付けする方法と、自動検出の両方に対応します。32ロケールはそのまま文字起こしに利用でき、8ロケールは適応学習を必要とします。
- 対応する入力
- 音声
- 結果
- テキスト
Ailootで利用可能 · 入力とメソッド
Ailoot Ultra · 文字起こし POST /v1/audio/transcriptions
- 入力の種類
audio- 出力の種類
text
| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b | デフォルト— |
フィールドinput_audio | 種類object | 要件必須 | 値と制限 | デフォルト— |
フィールドlanguage | 種類string | 要件任意 | 値と制限 | デフォルト— |
フィールドtemperature | 種類number | 要件任意 | 値と制限 最小値: 0 最大値: 1 | デフォルト— |
フィールドresponse_format | 種類string | 要件任意 | 値と制限 json, verbose_json | デフォルトjson |
フィールドtimestamp_granularities | 種類array | 要件任意 | 値と制限 | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 | デフォルト— |
メソッドのパラメータとライフサイクル
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, input_audio |
パラメータmaterial_types | 仕様audio |
パラメータmaterial_conditions | 仕様実際のWAVファイルを読み込み、その実際のバイト列を、宣言されたJSONのinput_audio向けにエンコードしてください。この厳密にJSONのみを扱う宣言では、multipartルートは提供するとしていません。 |
ライフサイクル: synchronous_result_then_owned_library
GET /v1/media/tasks/{task_id} · 実際に返された task_id またはメディアライブラリのレコード
GET /v1/media/assets/{asset_id}/content
GET /v1/media/assets
GET /v1/media/assets/{asset_id}
料金
最終料金の計算方法
表示料金は生成前の費用の見積もりです。最終請求額は、元の生成処理に記録された費用から計算されます。実測された出力時間や予測数量が、そのまま最終的な課金数量になるわけではありません。
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
- 高速モード
- 未指定 高速モードが選択されている場合
- Flex モード
- 未指定 flex モードが選択されている場合
- 最大推論量
- 未指定 推論量が最大で、調整に既定値（default）を使用する場合
比較用の推定料金
設定別の価格
各料金を表示された条件と照合してください。選択肢となる設定の各組には、いずれか1つの料金を適用します。
| 設定 | 料金表 | 予測数量 | 課金単位 | 料金 |
|---|---|---|---|---|
| 設定基本トークン料金 | 料金表基本料金 | 予測数量— | 課金単位— | 料金 入力 · 入力トークン · 比較専用の見積もり — / 1K トークン 出力 · 出力トークン · 比較専用の見積もり — / 1K トークン 入力 · キャッシュ読み取り · 比較専用の見積もり — / 1K トークン 入力 · キャッシュ書き込み · 比較専用の見積もり — / 1K トークン 入力 · キャッシュ書き込み、1時間 · 比較専用の見積もり — / 1K トークン |
| 設定入力音声の秒 | 料金表— | 予測数量— | 課金単位入力音声1秒あたり | 料金 入力 · 入力音声の秒 · 比較専用の見積もり $0.00000666 入力音声1秒あたり |
| 設定生成費用の見積もり | 料金表— | 予測数量生成1回分の概算 | 課金単位— | 料金 出力 · 推定生成コスト · 比較専用の見積もり $0.00000666 生成前の見積もり この見積もりは追加料金ではなく、完了した生成処理に対する固定料金でもありません。 |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
リクエスト例
Ailoot Ultra · 文字起こし
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
: "${AILOOT_AUDIO_FILE:?Set the path to your actual WAV recording}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
import base64
audio=Path(os.environ['AILOOT_AUDIO_FILE']).read_bytes()
if not (audio[:4]==b'RIFF' and audio[8:12]==b'WAVE'): raise SystemExit('Supply an actual WAV audio file')
if len(audio)>26214400: raise SystemExit('Use a documented supported large-file flow')
request={'model': 'nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b', 'input_audio': {'data': '${BASE64_ACTUAL_WAV_BYTES}', 'format': 'wav'}}
request['input_audio']['data']=base64.b64encode(audio).decode('ascii')
Path('request.json').write_text(json.dumps(request,ensure_ascii=False),encoding='utf-8')
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/audio/transcriptions \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o response.bin
# Keep the complete original response and headers. Read every returned segment, word and usage field.
# Preserve actual operation/task/asset IDs; continue reads of the original result without resubmitting.
結果を受け取って保存
Ailoot Ultra · 文字起こし
GET /v1/media/tasks/{task_id}GET /v1/media/assets/{asset_id}/contentGET /v1/media/assetsGET /v1/media/assets/{asset_id}
その他のコンテンツ取得
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/media/assets \
-H "Authorization: Bearer $AILOOT_API_KEY" -o owned-assets.json
# Preserve every returned asset and follow its exact signed content URL. Do not construct a signed token.
完了した結果をすべて保存
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
レスポンスとヘッダーの全体、実際の出力すべて、最初に返された識別子、使用量フィールドすべてを保存してください。作成リクエストを再送せずに、元の操作を復旧してください。
元のレスポンスを確認する場合
照合のため、返された X-Client-Request-ID を保存してください。実際に返された task_id/asset_id の値、または自分が所有するメディアライブラリだけを使って読み取ってください。操作 ID からタスクの URL を組み立てたり、作成リクエストを再送したりしないでください。
レスポンスのフィールド
| フィールド | 種類 |
|---|---|
フィールドtext | 種類 |
フィールドusage | 種類 |
フィールドsegments[] | 種類 |
フィールドwords[] | 種類 |
フィールドspeaker fields | 種類 |
フィールドtimestamps | 種類 |
エイリアス
モデルのエイリアス
Ailoot Ultra nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b
メソッドパスのエイリアス
上記に表示されたメソッドパスを使用してください。
関連する呼び出し用ID
FAQ · NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B
- 利用できる入力と結果は何ですか？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:audio→text- リクエストはどの項目を使用しますか？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:model,input_audio,language,temperature,response_format,timestamp_granularities,provider- どの制限が適用されますか？
POST /v1/audio/transcriptions·nvidia/nemotron-3.5-asr-streaming-multilingual-0.6b:temperature.minimum:0;temperature.maximum:1