NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3は、NVIDIAの6億パラメータの多言語音声認識モデルです。英語専用だったv2モデルをヨーロッパの25言語に拡張しており、言語を別途プロンプトで指定しなくても音声の言語を自動で検出します。結果は、句読点と大文字・小文字の表記を整えた発話の文字起こしです。

対応言語は、ブルガリア語、クロアチア語、チェコ語、デンマーク語、オランダ語、英語、エストニア語、フィンランド語、フランス語、ドイツ語、ギリシャ語、ハンガリー語、イタリア語、ラトビア語、リトアニア語、マルタ語、ポーランド語、ポルトガル語、ルーマニア語、スロバキア語、スロベニア語、スペイン語、スウェーデン語、ロシア語、ウクライナ語です。この一覧はv3版のものであり、Parakeetのほかのデコーダー形式や言語別の派生版は別モデルです。

アーキテクチャは、FastConformerエンコーダーと、トークンおよび継続時間を予測するトランスデューサーデコーダーを組み合わせています。エンコーダーは音響信号を内部表現に変換し、デコーダーはテキストトークンと、音声フレームを先に進めるために必要な継続時間を同時に予測します。このTDTの動作が、同じファミリーのCTCや通常のRNN-Tデコーダーとの違いです。

16 kHzでサンプリングした単一チャンネルの音声を準備します。開発元が直接入力として示す形式はWAVとFLACで、実装例ではプロセッサーを使って波形を認識用に準備しています。返されたテキストとともに録音の識別子と元の音声を保持し、文字起こしの確認や元音声との位置合わせができるようにしてください。

タイムスタンプは、認識された発話に時刻情報を付加します。NVIDIAのNeMoの例では、タイムスタンプ生成を有効にすると、文字、単語、セグメントの各時刻が返されます。字幕やアーカイブのアプリケーションでは、セグメントの境界を使って文章を録音箇所と結び付けたり、単語の時刻を使って特定のフレーズの位置を見つけたりできます。文字起こし本文と時刻フィールドは結果の別々の部分であり、対応関係を保つ必要があります。

長時間の録音では、アテンションの構成が重要です。開発元は、80 GBのA100上でフルアテンションを使う場合は最大24分、ローカルアテンションを使う場合は最大3時間と説明しています。長時間音声の処理例では、エンコーダーを、左右のコンテキスト範囲を限定したローカルアテンションに切り替えます。これらの時間は開発元の特定の構成を示すもので、すべてのデプロイに無条件で適用される上限ではありません。

開発元は、ストリーミング利用に向けたチャンク分割推論のワークフローも公開しています。その例では、チャンクの長さと、各チャンクの前後に付ける音声コンテキストの長さを定義します。これは、ネイティブでキャッシュを利用するNemotronストリーミングモデルとは別の処理手順です。録音の各区間の文字起こしを集める際は、選択した手順と元の時刻基準をアプリケーション側で保持する必要があります。

学習データには、人手で文字起こしした10,000時間の音声と、疑似ラベルを付けた660,000時間のGranaryデータが含まれ、句読点と大文字・小文字の表記が保持されています。開発元は、文書化されたモデルのワークフローを通じて、この公開チェックポイントを別の音声データセットでファインチューニングすることにも対応しています。調整後のチェックポイントは、基本のv3モデルとは区別されます。そのため、このモデルのテキスト出力は、より大きなワークフローの音声テキスト変換段階に適しています。会議アーカイブでは録音に文字起こしを添付でき、検索アプリケーションでは認識された文章をインデックス化でき、字幕ツールでは返された時刻メタデータを利用できます。

認識品質は、言語、アクセント、雑音、発話の種類によって変わります。開発元は特に、学習時に含まれていなかった語彙は認識されない場合があること、単独の単語や不完全な文では文脈が乏しくなることを指摘しています。不確かな認識を確認済みの事実として扱わず、固有名詞や専門用語を見直せるよう元の音声を保持してください。

有用な成果物は、要求した時刻情報を伴う文字起こしです。要約、翻訳、話者分析、アクションは、アプリケーション側の別タスクであり、音声テキスト変換という名称に含意される機能ではありません。v3というモデルの識別情報と開発元のアテンションモードを、ほかのチェックポイントや変換済み・量子化済みの成果物と明確に区別してください。