OpenAI: Whisper Large V3

Whisper large-v3は、約15.5億パラメーターを持つ、公開されたOpenAIの音声認識チェックポイントです。多言語のエンコーダー・デコーダーモデルで、音声がエンコーダーに入り、デコーダーがテキストとタスク関連トークンを予測します。主なタスクは、元の言語での音声文字起こしと、音声の英訳です。これはオープンウェイトのモデルIDであり、ホステッドサービスのモデル識別子や、そのサービスのアップロード・応答形式の規則とは分けて扱います。

Large-v3は、以前の大型Whisperチェックポイントのアーキテクチャを保ち、2つの変更を示しています。スペクトログラム入力が80ではなく128個のMel周波数ビンを使い、広東語の言語トークンを追加しています。メーカーのモデルカードは、弱いラベル付き音声100万時間と、Whisper large-v2で準備した疑似ラベル付き音声400万時間での学習を説明しています。この混合データを2エポック使用しました。リリースは、Whisperファミリーのすべてのモデルを指す一般名ではなく、特定のlarge-v3チェックポイントです。

文書化された推論ワークフローは、既定で文字起こしを行い、録音で話される言語を保持します。元の言語を自動検出するか、既知の言語を選択できます。翻訳では、多言語の大型モデルが英語以外の発話から英語テキストを返します。そのタスクは明示的に選んでください。同じ言語の文字起こしと英訳は別の成果物です。インタビューでは原語の表現を残し、英語の参照文書では、発話内容の翻訳が必要な結果であると指定してください。

音声の準備は入力経路の一部です。OpenAIのローダーは録音をモノラル波形へデコードし、16 kHzへ再サンプリングします。モデルの音響受容野は30秒です。これは処理ウィンドウであり、インタビューや講義全体の最大長ではありません。長時間の推論では、スライディングウィンドウを順番に進めるか、長い録音を重なりのあるチャンクへ分けて文字起こしを結合できます。メーカーのモデルカードは、精度を優先する場合の逐次処理と、1本の長い録音の処理完了時間を重視する場合のチャンク処理を説明しています。

公開設定には、個々のデコードシーケンスに448のデコーダー位置が記載されています。長い録音は、その数を普遍的な文字起こし上限とみなすのではなく、長時間処理で扱います。文書化されたワークフローは、認識テキストとともに、セグメント単位や単語単位のタイムスタンプを返せます。時間出力は録音の移動や字幕準備に有用ですが、最終的な字幕コンテナーや文字起こしファイル形式は別の出力書式の選択です。文字起こしを原本資料に合わせる場合は、音声準備時に録音の時間関係を残してください。

Whisperの役割は、発話の認識と翻訳です。講義の文字起こし、インタビュー記録、検索可能な発話資料の集合は実用的な出力です。要約や解釈は、そのテキストに対する別の段階として行えます。モデルカードは、堅牢な自動話者分類や話者分離を、基本チェックポイントの標準出力として確立していません。話者ラベルが必要な場合、その要件は正確な文字起こしを主張することとは別に扱う必要があります。有用な指示には、元の言語、文字起こしか英訳か、時間情報が必要かを示します。

実質的な制限には、実際には話されていないテキストの生成や反復テキストがあり、雑音のあるデータを使った弱い教師あり学習や、系列から系列への設計に関連しています。認識品質は言語、アクセント、方言で異なり、学習資料の少ない領域では弱くなります。そのため、適合性を判断するサンプルには、雑音、専門用語、重なる発話を含めるべきです。名前、数量、重要な発言を録音と比較し、流暢な文字起こしをすべての単語が聞き取られた証拠とせず、非発話部分や繰り返された行を点検してください。

完全な結果は、元の録音への参照とともに、認識テキスト、その言語、要求した時間情報を保持します。文字起こしを後の編集と分けてください。公開用に修正した文字起こしはつなぎ言葉を除く場合がありますが、認識された文字起こしはモデルが実際に返した内容を保持します。Large-v3のモデルIDと翻訳機能も、高速なTurboエディションとは分けるべきです。実際の処理速度は言語、発話速度、ハードウェア、推論方式に依存し、チェックポイント名だけから、特定のホステッド環境のレイテンシー、最大アップロードサイズ、アプリケーションで有効な経路は分かりません。