Qwen3 Omni 30B A3B Captioner

概要：音を詳しく説明するモデル

Qwen3-Omni-30B-A3B-Captionerは、Qwen3-Omni-30B-A3B-Instructをファインチューニングした、音声説明に特化するモデルです。音声クリップを、何が聞こえるかを詳しく述べたテキストに変換します。Qwenは、発話、環境音、音楽、映画の効果音、複数の音源が混ざった音声など、多様な素材を対象に設計しています。音声素材の検索可能な説明を準備したり、短いメディア区間の音の重なりを確認したりするのに役立ちます。

発話と発話以外の音の理解

開発元は、複数の話者、多言語表現、声に表れる感情、話し方から示唆される意図の分析を説明しています。例では文字起こしにとどまらず、声の聞こえ方、発話の言語、周囲の音響的な状況を記述しています。発話以外の音声については、環境の雰囲気、実世界の音、音楽の各層、映画やメディアにおける音の変化の詳細を説明します。

雰囲気、話者の意図、文化的背景の記述は、聞こえる素材に対する解釈です。直接確認できる発話や音の出来事とは分けて扱ってください。キャプションは、口調の変化や背景音の層に確認者が気付く助けになりますが、個人の内面の感情を測定するものでも、曖昧な音の物理的な発生源を証明するものでもありません。

Captioner版と入力仕様

このチェックポイントは単一ターン方式です。推論ごとに正確に一つの音声入力を受け取り、テキストプロンプトは受け取らず、テキストだけを返します。音声理解のためのthinkerコンポーネントを含み、公開構成では音声出力を明示的に無効にしています。同じファミリー名を共有するからといって、ほかのQwen3-Omni版の会話、画像、動画、音声生成の機能をCaptionerに当てはめないでください。

テキストプロンプトがないことは、実際の利用で重要です。説明させたい音声区間を準備し、その区間自体をタスク全体として送信してください。独自の要約、翻訳、話者としての回答、出力スキーマを求める指示を追加しないでください。ワークフローでそうした変換が必要な場合は、このキャプション生成チェックポイントの制御機能とみなすのではなく、返された説明を扱う別の工程で行います。

有用な音声入力の準備

Qwenは、細かな説明を得るため、クリップを30秒以下に抑えることを推奨しています。これは品質上の推奨であり、長すぎる音声では細部の認識が低下する可能性があります。普遍的な厳密な拒否しきい値として提示されているわけではありません。長い録音では、確認する出来事や場面の前後から意味のある短い区間を選んでください。返されたキャプションを後で元の録音にひも付けられるよう、ソース識別子と開始時刻をモデルへのリクエストの外で保持してください。

質問に関係する音の層を保ってください。声を中心にした抜粋でも、背景が求める説明に影響する場合は背景音を含めます。音楽や効果音の素材では、任意の位置で切るのではなく、重要な変化を残してください。クリップを個別に処理すると各部分の詳細を保ちやすくなりますが、リクエスト間で連続性や録音全体の理解が自動的に確立されるわけではありません。

テキスト結果の活用方法

開発元のクックブックには、発話内容と話し方を説明した後で周囲の状況を述べるキャプションが示されています。ほかの例では、音楽、効果音、強さの変化、声による出来事の順序を説明しています。音声カタログでは、返されたテキストを素材名と時間範囲とともに保存できます。メディアの確認者は音の記録の草案として利用でき、編集者はキャプションとクリップを比較して、意図した音の層が説明に捉えられているかを確認できます。これらは利用例であり、モデルが特定のユーザー素材を事前に聴いた証拠ではありません。

出力は説明的なキャプションであり、逐語的な文字起こし、話者分離の表、タイムスタンプ付き字幕ファイル、生成されたサウンドトラックを約束するものではありません。正確な発言内容や時刻が必要な場合は、キャプションを音声と照合し、必要な成果物に適した専用のワークフローを使用してください。詳しい説明には場面やジャンルの推測が含まれる可能性があるため、音そのものから発生源を一意に特定できない場合は、不確かさを残してください。

生成例と制限

開発元の単独実行例では、モデルコンテキスト32,768トークン、生成予算16,384トークンを設定し、temperature 0.6、top_p 0.95、top_k 20を使用しています。クックブックでは、同じサンプリング値で生成予算8,192トークンを使用します。これらは設定例であり、別途宣言されたキャプションの最大長ではありません。基盤のテキスト構成には65,536ポジションと記載されていますが、それを音声の長さの保証に換算しないでください。

Omniファミリーと共通の汎用ユーティリティコードや設定項目があっても、Captionerで明示された「音声一つ、テキスト入力なし、テキスト出力のみ」という仕様が覆ることはありません。有用な成果は、短い音響的な場面の詳細な説明です。信頼できる記録として使用する前に、発話の引用、話者数、推定された音源を確認してください。