Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flashは、提供された台本を音声に変換するモデルで、Flash版はリアルタイムのやり取りに重点を置いています。Qwenは、音声アシスタント、対話、インテリジェントなカスタマーサービスを主な用途に挙げています。メーカーは前のバージョンと比べ、低リソース言語や中国語方言への対応範囲の拡大、より本格的な方言表現、感情、トーン、キャラクター、速度、音量、話し方の制御強化を説明しています。また、雑音や残響のある音響環境での明瞭性と頑健性の改善も報告しています。これはテキストから音声を合成するモデルであり、入力音声を認識するモデルや音声対話モデルではありません。

Flashは、対話の中で音声を話し始めるまでの速さを重視しています。Qwenは、このモデルのリアルタイム合成では最初のパケットまでの遅延が200ミリ秒以内と報告しています。一方、利用ガイドでは、初回送信で測定される遅延には最初の接続確立にかかる時間も影響すると説明しています。実際に読み上げる言葉と、望む話し方は分けて用意します。音声アシスタントの応答なら、簡潔な回答と、落ち着いて明瞭に話す指示を組み合わせる例が考えられます。得られる結果はそのテキストから生成された音声で、再生や前後の会話はアプリケーションが扱います。

メーカーのシステム音声一覧には、自然で親しみやすい話し方のLong An Feng Yueや、親しみやすく生き生きとした話し方のLong An Xiao Xinなど、モデルごとの選択肢があります。いずれも普通話と英語に対応すると記載されています。英語音声には、英国アクセントのloongmaryや、落ち着いた親しみやすい米国アクセントのloongjohnなどもあります。各モデルには、このほかに500種類を超えるベース音声があります。Qwenは一貫性のためにまずシステム音声を使い、ベース音声を選ぶ際はプレビューを確認することを推奨しています。音声は選択したモデルに属している必要があり、台本にはその音声が対応する言語を使います。

クローン音声を使うと、文書に記載された対応言語は中国語、英語、日本語、韓国語、ロシア語、フランス語、ドイツ語、ポルトガル語、タイ語、インドネシア語、ベトナム語、スペイン語、イタリア語、マレー語、フィリピノ語、アラビア語に広がります。中国語では、普通話、広東語、重慶、東北、甘粛、貴州、浙江、河北、河南、湖北、湖南、江西、寧波、寧夏、青島、陝西、山西、山東、上海、四川、雲南の各方言が対象で、指示によって方言を選択します。モデル表では音声サンプルを使うクローン作成に対応し、テキストの説明だけから新しい音声を作る機能とは区別されています。この版は後者には対応していません。

クローン作成用には、メーカーは10～20秒の録音を推奨しており、上限は60秒、ファイルサイズは10 MB以下です。参照音声の対応形式は16ビットのWAV、MP3、M4Aで、サンプリング周波数は16 kHz以上です。録音には少なくとも5秒の連続した明瞭な発話が必要で、それ以外の間は2秒以下にします。背景音、ほかの人の声、歌声は避けます。ステレオ音声も受け付けますが、処理されるのは最初のチャンネルのみです。クローン作成のワークフローは対象モデルそのものに紐づいた音声識別子を返し、音声が利用可能になったら合成時にその識別子を使います。同じ録音でも、FlashとPlusには別々のクローン音声が必要です。

システム音声とクローン音声のどちらも、自然言語の指示で話し方を制御できます。柔らかい口調、明瞭な発音、少しゆっくりしたペースなど、耳で聞き取れる特徴を説明します。文中のタグは別の制御手段です。[empathetic]や[serious]は後続のテキストのスタイルを指定し、[laughing]や[sighing]は特定の位置に声の効果を挿入します。制御タグは、別の制御タグが現れるか、自動的に文が分割されるまで有効です。こうした感情や表現を豊かにするタグが文書で説明されているのは単方向ストリーミングのみで、双方向のテキスト入力モードではありません。その制御に対応するモードで、表現を付けたい一文を用意します。

メーカーの音声インターフェースはPCM、WAV、MP3、Opusに対応しています。記載されたサンプリング周波数は8,000、16,000、22,050、24,000、44,100、48,000 Hzで、既定値はMP3と22,050 Hzです。音量は0～100、話速とピッチはそれぞれ0.5～2.0の範囲です。MP3とOpusでは6～510 kbpsのビットレートも指定できます。使用するプレーヤーや処理ワークフローに合う形式とサンプリング周波数を選びます。対話型アプリケーション向けには、ストリーミング音声フレームと文のメタデータが文書で説明されています。クローン音声を含む対応音声では、ストリーミング出力で単語単位のタイムスタンプも利用できます。

文書化されたWebSocketテキストプロトコルは、1つのテキストメッセージで最大20,000文字、1つのタスクで累計200,000文字を受け付け、送信間隔は23秒以内です。これはメーカーのプロトコル上の制限であり、モデル全般に共通する出力音声の長さの上限とは別です。進行中の合成ターンをキャンセルし、同じ接続上で次のタスクを実行することにも対応しています。テキストの各区間は読み上げる順番で送り、台本が完了したら入力を終了します。発音の準備には、対象言語のヒント、ピンイン注記、テキスト置換が文書で説明されており、数字、略語、記号が意図しない読み方になる場合に役立ちます。

SSMLは、音声と対話モードに条件のある別のマークアップ手段です。Qwenはクローン音声について、非ストリーミングまたは単方向ストリーミングの呼び出しと、SSML有効時にテキストを1回で送信する条件を説明しています。すべてのプリセット音声や双方向ストリームで使えると考えてはいけません。通常の対話では、対応する音声、余分なものを含まない読み上げ用の台本、具体的な話し方の指示から始め、必要な場合に発音や表現の制御を追加します。これにより、ほかのQwen音声モデルの機能ではなく、準備したテキストから応答性よく発話するFlashの用途に集中できます。