Fish Audio: S2.1 Pro

S2.1 Proは、表現豊かなナレーションと会話型音声アプリケーション向けの、Fish AudioのS2世代後期のテキスト音声合成モデルです。自然言語での読み方の制御とネイティブの複数話者対話を維持しながら、S2 Proより音声品質、遅延、処理量が改善されています。S2.1 ProとS2.1 Pro Freeは、基盤となる音声モデルを共有します。

説明のナレーションでは、完成した文面、意図する声、速さや強調を変える箇所を渡します。会話アプリケーションでは、アプリケーションが選んだ応答を音声化し、事実の内容と演技指示を分けて扱います。台本付きの対話では、セリフを書く前に話者と声を定義します。言葉、読み方、話者の役割が依頼内容に一致する、完成した音声または再生可能なストリームが実用的な成果物です。

実際に読み上げる言葉を書き、その読み方を変えたい箇所の直前に指示を置きます。角括弧の指示では、ささやき、間、反応、強調、自由な話し方などを指定できます。文の途中で読み方を変える場合は、その変化が必要な位置に指示を入れ、描写的な指示の後には実際の発話文を続けます。説明音声の依頼では、伝える事実と、聞き手に合わせた温かさ、速さ、強調を分けて示すと効果的です。

話者が1人の場合は、保存済みの音声識別子を選ぶか、参照録音とその文字起こしを渡します。提供元の音声ガイドは、即時の音声コンディショニングに、雑音の少ない10～30秒のサンプルを推奨しています。台本に合う声の調子と録音品質の参照を選び、関連する文章では同じ参照を維持します。参照音声は話者の声質を、テキストと文中の指示は内容とその演じ方を指定します。

複数話者のネイティブ合成では、<|speaker:0|>や<|speaker:1|>などのマーカーと、順序付きの音声識別子配列、または話者別の参照グループを使います。話者番号と配列の順序を一致させてください。学習用の対話では、各話者のセリフを書き、読み方の指示を対応する話者マーカーの後に置きます。1回のリクエストで対話を生成する方式であり、S1で話者ごとに別々の区間を生成してから組み立てる方式とは異なります。

提供元のワークフローでは、MP3、WAV、raw PCM、Opusを出力でき、既定はMP3です。MP3は64、128、192 kbpsに対応し、WAVとPCMはドキュメントに記載された16ビットのモノラルサンプル形式、Opusは48 kHzを使用します。保存するナレーションファイル、ストリーミング再生、後段の音声処理に合わせて形式を選びます。後で1行を修正する際にも意図した演技を保てるよう、音声とともに台本全体と音声の選択情報を保存してください。

速度は0.5～2.0の範囲で調整でき、音量も制御できます。テキスト正規化は、英語と中国語の数値表記を自然に読み上げられる形に展開します。出力ラウドネスの正規化は既定でtrueで、S2ファミリーに適用されます。同じフィールドはS1では効果がありませんでした。S1のrepetition_penaltyはS2.1 Proの音声を変えないため、以前の設定をこのモデルでも有効な制御とみなしてはいけません。引き継いだパラメーターだけで結果を判断せず、音や言葉の繰り返しを直接確認してください。

長い台本はチャンク単位で処理されます。記載されているチャンク長の範囲は100～300で、max_new_tokensはチャンクごとの音声トークン予算を表し、合計の長さを保証する値ではありません。前のチャンクによるコンディショニングで、声の文脈を次へ引き継げます。提供元の配信ワークフローには、完成した音声、逐次届く音声チャンク、台本が順次届く場合のライブテキストストリーミングがあります。アプリケーションに合う受け取り方を選び、次の文章の発音と調子に必要な台本の文脈を保持してください。

実用的な完成音声にするため、語の欠落や重複、数値の読み方、話者の切り替え、間、指示の強さを聴いて確認します。同じ指示でも参照音声によって表現の強さが変わるため、競合するタグを重ねる前に、簡単な指示を付けた1行から始めてください。多言語の制作では、内容の創作や翻訳を音声モデルに任せず、対象言語の台本を渡します。修正では、依頼に合っている演技を残しながら、不一致の原因となる行、指示、参照を変更します。