Fish Audio: S2 Pro

S2 Proは、表現豊かなナレーション、キャラクターの対話、会話型の音声出力向けの、Fish Audioの第2世代テキスト音声合成モデルです。台本を音声に変換し、単語やフレーズ単位の自然言語による指示に対応します。前世代のS1は丸括弧の指示を使いますが、S2 Proは角括弧をネイティブに使い、1回の合成リクエストで複数話者に対応します。メーカーは、別途カスタマイズするためのS2 Proの重みとファインチューニングコードを公開しています。通常の音声リクエストは新しいモデルを訓練せず、選択したモデルを使います。

まず発話の内容を書き、影響させたい単語やフレーズの直前に読み方の指示を置きます。ささやき、反応、間、感情の変化、自由な話し方などを指示できます。短い製品説明では、事実を伝える文を明確にし、聞き手に違いを認識してほしい箇所だけを強調します。キャラクターのセリフでは、全体を固定した気分にするより、感情が変わる瞬間にその変化を記述してください。

角括弧のタグは、固定メニューではなく自由な描写です。例として[whispering]、[sigh]、[long pause]、[speaking slowly, almost hesitant]などがあります。タグは文中にも置け、その後の発話に作用します。描写タグの後には実際のテキストが必要で、指示だけでは予測しにくい出力になる場合があります。競合するタグが意図した演技を分かりにくくするため、重ねる前に役立つ指示を1つか2つから始めます。同じ指示でも、参照音声によって反応の強さが変わります。

S2のリリースでは約80言語への対応が説明され、台本と同じ言語で読み方の指示を書く例が示されています。読み上げる言語で文面を用意し、特定の読み方が必要な名前、単位、略語を保持してください。多言語ナレーションでは、台本の言語を変えても意図した声を維持できますが、完成音声では発音と一貫性を聴いて確認する必要があります。合成は与えた内容を音声にする処理であり、アプリケーションが何を伝えるかを決める処理ではありません。

話者が1人の場合は、保存済みの音声識別子を選ぶか、参照音声と対応する文字起こしを渡します。提供元は、即時のコンディショニングに雑音の少ない10～30秒のサンプルを推奨しています。対話では、<|speaker:0|>や<|speaker:1|>などの話者マーカーと、順序付きの音声識別子リスト、または話者別の参照グループを使います。番号付きマーカーは対応する音声の項目を選ぶため、会話の進行中も順序を固定します。自然言語の演技指示と話者の選択は、台本の中で異なる役割を持ちます。

音声はMP3、WAV、raw PCM、Opusで出力できます。MP3の既定は128 kbpsで、64または192 kbpsも選べます。Opus出力は48 kHzを使用し、WAVとPCMは16ビットのモノラルで、記載されたサンプルレートの選択肢に対応します。ナレーションとして保存するファイル、再生に適した音声チャンクなど、実際の用途に合わせて形式を選びます。提供元の音声ワークフローには、台本が順次届く場合のライブテキストストリーミングもあります。生成結果は台本全体と選択した声に結び付けて保持してください。

速度は0.5～2.0の範囲で調整でき、音量と出力ラウドネス正規化も制御できます。テキスト正規化は、英語と中国語の数値の読み上げを改善します。処理は100～300の範囲のチャンクと、チャンクごとの音声トークン予算を使うため、これらの設定をナレーション全体の固定された最大長と解釈してはいけません。前のチャンクのコンディショニングで、声の文脈を次の区間へ引き継げます。temperatureやtop-pなどのサンプリング制御は変化の幅に影響します。演技を明確に指示した1行でも、意図した音を作るためには十分なテキストと文脈が必要です。

制作の依頼では、ナレーション、対話、読み方の指示を分け、成果物の声と形式を示すと役立ちます。語の欠落、音声の重複、数値の読み方、話者の切り替え、反応のタイミングを聴いて確認してください。タグを増やせばすべてが良くなると考えず、不一致の原因となる行や参照音声を修正します。S2 Proは前世代の独立したS2モデルであり、S2.1 Proは独自の改善とモデル固有の設定動作を持つ後の版です。