Fish Audio: S2 Pro

S2 Pro ist Fish Audios Text-to-Speech-Modell der zweiten Generation für ausdrucksstarke Sprecheraufnahmen, Figurendialoge und dialogorientierte Sprachausgabe. Es wandelt ein geschriebenes Skript in Audio um und unterstützt natürlichsprachliche Anweisungen auf Wort- oder Phrasenebene. Die frühere S1-Generation verwendet Hinweise in runden Klammern, während S2 Pro nativ eckige Klammern verwendet und mehrere Sprechende innerhalb einer Syntheseanfrage unterstützt. Der Hersteller veröffentlicht die Gewichte und den Fine-Tuning-Code von S2 Pro für gesonderte Anpassungsarbeiten; eine gewöhnliche Sprachanfrage verwendet das ausgewählte Modell, statt ein neues zu trainieren.

Schreiben Sie zuerst den gesprochenen Inhalt und setzen Sie anschließend eine Vortragsanweisung unmittelbar vor das Wort oder die Phrase, auf die sie wirken soll. Anweisungen können Flüstern, eine Reaktion, eine Pause, einen Gefühlswechsel oder einen frei beschriebenen Sprechstil ausdrücken. Halten Sie bei einer kurzen Produkterklärung den sachlichen Satz klar und setzen Sie Betonung nur dort, wo die Zuhörenden einen Unterschied bemerken sollen. Beschreiben Sie bei einer Figurenzeile den emotionalen Wechsel an der Stelle, an der er auftritt, statt die gesamte Passage in einer festen Stimmung zu halten.

Tags in eckigen Klammern sind frei formulierte Beschreibungen und keine geschlossene Auswahl. Beispiele sind [whispering], [sigh], [long pause] und eine Formulierung wie [speaking slowly, almost hesitant]. Tags können mitten im Satz stehen und beeinflussen die folgende Sprache. Auf einen beschreibenden Tag muss tatsächlicher Text folgen; eine isolierte Anweisung kann unvorhersehbare Ausgabe erzeugen. Beginnen Sie mit ein oder zwei nützlichen Anweisungen, bevor Sie weitere Ebenen hinzufügen, denn konkurrierende Tags können den beabsichtigten Vortrag verdecken. Verschiedene Stimmenreferenzen können dieselbe Anweisung unterschiedlich intensiv umsetzen.

Die Veröffentlichung von S2 beschreibt rund 80 Sprachen und zeigt Beispiele mit Vortragsanweisungen in derselben Sprache wie das Skript. Bereiten Sie den Wortlaut in der zu sprechenden Sprache vor und bewahren Sie Namen, Einheiten und Abkürzungen, die eine bestimmte Aussprache benötigen. Eine mehrsprachige Sprecheraufnahme kann ihre beabsichtigte Stimme beim Wechsel der Skriptsprache beibehalten; das fertige Ergebnis muss dennoch auf Aussprache und Kontinuität abgehört werden. Die Synthese gibt den bereitgestellten Inhalt als Sprache aus, statt zu entscheiden, welche Informationen die Anwendung sagen soll.

Wählen Sie für eine einzelne sprechende Person eine gespeicherte Stimmenkennung oder stellen Sie Referenzaudio samt passender Transkription bereit. Der Hersteller empfiehlt eine saubere Probe von 10–30 Sekunden für die sofortige Konditionierung. Verwenden Sie für Dialoge Sprechermarkierungen wie <|speaker:0|> und <|speaker:1|> zusammen mit einer geordneten Liste von Stimmenkennungen oder separaten Referenzgruppen für die Sprechenden. Die numerische Markierung wählt den entsprechenden Stimmeneintrag; halten Sie die Reihenfolge im Gesprächsverlauf fest. Natürlichsprachliche Vortragsanweisungen und die Sprecherauswahl erfüllen unterschiedliche Aufgaben im Skript.

Die Audioausgabe kann MP3, WAV, rohes PCM oder Opus sein. MP3 verwendet standardmäßig 128 kbps und bietet 64 oder 192 kbps; Opus-Ausgabe arbeitet mit 48 kHz, während WAV und PCM ihre dokumentierten Abtastraten als 16-Bit-Mono unterstützen. Wählen Sie das Format für sein tatsächliches Ziel: eine gespeicherte Datei für Sprecheraufnahmen oder geeignete Audioabschnitte für die Wiedergabe. Der Sprachablauf des Herstellers beschreibt auch Live-Textstreaming, wenn das Skript nach und nach eintrifft. Das generierte Ergebnis sollte mit dem vollständigen Skript und den ausgewählten Stimmen verknüpft bleiben.

Die Geschwindigkeit lässt sich zwischen 0.5 und 2.0 einstellen; hinzu kommen Lautstärke- und Ausgabelautheitsnormalisierung. Textnormalisierung verbessert die Aussprache englischer und chinesischer Zahlen. Die Verarbeitung verwendet Abschnitte im Bereich 100–300 und ein Audiotoken-Budget pro Abschnitt; diese Einstellungen sind daher nicht als feste Maximallänge einer gesamten Sprecheraufnahme zu lesen. Die Konditionierung anhand des vorigen Abschnitts kann Stimmenkontext in das nächste Segment tragen. Sampling-Regler wie temperature und top-p beeinflussen die Variation; auch eine gezielt angeleitete Zeile benötigt genug Text und Kontext, um den beabsichtigten Klang zu tragen.

Ein nützliches Produktionsbriefing trennt Sprechertext, Dialog und Vortragsanweisungen und legt anschließend Stimme und Format des Ergebnisses fest. Hören Sie auf fehlende Wörter, wiederholtes Audio, Zahlenaussprache, Sprecherwechsel und das Timing einer Reaktion. Überarbeiten Sie die für die Abweichung verantwortliche Zeile oder Stimmenreferenz, statt anzunehmen, dass mehr Tags jede Passage verbessern. S2 Pro bleibt ein eigenständiges S2-Modell der vorherigen Generation; S2.1 Pro ist die spätere Ausgabe mit eigenen Verbesserungen und modellspezifischem Einstellungsverhalten.