Fish Audio: S2 Pro

S2 Pro ist Fish Audios Text-zu-Sprache-Modell der zweiten Generation für ausdrucksstarke Sprechertexte, Figurendialoge und gesprächsorientierte Sprachausgabe. Es wandelt ein schriftliches Skript in Audio um und unterstützt natürlichsprachliche Anweisungen auf Wort- oder Phrasenebene. Die vorherige S1-Generation verwendet Hinweise in runden Klammern; S2 Pro verwendet nativ eckige Klammern und unterstützt mehrere Sprecher innerhalb einer Syntheseanfrage. Der Hersteller veröffentlicht S2-Pro-Gewichte und Fine-Tuning-Code für gesonderte Anpassungsarbeit. Eine gewöhnliche Sprachanfrage verwendet das gewählte Modell, statt ein neues zu trainieren.

Schreiben Sie zuerst den Sprechtext und setzen Sie dann eine Vortragsanweisung unmittelbar vor das Wort oder die Phrase, auf die sie wirken soll. Anweisungen können Flüstern, eine Reaktion, eine Pause, einen Gefühlswechsel oder einen frei beschriebenen Sprechstil benennen. Halten Sie bei einer kurzen Produkterklärung den sachlichen Satz klar und betonen Sie nur dort, wo der Zuhörer einen Unterschied bemerken soll. Beschreiben Sie bei einer Figurenzeile den emotionalen Wechsel an der Stelle seines Auftretens, statt der ganzen Passage eine feste Stimmung zu geben.

Tags in eckigen Klammern sind frei formulierte Beschreibungen statt eines geschlossenen Menüs. Beispiele sind [whispering], [sigh], [long pause] und eine Phrase wie [speaking slowly, almost hesitant]. Tags können innerhalb eines Satzes stehen und beeinflussen die folgende Sprache. Auf einen beschreibenden Tag muss tatsächlicher Text folgen; eine alleinstehende Anweisung kann unvorhersehbare Ausgabe erzeugen. Beginnen Sie mit ein oder zwei nützlichen Anweisungen, bevor Sie weitere Ebenen hinzufügen, da konkurrierende Tags den beabsichtigten Vortrag verwischen können. Verschiedene Stimmreferenzen reagieren möglicherweise unterschiedlich stark auf dieselbe Anweisung.

Die S2-Veröffentlichung beschreibt ungefähr 80 Sprachen und zeigt Vortragsanweisungen in derselben Sprache wie das Skript. Bereiten Sie den Wortlaut in der zu sprechenden Sprache vor und bewahren Sie Namen, Einheiten und Abkürzungen mit besonderer Aussprache. Eine mehrsprachige Vertonung kann beim Wechsel der Skriptsprache ihre gewünschte Stimme behalten; das Endergebnis muss dennoch auf Aussprache und Kontinuität angehört werden. Die Synthese gibt gelieferte Inhalte als Sprache aus, statt zu entscheiden, welche Informationen die Anwendung sagen soll.

Wählen Sie für einen einzelnen Sprecher eine gespeicherte Stimmkennung oder liefern Sie Referenzaudio und das passende Transkript. Der Hersteller empfiehlt eine saubere Probe von 10–30 Sekunden für sofortige Konditionierung. Verwenden Sie für Dialoge Sprechermarkierungen wie <|speaker:0|> und <|speaker:1|> mit einer geordneten Liste von Stimmkennungen oder getrennten Referenzgruppen für die Sprecher. Die numerische Markierung wählt den entsprechenden Stimmeintrag; halten Sie die Reihenfolge im Gespräch fest. Natürlichsprachliche Vortragsanweisungen und Sprecherauswahl haben verschiedene Aufgaben im Skript.

Die Audioausgabe kann MP3, WAV, rohes PCM oder Opus sein. MP3 hat standardmässig 128 kbps und bietet 64 oder 192 kbps; Opus verwendet 48 kHz, WAV und PCM unterstützen ihre dokumentierten Abtastraten als 16-Bit-Mono. Wählen Sie das Format für seinen tatsächlichen Zielort: eine gespeicherte Datei für Sprechertexte oder geeignete Audioabschnitte für die Wiedergabe. Der Sprachablauf des Herstellers beschreibt ausserdem Live-Textstreaming, wenn das Skript schrittweise eintrifft. Das erzeugte Ergebnis sollte dem vollständigen Skript und den gewählten Stimmen zugeordnet bleiben.

Die Geschwindigkeit lässt sich zwischen 0,5 und 2,0 anpassen, mit Reglern für Lautstärke und Normalisierung der Ausgabelautheit. Textnormalisierung verbessert die Aussprache englischer und chinesischer Zahlen. Die Verarbeitung verwendet Abschnitte im Bereich 100–300 und ein Audiotokenbudget je Abschnitt; diese Einstellungen bedeuten deshalb keine feste Maximallänge für einen gesamten Sprechertext. Konditionierung durch den vorherigen Abschnitt kann Stimmkontext in das nächste Segment übernehmen. Sampling-Regler wie temperature und top-p beeinflussen die Variation; auch eine gezielt angeleitete Zeile benötigt ausreichend Text und Kontext für den beabsichtigten Klang.

Ein brauchbares Produktionsbriefing trennt Sprechertext, Dialog und Vortragsanweisungen und benennt dann Stimme und Format des entstehenden Ergebnisses. Achten Sie beim Anhören auf fehlende Wörter, wiederholtes Audio, Zahlenaussprache, Sprecherwechsel und den Zeitpunkt einer Reaktion. Überarbeiten Sie die verantwortliche Zeile oder Stimmreferenz, statt anzunehmen, mehr Tags verbesserten jede Passage. S2 Pro bleibt ein eigenständiges Modell der vorherigen S2-Generation; S2.1 Pro ist die spätere Edition mit eigenen Verbesserungen und modellspezifischem Einstellungsverhalten.