Fish Audio: S1

S1 is het tekst-naar-spraakmodel van de vorige generatie van Fish Audio voor expressieve vertelteksten en stemuitvoer met één spreker. Het leest een aangeleverd script en geeft audio terug met een geselecteerde stem of een stem die door referentieaudio wordt bepaald. Het volledige S1-model staat los van S1-mini, het kleinere gedistilleerde model; de producent introduceert deze als varianten met respectievelijk 4 miljard en 0,5 miljard parameters. Dit profiel betreft het genoemde S1-model.

Bereid voor een verteltekst de woorden voor die daadwerkelijk moeten worden uitgesproken en markeer de plaatsen waar de voordracht moet veranderen. Een bruikbaar uitlegscript noemt eerst het hoofdpunt, werkt telkens één idee uit en gebruikt leestekens om zinsdelen te scheiden die een natuurlijke pauze nodig hebben. Houd een korte instructie begrijpelijk wanneer deze zonder scherm wordt gehoord. Behoud de bedoelde uitspraak van namen, afkortingen en eenheden en controleer getallen in de gesproken uitvoer, in plaats van aan te nemen dat een visueel leesbare tekenreeks maar één uitspraak heeft.

S1 gebruikt emotie- en voordrachtaanwijzingen tussen ronde haakjes, zoals (angry), (sad), (in a hurry) of (chuckling). Plaats een aanwijzing vóór de zin of het zinsdeel dat deze moet beïnvloeden, met de daadwerkelijke spraak erna. De voordracht hoort bij de daaropvolgende tekst, dus een stemmingsverandering moet verschijnen waar de uitvoering moet veranderen. Dit is een andere syntaxis dan de aanwijzingen tussen vierkante haakjes van S2; schrijf het script voor de geselecteerde generatie en neem niet aan dat de twee opmaakvormen onderling uitwisselbaar zijn.

Een stem kan worden geselecteerd via een opgeslagen stem-ID of worden bepaald op basis van een referentieopname met het bijbehorende transcript. Voor een workflow met een directe referentie beveelt de algemene spraakgids een schoon fragment van 10–30 seconden aan. Kies een fragment waarvan de spreekstijl en opnamekwaliteit bij het gewenste resultaat passen en laat het transcript overeenkomen met de woorden in dat fragment. Hergebruik voor een terugkerende verteller dezelfde stemreferentie in verschillende passages zodat een verandering van onderwerp niet onbedoeld een verandering van personage wordt.

De S1-release noemt onder meer Engels, Chinees, Japans, Duits, Frans, Spaans, Koreaans, Arabisch, Russisch, Nederlands, Italiaans, Pools en Portugees als ondersteunde talen en beschrijft het mengen van talen binnen een script. Lever de formulering in de doeltaal aan in plaats van spraaksynthese als een vertaalstap te behandelen. Houd bij een passage met een ontleende naam of taalwisseling de spelling en de omliggende zinscontext duidelijk en controleer hoe de geselecteerde stem die overgang uitvoert.

De interface van de producent voor S1 ondersteunt één spreker per syntheseverzoek. Een dialoog kan worden voorbereid als afzonderlijke segmenten met eigen stemreferenties en daarna door de toepassing worden samengevoegd; native synthese met meerdere sprekers in de S2-familie is een afzonderlijke mogelijkheid. Houd de rol, stem en tekst gekoppeld aan elk segment wanneer u personageteksten voorbereidt. Het syntheseresultaat is een audio-uitvoering van het script; het timen van een gesprek of combineren met muziek en video is een latere montagestap.

Uitvoeropties zijn MP3, WAV, onbewerkte PCM en Opus, met MP3 als standaard. De gedocumenteerde uitvoer is mono; WAV en PCM gebruiken 16-bits samples en de beschikbare samplefrequenties verschillen per formaat. MP3 ondersteunt 64, 128 en 192 kbps, terwijl Opus 48 kHz gebruikt. De snelheid kan van 0.5 tot 2.0 worden aangepast, met volumeregelaars. Kies een gecodeerd bestand als voice-overresultaat of een geschikte stream voor afspelen en bewaar de geselecteerde stem en het script bij het resultaat.

De producent verwerkt lange tekst in delen, met een gedocumenteerd bereik van 100–300 voor de deellengte en een budget aan audiotokens per deel, in plaats van een gegarandeerde totale opnameduur. Tekstnormalisatie kan Engelse en Chinese getallen omzetten in een natuurlijke leesvorm en de herhalingspenalty van S1 kan herhaalde audiopatronen verminderen. Normalisatie van de uitvoerluidheid is een andere instelling en heeft geen effect op S1. Controleer uitspraak, grenzen tussen zinsdelen, herhaalde klanken en de bedoelde emotionele verandering voordat u de uiteindelijke passage samenstelt; pas daarna de specifieke regel of referentie aan die aandacht nodig heeft.