Fish Audio: S2 Pro

S2 Pro is het tekst-naar-spraakmodel van de tweede generatie van Fish Audio voor expressieve vertelstemmen, personagedialogen en gesproken gespreksuitvoer. Het zet een geschreven script om in audio en ondersteunt aanwijzingen in natuurlijke taal op woord- of zinsdeelniveau. De vorige S1-generatie gebruikt aanwijzingen tussen ronde haken, terwijl S2 Pro standaard vierkante haken gebruikt en meerdere sprekers binnen één syntheseverzoek ondersteunt. De maker publiceert de modelgewichten van S2 Pro en code voor fine-tuning voor afzonderlijk maatwerk; een gewoon spraakverzoek gebruikt het geselecteerde model in plaats van een nieuw model te trainen.

Schrijf eerst de gesproken inhoud en plaats vervolgens een voordrachtaanwijzing direct vóór het woord of zinsdeel waarop die van invloed moet zijn. Aanwijzingen kunnen een fluistering, reactie, pauze, emotionele omslag of vrij omschreven spreekstijl beschrijven. Houd bij een korte productuitleg de feitelijke zin duidelijk en leg alleen nadruk waar de luisteraar een onderscheid moet opmerken. Beschrijf bij een personageregel de emotionele verandering op het moment waarop die optreedt, in plaats van de hele passage één vaste stemming te geven.

Tags tussen vierkante haken zijn vrije beschrijvingen, geen gesloten keuzemenu. Voorbeelden zijn [whispering], [sigh], [long pause] en een formulering zoals [speaking slowly, almost hesitant]. Tags kunnen midden in een zin staan en beïnvloeden de daaropvolgende spraak. Na een beschrijvende tag moet daadwerkelijke tekst volgen; een losse instructie kan onvoorspelbare uitvoer geven. Begin met één of twee nuttige aanwijzingen voordat u lagen toevoegt, want concurrerende tags kunnen de bedoelde voordracht vertroebelen. Verschillende stemreferenties kunnen met verschillende intensiteit op dezelfde aanwijzing reageren.

De release van S2 beschrijft ongeveer 80 talen en geeft voorbeelden van voordrachtaanwijzingen in dezelfde taal als het script. Bereid de tekst voor in de taal die moet worden gesproken en behoud namen, eenheden en afkortingen die op een specifieke manier moeten worden uitgesproken. Een meertalige vertelstem kan de bedoelde stem behouden terwijl de scripttaal verandert, maar het uiteindelijke resultaat moet nog steeds worden beluisterd op uitspraak en continuïteit. Synthese maakt de aangeleverde inhoud hoorbaar als spraak in plaats van te bepalen welke informatie de toepassing moet vertellen.

Kies voor één spreker een opgeslagen stemidentificatie of lever referentieaudio met het bijbehorende transcript aan. De producent beveelt een zuiver fragment van 10–30 seconden aan voor directe afstemming op een voorbeeld. Gebruik voor dialogen sprekermarkeringen zoals <|speaker:0|> en <|speaker:1|>, met een geordende lijst van stemidentificaties of afzonderlijke referentiegroepen voor de sprekers. De numerieke markering kiest de bijbehorende stemvermelding; houd de volgorde vast naarmate een gesprek zich ontwikkelt. Voordrachtaanwijzingen in natuurlijke taal en sprekerkeuze hebben verschillende rollen in het script.

De audio-uitvoer kan MP3, WAV, onbewerkte PCM of Opus zijn. MP3 gebruikt standaard 128 kbps en biedt ook 64 of 192 kbps; Opus-uitvoer gebruikt 48 kHz, terwijl WAV en PCM de gedocumenteerde keuzes voor samplefrequentie in 16-bits mono ondersteunen. Kies het formaat voor de daadwerkelijke bestemming: een opgeslagen bestand voor een vertelstem of geschikte audiodelen voor afspelen. De spraakwerkwijze van de producent beschrijft ook live tekststreaming wanneer het script geleidelijk binnenkomt. Het gegenereerde resultaat moet gekoppeld blijven aan het volledige script en de geselecteerde stemmen.

De snelheid kan worden ingesteld tussen 0.5 en 2.0, met instellingen voor volume en normalisatie van de uitvoerluidheid. Tekstnormalisatie verbetert de uitspraak van Engelse en Chinese getallen. Verwerking gebruikt delen in een bereik van 100–300 en een audiotokenbudget per deel, dus deze instellingen mogen niet worden gelezen als een vaste maximale lengte voor een hele vertelopname. Conditionering op het vorige deel kan stemcontext doorgeven naar het volgende segment. Samplinginstellingen zoals temperature en top-p beïnvloeden de variatie; een bewust gestuurde regel heeft nog steeds voldoende tekst en context nodig om de bedoelde klank te dragen.

Een bruikbare productieopdracht scheidt verteltekst, dialoog en voordrachtaanwijzingen en vermeldt vervolgens de stem en het formaat van het resultaat. Luister naar ontbrekende woorden, herhaalde audio, getaluitspraak, sprekerwissels en het moment van een reactie. Herzie de regel of stemreferentie die de afwijking veroorzaakt in plaats van aan te nemen dat meer tags elke passage verbeteren. S2 Pro blijft een afzonderlijk S2-model van de vorige generatie; S2.1 Pro is de latere editie met eigen verbeteringen en modelspecifiek gedrag van instellingen.