Fish Audio: S2 Pro

S2 Pro is het tekst-naar-spraakmodel van de tweede generatie van Fish Audio voor expressieve vertelstemmen, personagedialogen en gesproken gespreksuitvoer. Het zet een geschreven script om in audio en ondersteunt aanwijzingen in natuurlijke taal op woord- of zinsdeelniveau. De vorige S1-generatie gebruikt aanwijzingen tussen ronde haken, terwijl S2 Pro standaard vierkante haken gebruikt en meerdere sprekers in één syntheseverzoek ondersteunt. De maker stelt de gewichten en finetuningcode van S2 Pro beschikbaar voor afzonderlijk aanpassingswerk; een gewoon spraakverzoek gebruikt het geselecteerde model in plaats van een nieuw model te trainen.

Schrijf eerst de gesproken inhoud en plaats daarna een voordrachtinstructie vlak vóór het woord of zinsdeel waarop ze moet inwerken. Aanwijzingen kunnen een fluistering, reactie, pauze, emotionele verandering of vrij omschreven spreekstijl beschrijven. Houd bij een korte productuitleg de feitelijke zin duidelijk en leg alleen nadruk waar de luisteraar een onderscheid moet opmerken. Beschrijf voor een personageregel de emotionele verandering op het moment waarop ze optreedt, in plaats van de hele passage één vaste stemming te geven.

Tags tussen vierkante haken zijn vrij te formuleren beschrijvingen, geen gesloten keuzemenu. Voorbeelden zijn [whispering], [sigh], [long pause] en een formulering zoals [speaking slowly, almost hesitant]. Tags kunnen midden in een zin staan en beïnvloeden de volgende gesproken tekst. Een beschrijvende tag moet door echte tekst gevolgd worden; een geïsoleerde instructie kan onvoorspelbare uitvoer geven. Begin met één of twee nuttige aanwijzingen voordat u lagen toevoegt, omdat concurrerende tags de bedoelde voordracht kunnen vertroebelen. Verschillende stemreferenties kunnen met verschillende intensiteit op dezelfde aanwijzing reageren.

De releasebeschrijving van S2 vermeldt ongeveer 80 talen en geeft voorbeelden van voordrachtinstructies in dezelfde taal als het script. Bereid de tekst voor in de taal die gesproken moet worden en behoud namen, eenheden en afkortingen die een specifieke uitspraak nodig hebben. Een meertalige verteltekst kan de bedoelde stem behouden terwijl de scripttaal verandert, maar het eindresultaat moet nog steeds op uitspraak en continuïteit beluisterd worden. Synthese maakt spraak van de aangeleverde inhoud en bepaalt niet welke informatie de toepassing zou moeten vertellen.

Kies voor één spreker een opgeslagen stem-ID of lever referentieaudio met het bijbehorende transcript aan. De producent beveelt een zuivere opname van 10–30 seconden aan voor directe afstemming op een voorbeeld. Gebruik voor dialogen sprekermarkeringen zoals <|speaker:0|> en <|speaker:1|>, met een geordende lijst van stem-ID’s of afzonderlijke referentiegroepen voor de sprekers. De numerieke markering selecteert het overeenkomstige stemitem; behoud dezelfde volgorde naarmate het gesprek vordert. Voordrachtaanwijzingen in natuurlijke taal en sprekerselectie hebben verschillende rollen in het script.

De audio-uitvoer kan MP3, WAV, ruwe PCM of Opus zijn. MP3 gebruikt standaard 128 kbps en biedt ook 64 of 192 kbps; Opus-uitvoer gebruikt 48 kHz, terwijl WAV en PCM hun gedocumenteerde samplefrequentiekeuzes als 16-bits mono ondersteunen. Kies het formaat volgens de werkelijke bestemming: een te bewaren bestand voor vertelwerk of geschikte audiostukken voor weergave. De spraakwerkwijze van de producent beschrijft ook live tekststreaming wanneer het script geleidelijk binnenkomt. Het gegenereerde resultaat moet aan het volledige script en de geselecteerde stemmen gekoppeld blijven.

De snelheid kan tussen 0.5 en 2.0 aangepast worden, met regelaars voor volume en normalisatie van de uitvoerluidheid. Tekstnormalisatie verbetert het voorlezen van Engelse en Chinese getallen. De verwerking gebruikt stukken binnen een bereik van 100–300 en een audiotokenbudget per stuk. Deze instellingen mogen dus niet als een vaste maximale lengte voor een volledige verteltekst gelezen worden. Afstemming op het vorige stuk kan stemcontext naar het volgende segment meenemen. Samplingregelaars zoals temperature en top-p beïnvloeden de variatie; een doelbewust gestuurde regel heeft nog steeds voldoende tekst en context nodig om de bedoelde klank te dragen.

Een bruikbare productieopdracht scheidt verteltekst, dialoog en voordrachtaanwijzingen en vermeldt vervolgens de stem en het formaat van het resulterende bestand. Luister naar ontbrekende woorden, herhaalde audio, uitspraak van getallen, sprekerwisselingen en de timing van een reactie. Herzie de regel of stemreferentie die de afwijking veroorzaakt in plaats van aan te nemen dat meer tags iedere passage verbeteren. S2 Pro blijft een afzonderlijk S2-model van de vorige generatie; S2.1 Pro is de latere editie met eigen verbeteringen en modelspecifiek gedrag van instellingen.