Fish Audio: S2.1 Pro

S2.1 Pro is het latere tekst-naar-spraakmodel uit de S2-generatie van Fish Audio voor expressieve vertelstemmen en toepassingen met gespreksstemmen. Het verbetert de spraakkwaliteit, latentie en doorvoer tegenover S2 Pro, met behoud van voordrachtsturing in natuurlijke taal en ingebouwde dialogen met meerdere sprekers. S2.1 Pro en S2.1 Pro Free delen het onderliggende spraakmodel.

Lever voor een gesproken uitleg de afgewerkte tekst, de bedoelde stem en de momenten waarop tempo of nadruk moet veranderen aan. Synthetiseer voor een gesprekstoepassing het antwoord dat de toepassing gekozen heeft en houd de feitelijke inhoud gescheiden van voordrachtaanwijzingen. Definieer voor een uitgeschreven gesprek de sprekers en hun stemmen voordat u hun beurten schrijft. Een bruikbaar resultaat is een volledige audiopassage of afspeelbare stream waarvan woorden, voordracht en sprekerrollen bij die opdracht passen.

Schrijf de woorden die daadwerkelijk uitgesproken moeten worden en plaats vervolgens een aanwijzing vlak vóór de passage waarvan de voordracht moet veranderen. Aanwijzingen tussen vierkante haken kunnen een fluistering, een pauze, een reactie, nadruk of een vrij omschreven spreekstijl aangeven. Plaats een verandering midden in een zin op het punt waar de voordracht die nodig heeft en laat beschrijvende aanwijzingen volgen door echte gesproken tekst. Een bruikbare opdracht voor een uitleg scheidt de feitelijke formulering van de warmte, het tempo of de nadruk die voor de luisteraar gewenst is.

Kies voor één spreker een opgeslagen stem-ID of lever een referentieopname met het bijbehorende transcript aan. De spraakgids van de producent beveelt een zuivere opname van 10–30 seconden aan om de stem direct op een voorbeeld af te stemmen. Kies een referentie waarvan de toon en opnamekwaliteit bij het script passen en behoud dezelfde referentie in samenhangende passages. De stemreferentie levert de klank van de spreker; de tekst en ingevoegde aanwijzingen leveren de inhoud en de voordracht.

De ingebouwde synthese voor meerdere sprekers gebruikt markeringen zoals <|speaker:0|> en <|speaker:1|> met een geordende array van stem-ID’s of afzonderlijke referentiegroepen. Laat de numerieke sprekerlabels overeenkomen met die volgorde. Schrijf voor een instructief gesprek de tekst van iedere spreker en plaats de voordrachtaanwijzing op de juiste plek na de sprekermarkering. Zo ontstaat binnen één verzoek een dialoog; deze werkwijze verschilt van de afzonderlijke segmenten met één spreker van S1, die achteraf samengevoegd worden.

De werkwijze van de producent biedt uitvoer in MP3, WAV, ruwe PCM en Opus, met MP3 als standaard. MP3 ondersteunt 64, 128 en 192 kbps; WAV en PCM gebruiken de gedocumenteerde 16-bits mono-sampleformaten, terwijl Opus 48 kHz gebruikt. Kies het formaat voor een te bewaren vertelbestand, gestreamde weergave of een volgende stap in een audiopijplijn. Bewaar het volledige script en de stemkeuze bij de audio, zodat een latere bewerking één regel kan aanpassen zonder de bedoelde voordracht te verliezen.

De snelheid kan van 0.5 tot 2.0 aangepast worden, met regelaars voor het volume. Tekstnormalisatie schrijft Engelse en Chinese getallen uit zodat ze natuurlijk voorgelezen worden. Normalisatie van de uitvoerluidheid staat standaard op true en wordt op de S2-familie toegepast; hetzelfde veld had geen effect op S1. De parameter repetition_penalty van S1 verandert de audio van S2.1 Pro niet, dus een oude instelling mag voor dit model niet als een werkzame regelaar beschouwd worden. Beoordeel herhaalde klanken en formuleringen rechtstreeks in plaats van op een overgenomen parameter te vertrouwen om het resultaat vast te stellen.

Langere scripts worden in stukken verwerkt. Het gedocumenteerde bereik voor de stuklengte is 100–300 en max_new_tokens is een audiotokenbudget per stuk, geen garantie voor de totale duur. Afstemming op het vorige stuk kan stemcontext meenemen naar het volgende. De leveringswerkwijze van de producent beschrijft volledige audio, opeenvolgende audiostukken en live tekststreaming wanneer het script geleidelijk binnenkomt. Kies hoe de toepassing de uitvoer verwerkt en bewaar voldoende scriptcontext voor de uitspraak en de toon van de volgende passage.

Luister voor een bruikbaar eindresultaat naar weggelaten of herhaalde woorden, de uitspraak van getallen, sprekerwisselingen, pauzes en de intensiteit van de aanwijzingen. Verschillende stemreferenties kunnen een aanwijzing met verschillende sterkte interpreteren. Begin daarom met een eenvoudige regel met voordrachtaanwijzing voordat u concurrerende tags toevoegt. Lever bij meertalig werk het script in de doeltaal aan in plaats van het spraakmodel te vragen de inhoud te verzinnen of te vertalen. Een gerichte herziening wijzigt de regel, aanwijzing of referentie die de afwijking veroorzaakt, terwijl de delen van de voordracht die al bij de opdracht passen behouden blijven.