Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free is de op ontwikkelaars gerichte editie van het tekst-naar-spraakmodel S2.1 van Fish Audio. Het deelt het onderliggende model en de kernmogelijkheden voor synthese met S2.1 Pro: expressieve meertalige spraak, voordrachtaanwijzingen in natuurlijke taal en ingebouwde dialoog met meerdere sprekers. Het is bedoeld voor testen, prototyping, ontwikkeling en kleinere toepassingswerkwijzen.

Begin voor een prototype van een spraakassistent met een volledig voorbeeldantwoord en beoordeel hoe het klinkt voordat u geleidelijk binnenkomende tekst test. Bereid voor een leerproduct een korte uitleg voor met precies de termen en getaluitspraak die de luisteraar nodig heeft. Definieer voor een dialoogprototype de sprekers en hun stemreferenties voordat u voordrachtaanwijzingen toevoegt. Deze stappen ontwikkelen een audioresultaat en de toepassingsstroom eromheen, in plaats van een syntheseverzoek verantwoordelijk te maken voor het hele gesprek.

Schrijf de woorden die daadwerkelijk moeten worden uitgesproken en plaats vervolgens een instructie direct vóór de passage waarvan de voordracht moet veranderen. Aanwijzingen tussen vierkante haken kunnen een fluistering, pauze, reactie, nadruk of een vrij omschreven spreekstijl aangeven. Plaats een verandering midden in een zin op het punt waar de voordracht die nodig heeft en laat beschrijvende aanwijzingen volgen door daadwerkelijke spraak. Een bruikbare opdracht voor een uitleg scheidt de feitelijke formulering van de gewenste warmte, het tempo of de nadruk voor de luisteraar.

Selecteer voor één spreker een opgeslagen stemidentificatie of lever een referentieopname met het bijbehorende transcript aan. De spraakgids van de producent beveelt een zuiver fragment van 10–30 seconden aan om de stem direct op een voorbeeld af te stemmen. Kies een referentie waarvan de toon en opnamekwaliteit bij het script passen en gebruik dezelfde referentie voor samenhangende passages. De stemreferentie bepaalt de klank van de spreker; de tekst en de aanwijzingen in het script bepalen de inhoud en de voordracht.

De ingebouwde synthese met meerdere sprekers gebruikt markeringen zoals <|speaker:0|> en <|speaker:1|> met een geordende array van stemidentificaties of afzonderlijke referentiegroepen. Houd de numerieke sprekerlabels in overeenstemming met die volgorde. Schrijf voor een leerzame uitwisseling de tekst van elke spreker en plaats de aanwijzing voor de voordracht na de sprekermarkering waar die thuishoort. Hiermee ontstaat een dialoog binnen één verzoek; deze werkwijze verschilt van de afzonderlijke segmenten met één spreker van S1 en de latere samenvoeging daarvan.

De werkwijze van de producent biedt uitvoer als MP3, WAV, onbewerkte PCM en Opus, met MP3 als standaard. MP3 ondersteunt 64, 128 en 192 kbps; WAV en PCM gebruiken de gedocumenteerde 16-bits monosampleformaten, terwijl Opus 48 kHz gebruikt. Kies het formaat voor een opgeslagen vertelbestand, gestreamde weergave of een volgende stap in de audioverwerking. Bewaar het volledige script en de stemkeuze bij de audio, zodat een latere bewerking één regel kan aanpassen zonder de bedoelde voordracht kwijt te raken.

De snelheid kan worden ingesteld van 0.5 tot 2.0, met volumeregelaars. Tekstnormalisatie schrijft Engelse en Chinese getallen uit voor een natuurlijke uitspraak. Normalisatie van de uitvoerluidheid staat standaard op true en wordt toegepast op de S2-familie; hetzelfde veld had geen effect op S1. De repetition_penalty van S1 verandert de audio van S2.1 Pro niet, dus een oude instelling mag niet als een werkzame regelaar voor dit model worden beschouwd. Beoordeel herhaalde klanken en formuleringen rechtstreeks in plaats van met een overgenomen parameter het resultaat als vastgesteld te beschouwen.

Langere scripts worden in delen verwerkt. Het gedocumenteerde bereik voor de deellengte is 100–300 en max_new_tokens is een budget voor audiotokens per deel, geen garantie voor de totale duur. Conditionering op het vorige deel kan stemcontext doorgeven. De afleverwerkwijze van de producent beschrijft volledige audio, stapsgewijs geleverde audiodelen en live tekststreaming wanneer het script geleidelijk binnenkomt. Kies de manier van verwerken voor de toepassing en bewaar genoeg scriptcontext voor de uitspraak en toon van de volgende passage.

Luister voor een bruikbaar eindresultaat naar weggelaten of herhaalde woorden, de uitspraak van getallen, sprekerwissels, pauzes en de intensiteit van de aanwijzingen. Verschillende stemreferenties kunnen een aanwijzing met verschillende sterkte interpreteren; begin daarom met een eenvoudige regel met voordrachtaanwijzing voordat u concurrerende tags toevoegt. Lever bij meertalig werk het script in de doeltaal aan in plaats van het spraakmodel de inhoud te laten bedenken of vertalen. Een gerichte revisie verandert de regel, aanwijzing of referentie die de afwijking veroorzaakt, terwijl de delen van de voordracht die al bij de opdracht passen behouden blijven.