Fish Audio: S2 Pro

S2 Pro er Fish Audios andre generasjon av tekst-til-tale-modeller for uttrykksfull fortellerstemme, karakterdialog og samtalebasert tale. Den gjør et skriftlig manus om til lyd og støtter instruksjoner i naturlig språk på ord- eller frasenivå. Den tidligere S1-generasjonen bruker instruksjoner i runde parenteser, mens S2 Pro har innebygd bruk av hakeparenteser og støtter flere talere i én synteseforespørsel. Produsenten publiserer vekter og finjusteringskode for S2 Pro til separat tilpasningsarbeid; en vanlig taleforespørsel bruker den valgte modellen fremfor å trene en ny.

Skriv taleinnholdet først, og plasser deretter en fremføringsinstruksjon rett før ordet eller frasen den skal påvirke. Instruksjoner kan beskrive hvisking, en reaksjon, en pause, et følelsesskifte eller en fritt beskrevet talemåte. Ved en kort produktforklaring holder du faktasetningen tydelig og legger bare betoning der lytteren bør merke en forskjell. Ved en karakterreplikk beskriver du følelsesendringen i øyeblikket den skjer, fremfor å gi hele passasjen én fast stemning.

Tagger i hakeparenteser er frie beskrivelser, ikke en lukket meny. Eksempler er [whispering], [sigh], [long pause] og en frase som [speaking slowly, almost hesitant]. Tagger kan stå midt i en setning og påvirke talen som følger. En beskrivende tagg trenger faktisk tekst etter seg; en isolert instruksjon kan gi uforutsigbare utdata. Begynn med én eller to nyttige instruksjoner før du legger til flere lag, siden konkurrerende tagger kan tilsløre den tiltenkte fremføringen. Ulike stemmereferanser kan reagere på den samme instruksjonen med ulik styrke.

S2-utgivelsen beskriver omtrent 80 språk og viser eksempler på fremføringsinstruksjoner skrevet på samme språk som manuset. Forbered ordlyden på språket som skal uttales, og bevar navn, enheter og forkortelser som trenger en bestemt uttale. En flerspråklig innlesing kan beholde ønsket stemme mens manusspråket endres, men det ferdige resultatet må fortsatt lyttes gjennom for uttale og kontinuitet. Syntesen lager tale av det oppgitte innholdet fremfor å avgjøre hvilken informasjon applikasjonen skal formidle.

For én taler velger du en lagret stemmeidentifikator eller legger ved referanselyd med samsvarende transkripsjon. Produsenten anbefaler et rent opptak på 10–30 sekunder for umiddelbar tilpasning. Ved dialog bruker du talermarkører som <|speaker:0|> og <|speaker:1|>, med en ordnet liste over stemmeidentifikatorer eller separate referansegrupper for talerne. Den numeriske markøren velger den tilsvarende stemmeoppføringen; hold rekkefølgen fast etter hvert som samtalen utvikler seg. Fremføringsinstruksjoner i naturlig språk og talervalg har ulike roller i manuset.

Lydutdataene kan være MP3, WAV, rå PCM eller Opus. MP3 har standardverdien 128 kbps og tilbyr 64 eller 192 kbps; Opus-utdata bruker 48 kHz, mens WAV og PCM støtter sine dokumenterte samplingsfrekvenser som 16-biters mono. Velg format etter det faktiske målet: en lagret fil for innlesing eller passende lydbiter for avspilling. Produsentens taleprosess beskriver også strømming av tekst i sanntid når manuset kommer gradvis. Det genererte resultatet bør fortsatt være knyttet til det fullstendige manuset og de valgte stemmene.

Hastigheten kan justeres mellom 0.5 og 2.0, med innstillinger for volum og normalisering av lydstyrke i utdata. Tekstnormalisering forbedrer opplesing av engelske og kinesiske tall. Behandlingen bruker biter i intervallet 100–300 og et lydtokenbudsjett per bit, så disse innstillingene skal ikke leses som en fast maksimal lengde for hele innlesingen. Tilpasning ut fra forrige bit kan føre stemmekontekst videre til neste segment. Samplinginnstillinger som temperature og top-p påvirker variasjon; en bevisst regissert linje trenger fortsatt nok tekst og kontekst til å formidle ønsket klang.

En nyttig produksjonsbeskrivelse skiller mellom fortellertekst, dialog og fremføringsinstruksjoner og angir deretter stemme og format for resultatet. Lytt etter manglende ord, gjentatt lyd, talluttale, talerskifter og tidspunktet for en reaksjon. Revider linjen eller stemmereferansen som forårsaker avviket, fremfor å anta at flere tagger forbedrer alle passasjer. S2 Pro er fortsatt en egen modell fra den tidligere S2-generasjonen; S2.1 Pro er den nyere utgaven med egne forbedringer og modellspesifikk virkning av innstillinger.