Fish Audio: S2 Pro

S2 Pro on Fish Audion toisen sukupolven tekstistä puheeksi -malli ilmaisuvoimaiseen kerrontaan, hahmodialogiin ja keskustelevaan puheentuotantoon. Se muuntaa kirjallisen käsikirjoituksen ääneksi ja tukee luonnollisella kielellä annettavaa ohjausta sana- tai ilmaustasolla. Edellinen S1-sukupolvi käyttää sulkeisiin kirjoitettuja vihjeitä, kun taas S2 Pro käyttää natiivisti hakasulkeita ja tukee useita puhujia samassa synteesipyynnössä. Valmistaja julkaisee S2 Pron painot ja hienosäätökoodin erillistä mukautustyötä varten; tavallinen puhepyyntö käyttää valittua mallia kouluttamatta uutta.

Kirjoita ensin puhuttava sisältö ja sijoita sitten esitysohje välittömästi sen sanan tai ilmauksen eteen, johon sen tulee vaikuttaa. Ohje voi kuvata kuiskauksen, reaktion, tauon, tunnemuutoksen tai vapaasti määritellyn puhetavan. Pidä lyhyessä tuoteselityksessä asiavirke selkeänä ja lisää painotus vain kohtaan, jossa kuulijan tulee huomata ero. Kuvaa hahmon repliikissä tunnemuutos sen tapahtumahetkellä sen sijaan, että koko jakso noudattaisi yhtä muuttumatonta tunnelmaa.

Hakasuljetunnisteet ovat vapaamuotoisia kuvauksia, eivät suljettu valikko. Esimerkkejä ovat [whispering], [sigh], [long pause] ja ilmaus kuten [speaking slowly, almost hesitant]. Tunnisteet voivat esiintyä keskellä virkettä ja vaikuttaa seuraavaan puheeseen. Kuvailevan tunnisteen jälkeen tarvitaan varsinaista tekstiä; yksittäinen ohje voi tuottaa arvaamattoman tuloksen. Aloita yhdestä tai kahdesta hyödyllisestä ohjeesta ennen kerrosten lisäämistä, sillä kilpailevat tunnisteet voivat hämärtää tavoiteltua esitystä. Eri ääniviitteet voivat reagoida samaan ohjeeseen eri voimakkuudella.

S2:n julkaisu kuvaa noin 80 kieltä ja antaa esimerkkejä esitysohjeiden kirjoittamisesta samalla kielellä kuin käsikirjoitus. Valmistele sanamuoto kielellä, jolla puheen tulee kuulua, ja säilytä erityistä lukutapaa tarvitsevat nimet, yksiköt ja lyhenteet. Monikielinen kerronta voi säilyttää tavoitellun äänen käsikirjoituksen kielen vaihtuessa, mutta lopputulos on silti kuunneltava ääntämisen ja jatkuvuuden tarkistamiseksi. Synteesi tuottaa annetun sisällön puheena eikä päätä, mitä tietoa sovelluksen tulisi sanoa.

Valitse yhdelle puhujalle tallennettu äänitunniste tai toimita viiteääni ja sitä vastaava litterointi. Valmistaja suosittelee puhdasta 10–30 sekunnin näytettä välittömään ehdollistamiseen. Käytä dialogissa puhujamerkintöjä kuten <|speaker:0|> ja <|speaker:1|> sekä järjestettyä äänitunnisteluetteloa tai erillisiä viiteryhmiä puhujille. Numeromerkintä valitsee vastaavan äänitietueen; pidä järjestys samana keskustelun edetessä. Luonnollisella kielellä annetuilla esitysohjeilla ja puhujan valinnalla on käsikirjoituksessa eri tehtävät.

Äänituloste voi olla MP3-, WAV-, raaka PCM- tai Opus-muotoinen. MP3:n oletus on 128 kbps, ja vaihtoehdot ovat 64 tai 192 kbps; Opus käyttää 48 kHz:n taajuutta, kun taas WAV ja PCM tukevat dokumentoituja näytteenottotaajuusvalintojaan 16-bittisenä monona. Valitse muoto sen todelliseen käyttökohteeseen: tallennettava tiedosto kerrontaan tai sopivat äänilohkot toistoon. Valmistajan puhetyönkulku kuvaa myös reaaliaikaisen tekstivirran, kun käsikirjoitus saapuu asteittain. Generoidun tuloksen tulee pysyä yhdistettynä koko käsikirjoitukseen ja valittuihin ääniin.

Nopeutta voi säätää välillä 0.5–2.0 yhdessä äänenvoimakkuuden ja tulosteen äänekkyysnormalisoinnin säätimien kanssa. Tekstin normalisointi parantaa englannin- ja kiinankielisten numeroiden lukemista. Käsittely käyttää lohkoja välillä 100–300 ja lohkokohtaista äänitokenbudjettia, joten näitä asetuksia ei tule tulkita koko kerronnan kiinteäksi enimmäispituudeksi. Ehdollistaminen edellisen lohkon avulla voi siirtää äänikontekstin seuraavaan jaksoon. Näytteistyssäätimet kuten temperature ja top-p vaikuttavat vaihteluun; tarkoituksellisesti ohjattu repliikki tarvitsee silti riittävästi tekstiä ja kontekstia tavoitellun soinnin välittämiseen.

Hyödyllinen tuotantotoimeksianto erottaa kerronnan, dialogin ja esitysohjeet sekä ilmoittaa tuotettavan aineiston äänen ja muodon. Kuuntele puuttuvia sanoja, toistuvaa ääntä, numeroiden ääntämistä, puhujanvaihdoksia ja reaktion ajoitusta. Korjaa ristiriidan aiheuttavaa repliikkiä tai ääniviitettä sen sijaan, että olettaisit lisätunnisteiden parantavan jokaista kohtaa. S2 Pro on erillinen aiemman sukupolven S2-malli; S2.1 Pro on myöhempi versio omine parannuksineen ja mallikohtaisine asetusvaikutuksineen.