Fish Audio: S2 Pro

S2 Pro je model druhej generácie od Fish Audio na prevod textu na reč pre expresívny komentár, dialógy postáv a konverzačný hlasový výstup. Mení písaný scenár na zvuk a podporuje pokyny v prirodzenom jazyku na úrovni slov alebo fráz. Predchádzajúca generácia S1 používa pokyny v okrúhlych zátvorkách, zatiaľ čo S2 Pro natívne používa hranaté zátvorky a podporuje viacerých hovoriacich v jednej požiadavke syntézy. Výrobca zverejňuje váhy S2 Pro a kód na jemné doladenie pre samostatné prispôsobovanie; bežná požiadavka na reč používa vybraný model namiesto trénovania nového.

Najprv napíšte hovorený obsah a potom umiestnite pokyn na prednes bezprostredne pred slovo alebo frázu, ktorú má ovplyvniť. Pokyny môžu opisovať šepot, reakciu, pauzu, emocionálny posun alebo voľne určený štýl reči. Pri krátkom vysvetlení produktu zachovajte jasnú vecnú vetu a dôraz pridajte iba tam, kde si má poslucháč všimnúť rozdiel. Pri replike postavy opíšte emocionálnu zmenu v momente, keď nastáva, namiesto jednej nemennej nálady pre celú pasáž.

Značky v hranatých zátvorkách sú otvorené opisy, nie uzavretá ponuka. Príklady zahŕňajú [whispering], [sigh], [long pause] a frázu ako [speaking slowly, almost hesitant]. Značky môžu byť uprostred vety a ovplyvňujú nasledujúcu reč. Po opisnej značke musí nasledovať skutočný text; samostatný pokyn môže viesť k nepredvídateľnému výstupu. Pred pridávaním ďalších vrstiev začnite jedným alebo dvoma užitočnými pokynmi, pretože navzájom si konkurujúce značky môžu zahmliť zamýšľaný prednes. Rôzne hlasové referencie môžu na rovnaký pokyn reagovať s rôznou intenzitou.

Vydanie S2 opisuje približne 80 jazykov a uvádza príklady pokynov na prednes napísaných v rovnakom jazyku ako scenár. Znenie pripravte v jazyku, ktorý má zaznieť, a zachovajte mená, jednotky a skratky vyžadujúce konkrétne čítanie. Viacjazyčný komentár môže pri zmene jazyka scenára zachovať zamýšľaný hlas, no výsledný zvuk treba aj tak vypočuť z hľadiska výslovnosti a plynulej nadväznosti. Syntéza vyslovuje dodaný obsah, nerozhoduje o tom, aké informácie má aplikácia povedať.

Pri jednom hovoriacom vyberte uložený identifikátor hlasu alebo dodajte referenčný zvuk so zodpovedajúcim prepisom. Výrobca odporúča na okamžité prispôsobenie čistú vzorku dlhú 10–30 sekúnd. Pri dialógu používajte značky hovoriacich ako <|speaker:0|> a <|speaker:1|> spolu s usporiadaným zoznamom identifikátorov hlasov alebo samostatnými skupinami referencií pre hovoriacich. Číselná značka vyberá zodpovedajúcu hlasovú položku; počas rozvoja konverzácie zachovajte poradie. Pokyny na prednes v prirodzenom jazyku a výber hovoriaceho majú v scenári odlišné úlohy.

Zvukový výstup môže byť MP3, WAV, surový PCM alebo Opus. MP3 má predvolenú prenosovú rýchlosť 128 kbps a ponúka 64 alebo 192 kbps; výstup Opus používa 48 kHz, zatiaľ čo WAV a PCM podporujú zdokumentované voľby vzorkovacej frekvencie ako 16-bitový monofónny zvuk. Formát vyberte podľa skutočného účelu: uchovaný súbor na komentár alebo vhodné zvukové časti na prehrávanie. Postup syntézy reči výrobcu opisuje aj živé streamovanie textu pri postupnom príchode scenára. Vygenerovaný výsledok má zostať prepojený s celým scenárom a vybranými hlasmi.

Rýchlosť možno nastaviť medzi 0,5 a 2,0 a k dispozícii je ovládanie hlasitosti aj normalizácie hlasitosti výstupu. Normalizácia textu zlepšuje čítanie anglických a čínskych čísel. Spracovanie používa časti v rozsahu 100–300 a rozpočet zvukových tokenov na jednu časť, preto tieto nastavenia nemožno chápať ako pevný limit dĺžky celého komentára. Podmieňovanie predchádzajúcou časťou môže preniesť hlasový kontext do nasledujúceho úseku. Ovládacie prvky vzorkovania ako temperature a top-p ovplyvňujú variabilitu; aj cielene režírovaná replika potrebuje dostatok textu a kontextu na vytvorenie zamýšľaného zvuku.

Užitočné produkčné zadanie oddeľuje komentár, dialóg a pokyny na prednes a určuje hlas a formát výsledného súboru. Počúvajte, či nechýbajú slová, neopakuje sa zvuk, či sú čísla vyslovené správne a či zodpovedajú zmeny hovoriacich a načasovanie reakcie. Upravte repliku alebo hlasovú referenciu zodpovednú za nesúlad, namiesto predpokladu, že viac značiek zlepší každú pasáž. S2 Pro zostáva samostatným modelom predchádzajúcej generácie S2; S2.1 Pro je neskoršia edícia s vlastnými zlepšeniami a správaním nastavení špecifickým pre tento model.