Fish Audio: S2 Pro

S2 Pro – tai Fish Audio antrosios kartos teksto vertimo kalba modelis išraiškingam pasakojimui, veikėjų dialogams ir pokalbio balso išvesčiai. Rašytinį scenarijų jis paverčia garsu ir palaiko natūralios kalbos nurodymus žodžio ar frazės lygmeniu. Ankstesnė S1 karta naudoja nurodymus paprastuose skliaustuose, o S2 Pro natyviai naudoja laužtinius skliaustus ir palaiko kelis kalbėtojus vienoje sintezės užklausoje. Gamintojas atskiram pritaikymui išleidžia S2 Pro svorius ir papildomo mokymo kodą; įprasta kalbos užklausa naudoja pasirinktą modelį, o ne moko naują.

Pirmiausia parašykite sakytinį turinį, tada atlikimo instrukciją įdėkite iškart prieš žodį ar frazę, kurią ji turi paveikti. Nurodymai gali aprašyti šnabždesį, reakciją, pauzę, emocinį pokytį ar laisvai apibrėžtą kalbėjimo stilių. Trumpame produkto paaiškinime išlaikykite aiškų faktinį sakinį ir pabrėžkite tik vietą, kurioje klausytojas turėtų pastebėti skirtumą. Veikėjo replikoje emocinį pokytį aprašykite tada, kai jis įvyksta, užuot visai ištraukai taikę vieną nekintamą nuotaiką.

Žymos laužtiniuose skliaustuose yra laisvai formuluojami aprašymai, o ne uždaras pasirinkimų sąrašas. Pavyzdžiai: [whispering], [sigh], [long pause] ir frazė, tokia kaip [speaking slowly, almost hesitant]. Žymos gali būti sakinio viduryje ir veikia po jų einančią kalbą. Po aprašomosios žymos turi būti tikras tekstas; atskira instrukcija gali duoti nenuspėjamą išvestį. Prieš pridėdami daugiau sluoksnių pradėkite nuo vieno ar dviejų naudingų nurodymų, nes tarpusavyje konkuruojančios žymos gali užgožti numatytą atlikimą. Skirtingi balso pavyzdžiai į tą patį nurodymą gali reaguoti nevienodu intensyvumu.

S2 leidimo apraše nurodoma maždaug 80 kalbų ir pateikiami atlikimo instrukcijų rašymo scenarijaus kalba pavyzdžiai. Tekstą parenkite ta kalba, kuria turi būti kalbama, ir išsaugokite vardus, vienetus bei santrumpas, kuriems reikia konkretaus perskaitymo. Daugiakalbis pasakojimas gali išlaikyti numatytą balsą keičiant scenarijaus kalbą, tačiau galutinį rezultatą vis tiek reikia perklausyti, tikrinant tarimą ir nuoseklumą. Sintezė pateiktą turinį paverčia kalba, o ne nusprendžia, kokią informaciją programa turėtų pasakyti.

Vienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite garso pavyzdį su atitinkama transkripcija. Momentiniam balso pritaikymui gamintojas rekomenduoja švarų 10–30 sekundžių pavyzdį. Dialogui naudokite kalbėtojų žymas, tokias kaip <|speaker:0|> ir <|speaker:1|>, su išrikiuotu balso identifikatorių sąrašu arba atskiromis kalbėtojų pavyzdžių grupėmis. Skaitinė žyma pasirenka atitinkamą balso įrašą; tęsiantis pokalbiui išlaikykite tą pačią tvarką. Natūralios kalbos atlikimo nurodymai ir kalbėtojo pasirinkimas scenarijuje atlieka skirtingus vaidmenis.

Garso išvestis gali būti MP3, WAV, neapdorotas PCM arba Opus. MP3 numatytoji sparta yra 128 kbps, taip pat galima 64 arba 192 kbps; Opus išvestis naudoja 48 kHz, o WAV ir PCM palaiko dokumentuotus diskretizavimo dažnių pasirinkimus 16 bitų monofoniniu formatu. Formatą rinkitės pagal tikrąją paskirtį: išsaugomą pasakojimo failą arba atkūrimui tinkamus garso fragmentus. Gamintojo kalbos darbo eiga taip pat aprašo tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas palaipsniui. Sugeneruotas rezultatas turėtų likti susietas su visu scenarijumi ir pasirinktais balsais.

Greitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo ir išvesties garsumo normalizavimo valdikliai. Teksto normalizavimas pagerina angliškų ir kiniškų skaičių skaitymą. Apdorojimas naudoja fragmentus 100–300 diapazone ir kiekvieno fragmento garso žetonų biudžetą, todėl šių nustatymų nereikėtų laikyti fiksuota didžiausia viso pasakojimo trukme. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą kitam segmentui. Atrankos valdikliai, tokie kaip temperature ir top-p, veikia įvairovę; sąmoningai valdomai replikai vis tiek reikia pakankamai teksto ir konteksto numatytam skambesiui perteikti.

Naudinga gamybos užduotis atskiria pasakojimą, dialogą ir atlikimo nurodymus, tada nurodo gaunamo rezultato balsą ir formatą. Klausydami tikrinkite praleistus žodžius, pasikartojantį garsą, skaičių tarimą, kalbėtojų pasikeitimus ir reakcijos laiką. Pataisykite neatitikimą sukėlusią repliką ar balso pavyzdį, užuot manę, kad daugiau žymų pagerins kiekvieną ištrauką. S2 Pro lieka atskiru ankstesnės S2 kartos modeliu; S2.1 Pro yra vėlesnis leidimas su savo patobulinimais ir modeliui būdinga nustatymų elgsena.