Fish Audio: S2 Pro

S2 Pro je model druge generacije podjetja Fish Audio za pretvorbo besedila v govor, namenjen izraznemu pripovedovanju, dialogu likov in pogovornemu glasovnemu izhodu. Pisni scenarij pretvori v zvok in podpira usmerjanje v naravnem jeziku na ravni besede ali besedne zveze. Prejšnja generacija S1 uporablja namige v okroglih oklepajih, S2 Pro pa nativno uporablja oglate oklepaje in podpira več govorcev v eni zahtevi za sintezo. Proizvajalec objavlja uteži S2 Pro in kodo za dodatno učenje za ločeno prilagajanje; običajna govorna zahteva uporablja izbrani model, ne da bi učila novega.

Najprej napišite govorjeno vsebino, nato postavite navodilo za izvedbo neposredno pred besedo ali besedno zvezo, na katero naj vpliva. Navodila lahko opišejo šepet, odziv, premor, čustveni prehod ali poljubno opisan način govora. Pri kratki razlagi izdelka naj bo stvarna poved jasna, poudarek pa postavite le tja, kjer naj poslušalec zazna razliko. Pri repliki lika opišite čustveno spremembo v trenutku, ko nastopi, namesto da bi imel celoten odlomek eno nespremenljivo razpoloženje.

Oznake v oglatih oklepajih so opisi z odprtega področja in ne zaprt nabor. Primeri vključujejo [whispering], [sigh], [long pause] in besedno zvezo, kot je [speaking slowly, almost hesitant]. Oznake se lahko pojavijo sredi povedi in vplivajo na govor, ki sledi. Opisni oznaki mora slediti dejansko besedilo; osamljeno navodilo lahko ustvari nepredvidljiv izhod. Začnite z enim ali dvema koristnima navodiloma, preden dodate več plasti, saj lahko nasprotujoče si oznake zakrijejo predvideno izvedbo. Različne glasovne reference se lahko na isto navodilo odzovejo z različno intenzivnostjo.

Objava S2 opisuje približno 80 jezikov in navaja primere pisanja navodil za izvedbo v istem jeziku kot scenarij. Besedilo pripravite v jeziku, ki naj bo izgovorjen, in ohranite imena, enote ter kratice, ki potrebujejo določeno branje. Večjezično pripovedovanje lahko ohranja predvideni glas ob menjavi jezika scenarija, vendar je treba pri končnem izdelku še vedno s poslušanjem preveriti izgovarjavo in zveznost. Sinteza podano vsebino pretvori v govor in ne odloča, katere podatke naj aplikacija pove.

Za enega govorca izberite shranjeni identifikator glasu ali priložite referenčni zvok in pripadajoči prepis. Proizvajalec za takojšnje prilagajanje priporoča čist vzorec, dolg 10–30 sekund. Za dialog uporabite oznake govorcev, kot sta <|speaker:0|> in <|speaker:1|>, z urejenim seznamom identifikatorjev glasov ali ločenimi skupinami referenc za govorce. Številčna oznaka izbere ustrezen vnos glasu; med razvojem pogovora ohranite vrstni red. Navodila za izvedbo v naravnem jeziku in izbira govorca imajo v scenariju različni vlogi.

Zvočni izhod je lahko MP3, WAV, surovi PCM ali Opus. MP3 ima privzeto 128 kb/s in omogoča 64 ali 192 kb/s; izhod Opus uporablja 48 kHz, WAV in PCM pa podpirata dokumentirane izbire frekvence vzorčenja v 16-bitnem mono formatu. Format izberite glede na dejanski cilj: shranjeno datoteko za pripovedovanje ali primerne zvočne kose za predvajanje. Proizvajalčev govorni potek opisuje tudi sprotno pretakanje besedila, ko scenarij prihaja postopoma. Generirani rezultat naj ostane povezan s celotnim scenarijem in izbranimi glasovi.

Hitrost lahko prilagodite med 0,5 in 2,0, na voljo pa so nastavitve glasnosti in normalizacije glasnosti izhoda. Normalizacija besedila izboljša branje angleških in kitajskih števil. Obdelava uporablja kose v razponu 100–300 in proračun zvočnih žetonov na kos, zato teh nastavitev ne razlagajte kot fiksno največjo dolžino celotne pripovedi. Pogojevanje s prejšnjim kosom lahko glasovni kontekst prenese v naslednji odsek. Nastavitve vzorčenja, kot sta temperature in top-p, vplivajo na variacije; tudi namensko usmerjena replika potrebuje dovolj besedila in konteksta za želeni zven.

Uporabna produkcijska navodila ločijo pripovedovanje, dialog in navodila za izvedbo ter določijo glas in format nastalega izdelka. S poslušanjem preverite manjkajoče besede, ponovljen zvok, izgovarjavo števil, menjave govorcev in časovno umestitev odziva. Popravite vrstico ali glasovno referenco, ki povzroča neskladje, namesto da bi domnevali, da več oznak izboljša vsak odlomek. S2 Pro ostaja ločen model prejšnje generacije S2; S2.1 Pro je poznejša izdaja z lastnimi izboljšavami in vedenjem nastavitev, značilnim za model.