Fish Audio: S2 Pro

S2 Pro je model druhé generace Fish Audio pro převod textu na řeč, expresivní komentář, dialog postav a konverzační hlasový výstup. Převádí psaný scénář na zvuk a podporuje pokyny v přirozeném jazyce na úrovni slov či frází. Předchozí generace S1 používá pokyny v kulatých závorkách, zatímco S2 Pro nativně používá hranaté závorky a podporuje více mluvčích v jediném požadavku na syntézu. Výrobce zveřejňuje váhy S2 Pro a kód pro jemné doladění pro samostatné přizpůsobování; běžný hlasový požadavek používá vybraný model a netrénuje nový.

Nejprve napište mluvený obsah a poté vložte pokyn k přednesu bezprostředně před slovo či frázi, které má ovlivnit. Pokyny mohou popsat šepot, reakci, pauzu, změnu emocí nebo volně vyjádřený styl řeči. U krátkého vysvětlení produktu zachovejte srozumitelnou věcnou větu a důraz přidejte jen tam, kde má posluchač zaznamenat rozdíl. U repliky postavy popište emoční změnu v okamžiku, kdy nastává, místo aby celá pasáž sdílela jednu neměnnou náladu.

Značky v hranatých závorkách jsou otevřené popisy, nikoli uzavřená nabídka. Příklady zahrnují [whispering], [sigh], [long pause] a frázi jako [speaking slowly, almost hesitant]. Značky se mohou objevit uprostřed věty a ovlivňují následující řeč. Za popisnou značkou musí následovat skutečný text; osamocený pokyn může vést k nepředvídatelnému výstupu. Začněte jedním nebo dvěma užitečnými pokyny, než přidáte další vrstvy, protože soupeřící značky mohou zastřít zamýšlený přednes. Různé hlasové reference mohou na stejný pokyn reagovat různou intenzitou.

Vydání S2 popisuje přibližně 80 jazyků a uvádí příklady pokynů k přednesu napsaných ve stejném jazyce jako scénář. Připravte znění v jazyce, který má zaznít, a zachovejte jména, jednotky a zkratky vyžadující konkrétní způsob čtení. Vícejazyčný komentář může při změně jazyka scénáře zachovat zamýšlený hlas, ale výsledný soubor stále vyžaduje poslechovou kontrolu výslovnosti a návaznosti. Syntéza převádí dodaný obsah na řeč; nerozhoduje, jaké informace má aplikace říkat.

Pro jednoho mluvčího vyberte uložený identifikátor hlasu nebo dodejte referenční zvuk a odpovídající přepis. Výrobce doporučuje pro okamžité přizpůsobení čistý vzorek o délce 10–30 sekund. U dialogu použijte značky jako <|speaker:0|> a <|speaker:1|> spolu s uspořádaným seznamem identifikátorů hlasů nebo samostatnými skupinami referencí pro mluvčí. Číselná značka vybírá odpovídající hlasovou položku; během rozvoje konverzace zachovejte pevné pořadí. Pokyny k přednesu v přirozeném jazyce a výběr mluvčího mají ve scénáři odlišné role.

Zvukovým výstupem může být MP3, WAV, surové PCM nebo Opus. MP3 má výchozí datový tok 128 kb/s a nabízí také 64 či 192 kb/s; Opus používá 48 kHz, zatímco WAV a PCM podporují zdokumentované volby vzorkovací frekvence v 16bitovém monofonním formátu. Formát volte podle skutečného cíle: uložený soubor pro komentář nebo vhodné zvukové části pro přehrávání. Hlasový postup výrobce popisuje také živé streamování textu, když scénář přichází průběžně. Vygenerovaný výsledek má zůstat propojený s úplným scénářem a vybranými hlasy.

Rychlost lze upravovat mezi 0,5 a 2,0 a k dispozici je ovládání hlasitosti i normalizace hlasitosti výstupu. Normalizace textu zlepšuje čtení anglických a čínských čísel. Zpracování používá části v rozsahu 100–300 a rozpočet zvukových tokenů na jednu část, takže tato nastavení nevyjadřují pevnou maximální délku celého komentáře. Podmínění předchozí částí může přenášet hlasový kontext do dalšího úseku. Ovládání vzorkování, například temperature a top-p, ovlivňuje variabilitu; i cíleně režírovaná replika potřebuje dost textu a kontextu pro zamýšlený zvuk.

Užitečné produkční zadání odděluje komentář, dialog a pokyny k přednesu a poté určuje hlas a formát výsledného souboru. Poslechem kontrolujte chybějící slova, opakovaný zvuk, výslovnost čísel, střídání mluvčích a načasování reakce. Upravujte repliku nebo hlasovou referenci odpovědnou za nesoulad, místo abyste předpokládali, že více značek zlepší každou pasáž. S2 Pro zůstává samostatným modelem předchozí generace S2; S2.1 Pro je pozdější edice s vlastními zlepšeními a chováním konkrétních nastavení.