Fish Audio: S2.1 Pro

S2.1 Pro – tai vėlesnis Fish Audio S2 kartos teksto vertimo kalba modelis, skirtas išraiškingam pasakojimui ir pokalbio balso programoms. Palyginti su S2 Pro, jis pagerina kalbos kokybę, delsą ir pralaidumą, išlaikydamas atlikimo valdymą natūralia kalba ir natyvius kelių kalbėtojų dialogus. S2.1 Pro ir S2.1 Pro Free naudoja tą patį pagrindinį kalbos modelį.

Įgarsinamam paaiškinimui pateikite baigtą tekstą, numatytą balsą ir vietas, kuriose turėtų keistis tempas ar pabrėžimas. Pokalbio programai sintetinkite programos pasirinktą atsakymą ir atskirkite faktinį jo turinį nuo atlikimo nurodymų. Scenarijumi paremtam dialogui prieš rašydami replikas apibrėžkite kalbėtojus ir jų balsus. Naudingas rezultatas – visa garso ištrauka arba atkuriamas srautas, kurio žodžiai, atlikimas ir kalbėtojų vaidmenys atitinka šią užduotį.

Rašykite žodžius, kurie iš tikrųjų turi būti ištarti, tada instrukciją įdėkite iškart prieš ištrauką, kurios atlikimas turėtų pasikeisti. Nurodymai laužtiniuose skliaustuose gali išreikšti šnabždesį, pauzę, reakciją, pabrėžimą ar laisvai apibrėžtą kalbėjimo stilių. Pakeitimą sakinio viduryje įterpkite ten, kur jo reikia atlikimui, o po aprašomųjų nurodymų pateikite tikrą kalbą. Naudinga aiškinamojo pasakojimo užduotis atskiria faktinį tekstą nuo klausytojui pageidaujamos šilumos, tempo ar pabrėžimo.

Vienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite etaloninį įrašą su transkripcija. Gamintojo kalbos vadovas momentiniam balso pritaikymui rekomenduoja švarų 10–30 sekundžių pavyzdį. Pasirinkite scenarijui tinkamo tono ir įrašymo kokybės pavyzdį bei išlaikykite tą patį pavyzdį susijusiose ištraukose. Balso pavyzdys suteikia kalbėtojo skambesį; tekstas ir į jį įterpti nurodymai – turinį bei jo atlikimą.

Natyvi kelių kalbėtojų sintezė naudoja tokias žymas kaip <|speaker:0|> ir <|speaker:1|> kartu su išrikiuotu balso identifikatorių masyvu arba atskiromis pavyzdžių grupėmis. Skaitines kalbėtojų žymas suderinkite su šia tvarka. Mokomajame dialoge parašykite kiekvieno kalbėtojo repliką, o atlikimo nurodymą padėkite po atitinkama kalbėtojo žyma. Taip dialogas sugeneruojamas viena užklausa; ši darbo eiga skiriasi nuo atskirų vieno kalbėtojo S1 segmentų ir vėlesnio jų surinkimo.

Gamintojo darbo eiga siūlo MP3, WAV, neapdoroto PCM ir Opus išvestį; numatytasis formatas – MP3. MP3 palaiko 64, 128 ir 192 kbps; WAV ir PCM naudoja dokumentuotus 16 bitų monofoninius mėginių formatus, o Opus – 48 kHz. Formatą pasirinkite išsaugomam pasakojimo failui, srautiniam atkūrimui ar tolesnei garso apdorojimo grandinei. Su garsu išsaugokite visą scenarijų ir balso pasirinkimą, kad vėliau būtų galima redaguoti vieną repliką neprarandant numatyto atlikimo.

Greitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo valdikliai. Teksto normalizavimas išskleidžia angliškus ir kiniškus skaičius natūraliam perskaitymui. Išvesties garsumo normalizavimo numatytoji reikšmė yra true ir jis taikomas S2 šeimai; tas pats laukas S1 neturėjo poveikio. S1 parametras repetition_penalty nekeičia S2.1 Pro garso, todėl seno nustatymo nereikėtų laikyti veiksmingu šio modelio valdikliu. Pasikartojančius garsus ir formuluotes peržiūrėkite tiesiogiai, užuot rezultatą grindę perimtu parametru.

Ilgesni scenarijai apdorojami fragmentais. Dokumentuotas fragmento ilgio diapazonas yra 100–300, o max_new_tokens yra kiekvieno fragmento garso žetonų biudžetas, ne bendros trukmės garantija. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą toliau. Gamintojo pateikimo darbo eiga aprašo visą garsą, palaipsniui pateikiamus garso fragmentus ir tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas dalimis. Programai pasirinkite naudojimo būdą ir išsaugokite pakankamai scenarijaus konteksto kitos ištraukos tarimui bei tonui.

Kad galutinis rezultatas būtų naudingas, klausydami tikrinkite praleistus ar pakartotus žodžius, skaičių tarimą, kalbėtojų pasikeitimus, pauzes ir nurodymų intensyvumą. Skirtingi balso pavyzdžiai tą patį nurodymą gali interpretuoti nevienodu stiprumu, todėl prieš pridėdami tarpusavyje konkuruojančių žymų pradėkite nuo paprastos valdomos replikos. Daugiakalbiam darbui pateikite scenarijų tiksline kalba, užuot prašę kalbos modelio sugalvoti ar išversti jo turinį. Tikslinga pataisa keičia neatitikimą sukėlusią repliką, nurodymą ar pavyzdį, išsaugodama tas atlikimo dalis, kurios jau atitinka užduotį.