Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free – tai Fish Audio S2.1 teksto vertimo kalba modelio leidimas kūrėjams. Jo pagrindas ir esminės sintezės galimybės sutampa su S2.1 Pro: išraiškinga daugiakalbė kalba, atlikimo nurodymai natūralia kalba ir natyvūs kelių kalbėtojų dialogai. Jis skirtas bandymams, prototipams, kūrimui ir mažesnėms programų darbo eigoms.

Balso asistento prototipą pradėkite nuo viso pavyzdinio atsakymo ir įvertinkite jo skambesį prieš bandydami palaipsniui gaunamą tekstą. Mokymosi produktui parenkite trumpą paaiškinimą su tiksliais klausytojui reikalingais terminais ir skaičių skaitymu. Dialogo prototipui prieš pridėdami atlikimo nurodymus apibrėžkite kalbėtojus ir jų balso pavyzdžius. Šiais žingsniais kuriamas garso rezultatas ir su juo susijusi programos eiga, užuot visą pokalbį pavedus sintezės užklausai.

Rašykite žodžius, kurie iš tikrųjų turi būti ištarti, tada instrukciją įdėkite iškart prieš ištrauką, kurios atlikimas turėtų pasikeisti. Nurodymai laužtiniuose skliaustuose gali išreikšti šnabždesį, pauzę, reakciją, pabrėžimą ar laisvai apibrėžtą kalbėjimo stilių. Pakeitimą sakinio viduryje įterpkite ten, kur jo reikia atlikimui, o po aprašomųjų nurodymų pateikite tikrą kalbą. Naudinga aiškinamojo pasakojimo užduotis atskiria faktinį tekstą nuo klausytojui pageidaujamos šilumos, tempo ar pabrėžimo.

Vienam kalbėtojui pasirinkite išsaugotą balso identifikatorių arba pateikite etaloninį įrašą su transkripcija. Gamintojo kalbos vadovas momentiniam balso pritaikymui rekomenduoja švarų 10–30 sekundžių pavyzdį. Pasirinkite scenarijui tinkamo tono ir įrašymo kokybės pavyzdį bei išlaikykite tą patį pavyzdį susijusiose ištraukose. Balso pavyzdys suteikia kalbėtojo skambesį; tekstas ir į jį įterpti nurodymai – turinį bei jo atlikimą.

Natyvi kelių kalbėtojų sintezė naudoja tokias žymas kaip <|speaker:0|> ir <|speaker:1|> kartu su išrikiuotu balso identifikatorių masyvu arba atskiromis pavyzdžių grupėmis. Skaitines kalbėtojų žymas suderinkite su šia tvarka. Mokomajame dialoge parašykite kiekvieno kalbėtojo repliką, o atlikimo nurodymą padėkite po atitinkama kalbėtojo žyma. Taip dialogas sugeneruojamas viena užklausa; ši darbo eiga skiriasi nuo atskirų vieno kalbėtojo S1 segmentų ir vėlesnio jų surinkimo.

Gamintojo darbo eiga siūlo MP3, WAV, neapdoroto PCM ir Opus išvestį; numatytasis formatas – MP3. MP3 palaiko 64, 128 ir 192 kbps; WAV ir PCM naudoja dokumentuotus 16 bitų monofoninius mėginių formatus, o Opus – 48 kHz. Formatą pasirinkite išsaugomam pasakojimo failui, srautiniam atkūrimui ar tolesnei garso apdorojimo grandinei. Su garsu išsaugokite visą scenarijų ir balso pasirinkimą, kad vėliau būtų galima redaguoti vieną repliką neprarandant numatyto atlikimo.

Greitį galima reguliuoti nuo 0.5 iki 2.0, taip pat yra garsumo valdikliai. Teksto normalizavimas išskleidžia angliškus ir kiniškus skaičius natūraliam perskaitymui. Išvesties garsumo normalizavimo numatytoji reikšmė yra true ir jis taikomas S2 šeimai; tas pats laukas S1 neturėjo poveikio. S1 parametras repetition_penalty nekeičia S2.1 Pro garso, todėl seno nustatymo nereikėtų laikyti veiksmingu šio modelio valdikliu. Pasikartojančius garsus ir formuluotes peržiūrėkite tiesiogiai, užuot rezultatą grindę perimtu parametru.

Ilgesni scenarijai apdorojami fragmentais. Dokumentuotas fragmento ilgio diapazonas yra 100–300, o max_new_tokens yra kiekvieno fragmento garso žetonų biudžetas, ne bendros trukmės garantija. Ankstesnio fragmento sąlygojimas gali perduoti balso kontekstą toliau. Gamintojo pateikimo darbo eiga aprašo visą garsą, palaipsniui pateikiamus garso fragmentus ir tiesioginį teksto srautinį perdavimą, kai scenarijus gaunamas dalimis. Programai pasirinkite naudojimo būdą ir išsaugokite pakankamai scenarijaus konteksto kitos ištraukos tarimui bei tonui.

Kad galutinis rezultatas būtų naudingas, klausydami tikrinkite praleistus ar pakartotus žodžius, skaičių tarimą, kalbėtojų pasikeitimus, pauzes ir nurodymų intensyvumą. Skirtingi balso pavyzdžiai tą patį nurodymą gali interpretuoti nevienodu stiprumu, todėl prieš pridėdami tarpusavyje konkuruojančių žymų pradėkite nuo paprastos valdomos replikos. Daugiakalbiam darbui pateikite scenarijų tiksline kalba, užuot prašę kalbos modelio sugalvoti ar išversti jo turinį. Tikslinga pataisa keičia neatitikimą sukėlusią repliką, nurodymą ar pavyzdį, išsaugodama tas atlikimo dalis, kurios jau atitinka užduotį.