ByteDance Seed: Seed Audio 1.0

ByteDance Seed Audio 1.0 – garso kūrimo modelis, orientuotas į garsinę sceną. Tekstine užduotimi galima kartu formuoti kalbą, efektus ir aplinkos garsą. Tai tinka įgarsintai istorijai, žaidimo susidūrimui, trumpam dramatiškam pokalbiui arba scenai, lydinčiai sumontuotą vaizdo įrašą. Vien balso darbui aprašykite kalbėtoją ir atlikimą; išsamesnei scenai taip pat aprašykite akustinę aplinką bei dialogo ryšį su aplinkiniais garsais.

Užduotį parenkite tokia tvarka, kokia klausytojas turi patirti sceną. Nurodykite veikėjus, jų numatytą emocinę būseną ir žodžius, kuriuos jie turi ištarti. Tada aprašykite erdvę, svarbius garsinius signalus ir momento raidą. Gamybos užduotis turi atskirti tikslų dialogą nuo scenos aprašo, kad rezultatą būtų galima patikrinti pagal abu. Nurodykite, kurie elementai būtini supratimui ir kurie turi likti fone. Tylus kambarys, pilna žmonių stotis ir atviras kiemas reikalauja skirtingo garso dizaino net tada, kai ištariama ta pati frazė.

Originalus pavyzdys – žaidimo veikėjas ramina bendrakeleivį trumpoje slėptuvės scenoje: santūrus balsas sako „Galime palaukti čia“, fone tyliai girdėti lietus, o po frazės – vienas artėjantis žingsnis. Naudinga perklausos patikra nustato, ar žodžiai lieka suprantami, balsas perteikia nuraminimą ir garsinis signalas nuskamba prasmingoje scenos vietoje. Kitoje užduotyje galima prašyti aiškaus pasakotojo, pristatančio produktą be aplinkos garsų. Tai pavyzdiniai intencijos nurodymo būdai, o ne sugeneruoto garso įrašai arba pažadai apie užbaigtą garso mišinį.

Gamintojas dokumentuoja veikėjų dialogo laiko valdymą užklausos lygmeniu 100 ms intervalais. Šiuo valdikliu aprašykite, kada scenarijaus sekoje turi prasidėti frazė, arba planuokite kalbinę medžiagą pagal esamą montažą. Dialogo laiką laikykite atskirai nuo efektų ir aplinkos garsų išdėstymo: leidimas pagrindinį laiko valdymo dėmesį skiria veikėjų dialogui. Tikras pradžias, pauzes ir persidengimus tikrinkite pagal numatytą sceną. Laiko intervalas aprašo modelio valdymo detalumą ir nepanaikina poreikio perklausyti galutinį atlikimą.

Balsą galima nurodyti tekstiniu aprašu, leistinu etaloniniu pavyzdžiu arba abiem būdais. Gamintojas tai pristato kaip balso formavimą be atskiro modelio mokymo kiekvienam kalbėtojui. Stabilias balso savybes aprašykite atskirai nuo dabartinės frazės emocijos. Pasikartojančiam veikėjui gali reikėti ramaus prisistatymo ir skubaus atsako, išliekant atpažįstamam. Praktiniam pasirengimui pasirinkite aiškų etaloną, kuriame numatytas balsas lengvai girdimas, ir nurodykite, kas turi persikelti į naują atlikimą. Rengdami susijusias scenas nuosekliai naudokite šį etaloną ir veikėjo aprašą.

Leidimas dokumentuoja generavimą daugiau nei 20 kalbų, įskaitant kinų, anglų, japonų, korėjiečių, ispanų, indoneziečių, vokiečių, prancūzų, tajų ir vietnamiečių. Jis aprašo atpažįstamo veikėjo balso pritaikymą skirtingų kalbų ritmui ir išraiškai. Pateikite dialogą galutine kalba ir su ją suprantančiu klausytoju patikrinkite vardus, kirčius, pauzes bei emocinį toną. Daugiakalbėse versijose išlaikykite veikėjo vaidmenį ir emocinę intenciją, kiekvienam scenarijui palikdami pakankamai vietos natūraliai formuluotei. Vertimą parenkite kaip scenarijaus darbo dalį, nemanydami, kad garsinės scenos užduotis apibrėžia kiekvieną lokalizavimo sprendimą.

Pagal gamintojo leidimo aprašą Seed Audio 1.0 vienu kartu gali sugeneruoti iki dviejų minučių ir palaiko tęsimą. Ilgesnei istorijai naudingos scenų ribos ir pakartotinai naudojamas veikėjo aprašas. Kiekvieno tęsinio metu klausykite balso, fono faktūros bei tempo pokyčių ir žodžių, jungiančių dalis. Grąžintą garsą laikykite perklausomu kūriniu: ruošdami atkūrimą arba importą į redaktorių patikrinkite tikrus jo failo duomenis, o greta išsaugokite scenarijų ir scenos užduotį redagavimui. Sujungtą produkciją tikrinkite kaip vientisą sceną, ne vien kaip atskirus klipus.

Gamintojas aprašo vieningą sistemą, kurioje kalbos lygmens kūrybinė intencija valdo difuzinį akustinį generatorių. Praktinė reikšmė užduočiai – balsą ir aplinką galima svarstyti kartu. Sutelkite dėmesį į kelis sceną apibrėžiančius ryšius: ar frazė iškelta į pirmą planą, ar ją pertraukia efektas ir kaip atmosfera palaiko emocinį momentą. Pridėjus daug nesusijusių garsinių signalų sunkiau nustatyti, kurią rezultato dalį reikia taisyti. Pakeiskite tos ištraukos kryptį, kai signalas konkuruoja su dialogu arba atlikimas neatitinka numatyto tono.

Balso tęstinumas ilgoje sudėtingoje medžiagoje ir tikslesnis skirtingų garso elementų laiko valdymas leidime nurodomi kaip tobulinamos sritys. Gamybos peržiūra turi būti konkreti: tikslūs žodžiai, kalbėtojo tapatybė, kalba, įstojimai, suprantamumas ir nuoseklumas tarp tęsinių. Naudinga šio modelio išvestis – girdima scena arba įgarsinimas. Atskirus sprendimus dėl montažo, subtitrų ir pateikimo formato galima priimti pagal šį tikrą rezultatą ir numatytos produkcijos reikalavimus.