ByteDance Seed: Seed Audio 1.0

ByteDance Seed Audio 1.0 on äänikohtauksen ympärille jäsennetty äänenluontimalli. Puhetta, tehosteita ja taustaääniä voidaan muotoilla yhdessä tekstimuotoisella tehtävänannolla. Siksi se sopii puhuttuun tarinaan, pelikohtaamiseen, lyhyeen dramaattiseen keskusteluun tai editoitua videota täydentävään kohtaukseen. Kuvaa pelkässä puhetehtävässä puhuja ja esitys; laajemmassa kohtauksessa kuvaa myös akustinen ympäristö sekä dialogin ja ympäröivien äänten suhde.

Valmistele tehtävänanto siinä järjestyksessä, jossa kuulijan pitäisi kokea kohtaus. Yksilöi hahmot, niiden tavoiteltu tunnetila ja sanat, jotka niiden pitää sanoa. Kuvaa sitten tila, tärkeät äänivihjeet ja hetken kehittyminen. Tuotantotehtävänannon pitää erottaa tarkka dialogi kohtauskuvauksesta, jotta tulosta voidaan verrata kumpaankin. Kerro, mitkä elementit ovat ymmärtämisen kannalta välttämättömiä ja mitkä jäävät taustalle. Hiljainen huone, ruuhkainen asema ja avoin sisäpiha tarvitsevat erilaisen äänisuunnittelun, vaikka puhuttu repliikki olisi sama.

Oma esimerkki on pelihahmo, joka rauhoittaa kumppaniaan lyhyessä suojautumiskohtauksessa: hillitty ääni sanoo ”Voimme odottaa täällä”, taustalla kuuluu hiljaista sadetta ja repliikin jälkeen yksi lähestyvä askel. Hyödyllinen kuuntelutarkistus selvittää, pysyvätkö sanat ymmärrettävinä, välittääkö ääni rauhoittavuutta ja saapuuko vihje järkevään kohtaan. Toinen tehtävänanto voisi pyytää selkeää kertojaa esittelemään tuotteen ilman ympäröivää äänimaisemaa. Nämä havainnollistavat tapoja määritellä tarkoitus eivätkä ole tallenteita tuotetusta äänestä tai lupauksia valmiista miksauksesta.

Valmistaja dokumentoi kehoteohjatun ajoituksen hahmodialogille 100 ms:n välein. Kuvaa tällä ohjauksella repliikin aloitus käsikirjoitetussa jaksossa tai suunnittele puhetta olemassa olevaan editointiin. Pidä dialogin ajoitus erillään tehosteiden ja taustaäänten sijoittelusta: julkaisu nimeää ajoitusohjauksen pääkohteeksi hahmodialogin. Tarkista todelliset aloitukset, tauot ja päällekkäisyydet aiottua kohtausta vasten. Ajoitusväli kuvaa mallin ohjauksen tarkkuutta eikä poista tarvetta kuunnella lopullinen esitys.

Ääni voidaan määritellä tekstikuvauksella, luvallisella viitenäytteellä tai molemmilla. Valmistaja esittää tämän äänen muotoiluna ilman erillisen mallin koulutusta jokaiselle puhujalle. Kuvaa pysyvät ääniominaisuudet erillään nykyisen repliikin tunteesta. Toistuva hahmo voi tarvita rauhallisen esittelyn ja kiireellisen vastauksen mutta pysyä silti tunnistettavana. Valitse käytännön valmistelussa selkeä viite, josta tavoiteääni kuuluu helposti, ja yksilöi uuteen esitykseen siirrettävät piirteet. Pidä viite ja hahmokuvaus yhdenmukaisina valmistellessasi toisiinsa liittyviä kohtauksia.

Julkaisu dokumentoi generoinnin yli 20 kielellä, kuten kiinaksi, englanniksi, japaniksi, koreaksi, espanjaksi, indonesiaksi, saksaksi, ranskaksi, thaiksi ja vietnamiksi. Se kuvaa tunnistettavan hahmoäänen mukauttamista eri kielten rytmiin ja ilmaisuun. Anna lopullisen kielen dialogi ja tarkista nimet, painotukset, tauot ja tunnetaso kieltä ymmärtävän kuulijan kanssa. Pidä monikielisissä versioissa hahmon rooli ja tunnetarkoitus vakaina, mutta anna jokaiselle käsikirjoitukselle riittävästi tilaa luonnolliseen ilmaisuun. Valmistele käännös osana käsikirjoitustyötä sen sijaan, että olettaisit äänikohtauksen tehtävänannon kattavan kaikki lokalisointipäätökset.

Valmistajan julkaisun mukaan Seed Audio 1.0 voi tuottaa enintään kaksi minuuttia yhdellä ajolla ja tukee jatkamista. Pidempi tarina hyötyy kohtausrajoista ja uudelleenkäytettävästä hahmokuvauksesta. Kuuntele jokaisessa jatkossa äänen, taustan soinnin ja tahdin muutokset sekä osioita yhdistävät sanat. Käsittele palautettua ääntä kuunneltavana aineistona: tarkista sen todelliset tiedostotiedot valmistellessasi toistoa tai tuontia editoriin, ja säilytä käsikirjoitus ja kohtauskuvaus sen rinnalla muokkausta varten. Yhdistetty tuotanto pitää tarkistaa yhtenä jatkuvana kohtauksena, ei vain erillisinä leikkeinä.

Valmistaja kuvaa yhtenäistä kehystä, jossa kielellinen luova tarkoitus ohjaa diffuusiopohjaista akustista generaattoria. Käytännössä tämä tarkoittaa tehtävänannolle sitä, että ääntä ja ympäristöä voidaan ajatella yhdessä. Keskity muutamiin kohtauksen määrittäviin suhteisiin: onko repliikki etualalla, keskeyttääkö tehoste sen ja miten äänimaisema tukee tunnehetkeä. Monien irrallisten vihjeiden lisääminen vaikeuttaa sen tunnistamista, mitä tuloksen osaa pitäisi muuttaa. Muuta kyseisen katkelman ohjausta, jos vihje kilpailee dialogin kanssa tai esitys ei tavoita tarkoitettua sävyä.

Äänen jatkuvuus pitkässä, monimutkaisessa aineistossa ja äänielementtien hienompi ajoitus ovat julkaisun nimeämiä kehitysalueita. Pidä tuotantotarkistus täsmällisenä: tarkat sanat, puhujan identiteetti, kieli, sisääntulot, ymmärrettävyys ja yhdenmukaisuus jatkojen välillä. Tämän mallin hyödyllinen tulos on kuultava kohtaus tai puhuttu esitys. Editointileikkauksia, tekstityksiä ja toimitusmuotoa koskevat erilliset päätökset voidaan tehdä todellisen tuloksen ja kohdetuotannon vaatimusten perusteella.