ByteDance: Seedance 2.0

Seedance 2.0 yra standartinis ByteDance Seed modelis daugiarūšei garso ir vaizdo kūrybai. Bendro generavimo architektūroje jis jungia tekstą, vaizdus, vaizdo įrašus bei garsą, turėdamas atskirus kūrybinius procesus etalonais grindžiamoms scenoms, vaizdo redagavimui ir pratęsimui. Jis naudingas, kai užduočiai reikia ir nuoseklaus atlikimo, ir konkrečios vaizdinės ar garsinės informacijos iš paruoštos medžiagos.

Daugiarūšiai etalonai ir režisūrinis valdymas

Vaizdai gali apibrėžti subjekto išvaizdą, vizualinį stilių ir kompoziciją. Vaizdo etalonai gali nukreipti veiksmą, kameros judėjimą bei efektus. Garsas gali nukreipti balso tembrą, muziką ar dialogą. Apibrėžkite kiekvienos medžiagos vaidmenį, tada aprašykite sceną, kuri turi gautis. Gamintojas pabrėžia atlikimo, apšvietimo, šešėlių ir kameros kalbos valdymą.

Produkto istorijai paruoškite produkto vaizdą, kameros judesio etaloną ir garso žymą. Užduotis galėtų būti: „Išsaugokite mėlyną stiklinę vazą iš Image 1. Naudokite lėtą šoninį kameros sekimo judesį iš Video 1. Vaza stovi saulės apšviestoje lentynoje, skambant švelniai instrumentinei muzikai pagal Audio 1.“ Numatytas rezultatas yra naujai pastatyta scena, jungianti pasirinktą etalonų informaciją.

Etalonų įvestys gali jungti vaizdą ir garsą, vaizdą ir vaizdo įrašą, vaizdo įrašą ir garsą arba visus tris. Vien garso įvestis ir tekstas su garsu be vaizdo ar vaizdo įrašo nepalaikomi. Taip pat dokumentuojamas tradicinis vaizdo kūrimas iš teksto, generavimas pagal pirmąjį kadrą bei pagal pirmąjį ir paskutinįjį kadrus. Jei svarbios fiksuotos pradžios ir pabaigos kompozicijos, naudokite specialų ribinių kadrų procesą: etaloninio vaizdo įvardijimas galiniu tašku omni etalonų užklausoje yra tik netiesioginis nukreipimo būdas.

Filmuotos medžiagos redagavimas

Modelis gali pakeisti subjektą, pridėti ar pašalinti objektus, keisti elementus ir perpiešti ar pataisyti vaizdo įrašo dalis. Aprašykite konkretų pakeitimą ir nurodykite šaltinio medžiagą. Pridėjimui pateikite pasirodymo laiką bei vietą; šalinimui ar pakeitimui tiksliai nurodykite objektą ir įvardykite, kas turi išlikti.

Pavyzdžiui: „Stalinį šviestuvą Video 1 pakeiskite žalvariniu šviestuvu iš Image 1. Išsaugokite kameros judėjimą, stalo išdėstymą ir apšvietimo kryptį.“ Norimas rezultatas yra redaguota scenos versija su numatytu pakeitimu. Patikrinkite nepakeistas sritis ir naują objektą, ypač uždengimo, judėjimo bei kadrų pasikeitimo metu.

Sekos pratęsimas ir sujungimas

Seedance 2.0 gali pratęsti vaizdo įrašą pirmyn arba atgal ir sujungti iki trijų pateiktų klipų sugeneruotais perėjimais. Nurodykite laiko kryptį ir naują įvykį. Jungčiai išrikiuokite klipus ir aprašykite perėjimą tarp kiekvienos poros, pavyzdžiui, kaip kamera viename kadre įeina pro duris ir atsiduria kitoje aplinkoje.

Paprastas pratęsimas paprastai grąžina tęsinį, išplėtotą aplink šaltinio medžiagą; įtraukite aiškią instrukciją, jei galutinis rezultatas taip pat turi pakartoti originalų segmentą. Užbaigiant jungtį tarp dviejų ar trijų klipų dokumentuotas procesas gali apimti ir originalią medžiagą, ir naują perėjimo turinį. Tai naudinga pradžiai ar pabaigai plėtoti arba paruoštoms scenoms sujungti nepaliekant jungiančio veiksmo neapibrėžto.

Standartinės versijos išvestis ir 4K

Standartinė versija dokumentuoja MP4 su 24 fps ir trukmėmis nuo 4 iki 15 sekundžių. Išvesties lygiai yra 480p, 720p ir 1080p su 8 bitų spalvos gyliu bei 4K su 10 bitų spalvos gyliu. Palaikomi santykiai yra 21:9, 16:9, 4:3, 1:1, 3:4 ir 9:16. Taip pat dokumentuojamas adaptyvus kadravimas ir automatinis trukmės pasirinkimas. Fast versija turi savą siauresnę 480p/720p išvesties specifikaciją.

4K išvestis naudoja H.265/HEVC kodavimą. Dešimties bitų kodavimas išsaugo papildomas tonų gradacijas ir sklandesnius spalvų perėjimus, o tai svarbu medžiagai su subtiliais šviesos ar spalvos gradientais. Patikrinkite, ar numatyta atkūrimo ir redagavimo aplinka gali dekoduoti šį formatą; kai kurios naršyklės bei įrenginiai jo tiesiogiai neatkuria. Suderinamas konteineris savaime neužtikrina suderinamo vaizdo dekodavimo.

Modelis gali generuoti sinchronizuotą garsą arba tylų vaizdo įrašą ir gali grąžinti paskutinį sugeneruotą kadrą tolesnei scenai. Sugeneruotas garsas yra mono. 2.0 šeima nepalaiko atskiro dviejų etapų Draft peržiūros režimo, todėl šios peržiūros funkcijos nereikėtų numanyti iš kitos Seedance versijos.

Etalonų paruošimas ir esminiai apribojimai

Dokumentuota etalonų talpa yra iki devynių vaizdų, trijų vaizdo įrašų ir trijų garso klipų. Tiesioginiai etaloninių vaizdų ar vaizdo įrašų su tikrais žmonių veidais įkėlimai šiame dokumentuotame gamintojo profilyje nepriimami; portretų darbui naudojamas palaikomas portretinių išteklių procesas. Kiekvienas vaizdo ir garso klipas turi trukti 2–15 sekundžių. Visi vaizdo etalonai kartu turi tilpti į 15 sekundžių, o visi garso etalonai kartu turi savą 15 sekundžių bendrą ribą. Vaizdo failai naudoja MP4 arba MOV su 24–60 fps, iki 200 MB kiekvienas; garso failai naudoja WAV arba MP3, iki 15 MB kiekvienas. Nurodyti vaizdų formatai yra JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC ir HEIF. Kiekvienas vaizdas turi būti mažesnis nei 30 MB, o užklausos turinys neturi viršyti 64 MB. Dokumentuotame etalonų įvesties profilyje vaizdo plotis ir aukštis kiekvienas turi būti griežtai tarp 300 ir 6 000 pikselių, o pločio ir aukščio santykis – griežtai tarp 0.4 ir 2.5. Etaloniniai vaizdo įrašai leidžia 300–6 000 pikselių kiekvienam matmeniui ir santykius 0.4–2.5 imtinai, su 407 696–8 295 044 bendrų pikselių. MP4 ar MOV įrašai naudoja H.264/AVC arba H.265/HEVC vaizdą ir AAC arba MP3 garsą.

Failus sąmoningai išrikiuokite ir kiekvieną nurodykite pagal jo medijos tipą bei numerį: Image 1, Video 1 ir Audio 1. Numeris atitinka tvarką tarp to tipo failų. Paaiškinkite, kuriuos bruožus perkelti ir kuris šaltinio turinys neturi apibrėžti naujos scenos. Dokumentuotos užklausų kalbos apima anglų, ispanų, indoneziečių, portugalų ir japonų. Dialoge išlaikykite nuoseklią sakytinę kalbą; vadovas pataria nemaišyti kalbų, išskyrus tikrinius vardus. Balsu grindžiamam darbui atskirkite kalbėtoją, tikslią frazę ir atlikimo instrukciją.

Pirmąjį ir paskutinįjį vaizdus paruoškite su suderinamu kadravimu. Įvesties vaizdo ir išvesties matmenų neatitikimas gali sukelti nukirpimą ar staigų vaizdo pokytį; suderinti matmenys ir adaptyvus kadravimas yra dokumentuoti sprendimai. Aprašą sutelkite į įvykį ir etalonų vaidmenis. Gamintojas perspėja, kad ilgos užklausos gali išsklaidyti informaciją ir lemti detalių ignoravimą. Gautą judėjimą, etalonų tęstinumą, garso atlikimą ir scenų sujungimus peržiūrėkite kaip atskiras kūrybinio rezultato dalis.

Kadrų planavimas ir teksto režisavimas

Sudėtingai scenai užduotį organizuokite kaip Shot 1, Shot 2 ir Shot 3, iš eilės nurodydami kamerą, subjekto veiksmą, vietą bei garsą. Vadovas rekomenduoja vieną kameros judesį vienam kadrui ir pirmenybę lėtiems, susietiems veiksmams. Tikslios atskirų kadrų laiko žymos nestabilios, todėl įvykių seka yra geresnis valdiklis nei kelių tikslių laiko langų primetimas.

Modelis taip pat generuoja įprastą tekstą, įskaitant šūkius, subtitrus ir kalbos burbulus. Galite nukreipti teksto spalvą, vizualinį perteikimą, vietą ir pasirodymą. Naudokite įprastus rašmenis, o ne retus rašmenis ar specialiuosius simbolius, ir patikrinkite formuluotes judant. Subjektų etalonams kiekvieną išteklių aiškiai susiekite su numatytu veikėju ar objektu. Produkto vaizdai iš skirtingų kampų gali pateikti skirtingą vaizdinę informaciją; veikėjo vaizdų iš skirtingų pusių koliažai gali supainioti veido tapatybę. Atskiras aiškus galvos portretas ir viso kūno vaizdas yra dokumentuota veikėjų etalonų rekomendacija.

Elgsena, kurią reikia patikrinti prieš montažą

Vadovas dokumentuoja nepageidaujamus subtitrus, logotipus, pasikartojančius veikėjus ir stiliaus nukrypimą. Švari šaltinio medžiaga, nuoseklios žymos ir aiškūs apribojimai sumažina šias rizikas, tačiau negarantuoja nepageidaujamo teksto ar dubliuotų figūrų išnykimo. Daugiau nei keturi etaloniniai žmonės įvardijami kaip stabilumo rizika, atskira nuo modelio priimamo failų skaičiaus.

Vaizdo pratęsimas gali sukelti šuolį ar grįžimą atgal ties sujungimu, o pakartotiniai tęsiniai gali kaupti vaizdo kokybės blogėjimą. Patikrinkite ribinius kadrus ir ribokite nuoseklius pratęsimus. Etaloninis balsas gali skirtis nuo šaltinio tembro; pasakojimas gali baigtis spragtelėjimu ar staigiu nukirtimu, kuriems dokumentuotas sprendimas yra garso išblukimas. Kelis tarimo variantus turintys, reti ar panašios formos kinų rašmenys gali būti ištarti neteisingai. Tiksliam animuotam efektui, pavyzdžiui, atgaliniam skaičiavimui, judesio etalonas informatyvesnis nei vien žodinis prašymas. Tai konkrečios priežastys atskirai tikrinti tapatybę, tekstą, judėjimą ir garsą renkantis klipą.