ByteDance: Seedance 1.5 Pro

A Seedance 1.5 Pro a ByteDance Seed modellje natív közös hang–videó generáláshoz. Együtt modellezi a vizuális cselekményt, beszédet és ritmust, így egy jelenet karakteralakítást, szinkronizált párbeszédet és megtervezett hangkörnyezetet tartalmazhat. A csak képi videófeladathoz képest a központi különbség, hogy a hang a jelenetleírás része lesz: ki beszél, hogyan adja elő a sort, és mit hall a közönség a cselekmény körül.

Közös audiovizuális generálás

A dokumentált hangtartomány környezeti hangokat, cselekményeffekteket, szintetizált hangokat, hangszereket, háttérzenét és éneket tartalmaz. A modell célja a hang és a képernyőn történő esemény összekapcsolása: tárgy asztalhoz ütődése, ajtónyitás vagy karakter beszéde. Rövid drámai mozzanathoz, megszólaló termékreklámhoz vagy előadástól és hangtól egyaránt függő hangulatú jelenethez használd.

A promptot az alannyal és mozgással kezdd, majd add hozzá a környezetet, kamerát, vizuális stílust és hangot. Egy tömör jelenet: „Egy szakács felemeli egy kis fazék fedelét, mosolyog, és azt mondja: »Ez elkészült.« Halk gőzfelhő szökik ki, majd finoman koccan a pultra tett fedél.” Így a kimondott sor és az effektek látható okot kapnak.

Párbeszéd és alámondás

A modell monológokat és több beszélős társalgást támogat, a karakterekhez illesztett szájmozgással. Útmutatója mandarint, kínai dialektusokat, köztük a kantonit, valamint Shaanxi és Sichuan nyelvjárásait, valamint beszélt angolt, japánt, koreait, spanyolt és indonézt dokumentál. A dokumentált promptnyelvek kínai és angol; a prompt nyelve és a kimondott sorhoz kért nyelv külön választás.

Minden beszélőt következetes látható jellemzővel azonosíts, a sorokat idézőjelbe írd. Adj előadásutasításokat, például nyugodt hangot, tétova választ vagy gyorsabb tempót, és tedd egyértelművé a váltakozást. Két beszélőnél írd le, ki beszél először, és kinek a reakcióját mutatja a kamera. A kiválasztott klipbe férő rövid beszélgetés világosabb előadási célt ad a modellnek, mint egy hosszú, meghatározatlan beszélőjű részlet.

Az alámondás hangszínnel, érzelemmel, intonációval és beszédsebességgel irányítható. Hasznos, ha a hangnak egy terméket kell magyaráznia, miközben a kamera a terméken marad, vagy ha a narrátor képernyőn látható beszélő nélkül teremti meg a hangulatot. Az útmutató felismerhető hangszín megtartását írja le változó előadás mellett; a tényleges megfogalmazást, kiejtést és előadást a képpel együtt ellenőrizd.

Hangeffektek és háttérzene

Az effekteket a cselekményhez kapcsolódó eseményként írd le: lépések a karakter belépésekor, erősödő eső az ablakon kívül, vagy mozgó szövet kabátfelvétel közben. A háttérzene alapértelmezés szerint a prompthoz igazodva generálódik. Add meg hangulatát, stílusát és ritmusát, ha számítanak, és mondd el, mikor kezdődjön vagy halkuljon el a jelenethez képest.

Csendes bemutatóhoz visszafogott zenét kérj, és hangsúlyozd a termék kezelésének hangjait. Animált jelenethez írd le azt a cselekménymozzanatot, amelynek egybe kell esnie a zenei ritmussal. A generált hangsáv mono. A dokumentált hangvezérlés néma videót is enged, ha a projekthez külön előkészített hangsáv kell.

Snittátmenetek és kamerairányítás

A modell következetes vizuális feldolgozású snittváltásokat, párbeszédhez ellenbeállításokat és átmeneti időzítési utasításokat támogat. Egy hasznos párbeszédsorozat középképben mutathatja a két beszélőt, a válaszoló beszélőre vághat, majd visszatérhet az első reakciójához. Snittváltáskor add meg mindegyik személy azonosságát.

Az útmutató magas, alacsony és szemmagasságú kameraállást; váll fölötti és szubjektív nézőpontot; valamint tág, közepes és közeli képkivágást tárgyal. A kameramozgást kezdőkompozíciójával, irányával, mértékével és zárókompozíciójával írd le. Például lassú közelítő kocsizás végződhet a beszélő arckifejezésén a sor végén. Kapcsold a mozgást a történethez, ne céltalanul sorolj fel több kameratechnikát.

Módok, kimenet és előnézet

A dokumentált bemeneti módok szöveg–videó, első képkockás kép–videó és első–utolsó képkockás kép–videó. Az előkészített első kép rögzíti a kezdőkompozíciót; a zárókép meghatározhatja a kívánt végpontot. A kimeneti specifikációk MP4-et sorolnak fel 24 fps-sel, 480p, 720p vagy 1080p felbontással és 4–12 másodperces időtartam-beállításokkal. A modell támogatott tartományán belül egész másodperces hosszt is választhat. A dokumentált arányok 21:9, 16:9, 4:3, 1:1, 3:4 és 9:16, adaptív képkivágás támogatásával.

A gyártó kétlépcsős Draft-munkafolyamatot dokumentál: 480p előnézetet a jelenetszerkezet, snittválasztások, mozgás és promptszándék ellenőrzésére, majd végleges generálást az alkotói bemenetek újrahasználatával. Így a tervezett előadás megítélhető a végleges felbontás kiválasztása előtt. Maga az előnézet 480p-re korlátozott, és nem támogatja az utolsó képkocka visszaadását. A gyártó Draft-feladatazonosítója a létrehozástól hét napig érvényes; ezen az időablakon belül generáld belőle a végleges videót.

Képvezérelt munkánál a forrásképet a tervezett kivágáshoz készítsd elő: a kimeneti arány változtatása levághatja a képet. Ismételt seed hasonló, nem garantáltan azonos képkockákat készít, a rögzített kamera utasítása pedig nem tökéletes rögzítési garancia. Mindenekelőtt egyetlen audiovizuális előadásként ítéld meg a párbeszédklipet: a megfelelő beszélőnek, hallható sornak, arcreakciónak és kamerahangsúlynak ugyanazt az eseményt kell támogatnia.