ByteDance: Seedance 2.0

A Seedance 2.0 a ByteDance Seed standard modellje multimodális hang–videó alkotáshoz. Szöveget, képeket, videókat és hangot kapcsol össze közös generálási architektúrában, külön alkotói munkafolyamattal referenciaalapú jelenetekhez, videószerkesztéshez és videóhosszabbításhoz. Akkor hasznos, ha a feladatleíráshoz összefüggő előadás és előkészített anyagokból származó konkrét vizuális vagy hangi információ egyaránt kell.

Multimodális referencia és rendezői vezérlés

Képek határozhatják meg az alany megjelenését, vizuális stílust és kompozíciót. Videóreferenciák irányíthatják a cselekményt, kameramozgást és effekteket. Hang irányíthatja a hangszínt, zenét vagy párbeszédet. Határozd meg minden anyag szerepét, majd írd le a kívánt jelenetet. A gyártó az előadás, világítás, árnyékok és kameranyelv vezérlését hangsúlyozza.

Terméktörténethez készíts termékképet, kameramozgás-referenciát és hangjelzést. Egy feladatleírás: „Őrizd meg az Image 1 kék üvegvázáját. Használd a Video 1 lassú oldalirányú kamerakövetését. A váza napsütötte polcon áll, halk hangszeres zenével az Audio 1 alapján.” A kívánt kimenet újonnan beállított jelenet, amely kiválasztott referenciainformációkat kapcsol össze.

A referenciabemenetek képet és hangot, képet és videót, videót és hangot vagy mindhármat kombinálhatják. A csak hangból álló bemenet, illetve szöveg és hang kép vagy videó nélkül nem támogatott. Hagyományos szöveg–videó, első képkockás és első–utolsó képkockás generálás is dokumentált. Ha fontos a rögzített nyitó- és zárókompozíció, a dedikált végpont-munkafolyamatot használd: egy referenciakép végpontként való megnevezése omni-reference promptban csak közvetett irányítás.

Felvétel szerkesztése

A modell alanyt cserélhet, tárgyat adhat hozzá vagy távolíthat el, elemeket módosíthat és videórészeket rajzolhat újra vagy javíthat. Írd le a konkrét változást, és azonosítsd a forrásfelvételt. Hozzáadásnál add meg a megjelenési időt és pozíciót; eltávolításnál vagy cserénél pontosan nevezd meg a tárgyat és azt, minek kell megmaradnia.

Például: „Cseréld a Video 1 asztali lámpáját az Image 1 sárgaréz lámpájára. Tartsd meg a kameramozgást, asztalelrendezést és fényirányt.” A kívánt eredmény a jelenet szerkesztett változata a tervezett cserével. A változatlan területeket és új tárgyat is vizsgáld meg, különösen takarás, mozgás és snittváltás során.

Sorozat hosszabbítása és összekapcsolása

A Seedance 2.0 előre vagy visszafelé hosszabbíthat videót, és legfeljebb három megadott klipet kapcsolhat össze generált átmenetekkel. Add meg az időbeli irányt és új eseményt. Átkötésnél rendezd sorba a klipeket, és írd le az egyes párok közötti átmenetet, például ahogy a kamera az egyik snittben belép egy ajtón, a következőben pedig megérkezik az új környezetbe.

Az egyszerű hosszabbítás jellemzően a forrásfelvétel körül kialakított folytatást adja vissza; adj egyértelmű utasítást, ha a végső eredménynek az eredeti szegmenst is meg kell ismételnie. Két-három klip összekapcsolásakor a dokumentált munkafolyamat eredeti anyagot és új átmeneti tartalmat is tartalmazhat. Ez hasznos nyitás vagy lezárás kidolgozásához, illetve előkészített jelenetek összekötéséhez anélkül, hogy az összekötő cselekmény meghatározatlan maradna.

Standard kimenet és 4K

A standard változat 24 fps-es MP4-et és 4–15 másodperces időtartamokat dokumentál. Kimeneti szintjei 480p, 720p és 1080p 8 bites színmélységgel, továbbá 4K 10 bites színmélységgel. Támogatott arányok: 21:9, 16:9, 4:3, 1:1, 3:4 és 9:16. Adaptív képkivágás és automatikus időtartamválasztás is dokumentált. A Fast változat saját, szűkebb 480p/720p kimeneti specifikációval rendelkezik.

A 4K kimenet H.265/HEVC kódolást használ. A tízbites kódolás további tónusfokozatokat és simább színátmeneteket őriz meg, ami finom fény- vagy színátmeneteket tartalmazó anyagnál fontos. Ellenőrizd, hogy a tervezett lejátszási és szerkesztési környezet dekódolja-e ezt a formátumot; egyes böngészők és eszközök nem játsszák le közvetlenül. A kompatibilis konténer önmagában nem biztosít kompatibilis videódekódolást.

A modell szinkronizált hangot vagy néma videót generálhat, és visszaadhatja az utolsó generált képkockát egy későbbi jelenethez. A generált hang mono. A 2.0 család nem támogatja a külön kétlépcsős Draft-előnézet módot, ezért ezt az előnézeti funkciót nem szabad más Seedance-változatból következtetni.

Referencia-előkészítés és lényeges korlátok

A dokumentált referenciakapacitás legfeljebb kilenc kép, három videó és három hangklip. Valódi emberi arcot tartalmazó referenciaképek vagy videók közvetlen feltöltése ebben a dokumentált gyártói leírásban nem elfogadott; portrémunkához a támogatott portréanyag-munkafolyamat használatos. Minden videó- és hangklipnek 2–15 másodpercesnek kell lennie. Az összes videóreferenciának együtt 15 másodpercbe kell férnie, és az összes hangreferenciának külön 15 másodperces összkorlátja van. A videófájlok MP4-et vagy MOV-ot használnak 24–60 fps-sel, egyenként legfeljebb 200 MB-ig; a hangfájlok WAV-ot vagy MP3-at, egyenként legfeljebb 15 MB-ig. A felsorolt képformátumok JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC és HEIF. Minden kép 30 MB-nál kisebb legyen, a kéréstörzs pedig nem haladhatja meg a 64 MB-ot. A dokumentált referenciabemenetnél a képszélesség és -magasság szigorúan 300 és 6000 pixel közötti, a szélesség–magasság arány szigorúan 0.4 és 2.5 közötti. A referenciavideók mindkét mérete 300–6000 pixel és aránya 0.4–2.5 lehet, a határokat beleértve, összesen 407 696–8 295 044 pixellel. Az MP4 vagy MOV videók H.264/AVC vagy H.265/HEVC videót és AAC vagy MP3 hangot használnak.

Tudatosan rendezd sorba a fájlokat, és médiatípusukkal, valamint számukkal hivatkozz rájuk: Image 1, Video 1 és Audio 1. A szám az adott típus fájljainak sorrendjét követi. Magyarázd el, mely tulajdonságok kerüljenek át, és melyik forrástartalom ne határozza meg az új jelenetet. A dokumentált promptnyelvek között angol, spanyol, indonéz, portugál és japán szerepel. Párbeszéden belül tartsd következetesen a beszélt nyelvet; az útmutató tulajdonnevek kivételével nem ajánlja a nyelvkeverést. Hangvezérelt munkánál különítsd el a beszélőt, a pontos sort és az előadásutasítást.

Az első és utolsó képet kompatibilis kivágással készítsd elő. A bemeneti kép és kimeneti méretek eltérése vágást vagy hirtelen vizuális váltást okozhat; az egyező méretek és adaptív képkivágás dokumentált megoldások. A leírást az eseményre és referenciák szerepére összpontosítsd. A gyártó figyelmeztet, hogy a hosszú promptok szétszórhatják az információt, ezért részletek figyelmen kívül maradhatnak. A létrejött mozgást, referenciafolytonosságot, hangelőadást és jelenetcsatlakozásokat az alkotói eredmény külön részeiként ellenőrizd.

Snitttervezés és szövegirányítás

Összetett jelenethez Shot 1, Shot 2 és Shot 3 formában szervezd a feladatot, sorrendben megadva a kamerát, az alany műveletét, pozícióját és hangját. Az útmutató snittenként egy kameramozgást és lassú, összekapcsolt műveletek előnyben részesítését ajánlja. A pontos snittenkénti időbélyegek instabilak, ezért az eseménysor jobb vezérlés több pontos időablak erőltetésénél.

A modell közönséges szöveget, köztük szlogeneket, feliratokat és szövegbuborékokat is generál. Irányíthatod a szöveg színét, vizuális feldolgozását, helyét és belépését. Gyakori karaktereket használj ritka karakterek vagy speciális szimbólumok helyett, és mozgás közben ellenőrizd a megfogalmazást. Alanyreferenciáknál minden anyagot világosan köss a kívánt karakterhez vagy tárgyhoz. A terméknézetek eltérő vizuális információt adhatnak; a karakterkörbeforgatási kollázsok összezavarhatják az arcazonosságot. A dokumentált karakterreferencia-ajánlás külön tiszta portré és teljes alakos kép.

Szerkesztés előtt ellenőrizendő viselkedések

Az útmutató nem kívánt feliratokat, logókat, duplikált karaktereket és stíluseltérést dokumentál. Tiszta forrásanyag, következetes címkék és explicit korlátok csökkentik a kockázatokat, de nem garantálják a nem kívánt szöveg vagy duplikált alakok eltűnését. Négynél több referencia-személy használatát stabilitási kockázatként említi, a modell által elfogadott fájlszámtól külön kezelve.

A videóhosszabbítás ugrást vagy visszalépést okozhat a csatlakozásnál, az ismételt folytatások pedig halmozhatják a képminőség-romlást. Vizsgáld meg a határképkockákat, és korlátozd az egymásra épített hosszabbításokat. A referenciahang eltérhet a forrás hangszínétől; a narráció kattintással vagy hirtelen levágással végződhet, amelyhez a hangkiúsztatás dokumentált megoldás. A kínai többkiejtésű, ritka vagy hasonló alakú karakterek hibásan hangozhatnak el. Pontos animált effekthez, például visszaszámláláshoz a mozgásreferencia informatívabb a puszta szóbeli kérésnél. Ezek konkrét okok az azonosság, szöveg, mozgás és hang külön ellenőrzésére a klip kiválasztásakor.