ByteDance: Seedance 2.0

A Seedance 2.0 írott jelenetből vagy kép-, videó- és hangreferenciák kombinációjából generál videót. A konkrét doubao-seedance-2-0-260128 azonosító a standard 2.0 profilt választja ki. Dokumentált munkafolyamatai új videó generálását, valamint meglévő felvételek szerkesztését és meghosszabbítását tartalmazzák. A referenciákkal adja meg a megjelenést, a mozgást, a kamerakezelés módját és a hangot, majd mondja meg, a jelenet mely részeit kell vezérelniük.

A szöveg önmagában is megadható. A dokumentált multimodális kombinációk képeket vagy videót is engednek opcionális szöveggel, képeket hanggal, videót hanggal, valamint képeket, videót és hangot együtt. A felsorolt kombinációkban tehát a hang vizuális médiát kísér; a leírás nem önálló, hangból videót készítő kérésként ismerteti. A tervezett eredményt ott is világosan írja le, ahol a szöveg opcionális, hogy minden referencia szerepe egyértelmű legyen, ne egymástól független fájlokból kelljen kikövetkeztetni.

A content tömb text, image_url, video_url és audio_url elemeket különböztet meg. A multimodális referenciák például reference_image, reference_video és reference_audio szerepet használnak. Egy kép meghatározhatja a személyt, a tárgyat, a helyszínt vagy a megjelenést. Egy videó bemutathat előadásmódot, mozgást vagy kameranézetet, a hang pedig hangsávot vagy időzítést adhat. A leírásban mondja meg a hozzárendelést: tartsa meg a képen szereplő témát, kövesse a videó kameranézetét, és a hangot használja háttérként. Ne kérje minden referenciától, hogy egyszerre minden tulajdonságot meghatározzon.

A dokumentált reklámpélda két termékképet egy videóval és egy hangreferenciával kombinál. Nyitóképet, cselekvéssort, közeli termékrészletet és zárókompozíciót ír le, miközben a háttérben hallható beszédhang következetes marad. Ugyanez a felépítés rövid bemutatót is szervezhet: mutassa be a tárgyat, szemléltessen egy cselekvést, majd a felismerhető jellemzőjénél zárjon. Szerkesztéshez nevezze meg a forrásfelvételt és a megváltoztatandó elemet; meghosszabbításhoz magyarázza el a meglévő jeleneten túl folytatódó cselekvést, a téma és a mozgásirány megőrzésével.

A 2.0 profil dokumentációja négytől tizenöt egész másodpercig terjedő időtartamot, vagy -1-et ad meg az e tartományon belüli automatikus időtartam-választáshoz. Az alapérték öt másodperc. Felbontási lehetőségei a 480p és 720p, az alapérték a 720p; a 2.0 esetében az 1080p kizárt. A rögzített képarányok között szerepel a 16:9, 4:3, 1:1, 3:4, 9:16 és 21:9. Az adaptive (adaptív) képarány az utasításból vagy a referenciából választhat képkivágást: az első képkockára épülő munka a nyitóképet követi, a multimodális munka pedig a tervezett jelenetet vagy az első releváns médiát használja, a videónak elsőbbséget adva a képekkel szemben. A tényleges képarányt és időtartamot a feladat eredményében ellenőrizze.

A generált hangot a referenciamédiától külön vezérlik. A generate_audio=true szinkronizált beszédhangokat, effekteket és háttérzenét kér a szöveg és a vizuális tartalom alapján; a false néma videót kér. A dokumentált alapérték true, a beszédhez pedig idézőjelezett párbeszédet ajánlanak. Határozza meg, ki beszél, és hogyan kapcsolódik a hang a látható cselekvéshez, majd ellenőrizze a tényleges szöveget, a beszédhangok hozzárendelését és az időzítést. A hangreferencia megadása és a generált hang engedélyezése a kérés két külön választása.

A 2.0 útmutatója kizárja a régebbi frames és camera_fixed vezérlőket, és nem támogat flex offline feldolgozást. A duration mezőt használja, a kameramozgást pedig magában a jelenetben írja le. A seed és watermark továbbra is dokumentált vezérlők; az útmutató szerint ugyanaz a kérés és seed hasonló eredményeket adhat, de pontos azonosságot nem garantál. Ne kezelje a seed értékét a reprodukálhatóság bizonyítékaként, az ismételt kérést pedig már ellenőrzött klipként.

A videótoken-használat képlete: (bemeneti videó időtartama + kimeneti videó időtartama) × kimeneti szélesség × kimeneti magasság × kimeneti képkockasebesség / 1024. A bemeneti videót tartalmazó és az azt nem tartalmazó kérések külön számlázási kategóriába tartoznak. A feladat lekérdezése usage.completion_tokens és usage.total_tokens értéket jelent; ezeket a jelentett mennyiségeket őrizze meg az elkészült klippel együtt.

A munkafolyamat aszinkron: a beküldés feladatazonosítót ad vissza, az elkészült feladat pedig content.video_url értéket biztosít a jelentett időtartammal, felbontással, képaránnyal, képkockasebességgel és tokenhasználattal együtt. Őrizze meg az azonosítót, és az elkészült videót mentse el az eredeti referenciákkal és utasítással együtt. A lejárati mező alapértéke 172800 másodperc, és a feladat létrehozásától számított 3600–259200 másodpercet fogad el; az időközt túllépő feladat expired állapotba kerül. A teljes kimeneten, a szerkesztés vagy folytatás csatlakozásán is ellenőrizze a szereplő megjelenését, a tárgyak részleteit, a térbeli viszonyokat, a kameramozgás folytonosságát és a hang képhez igazított időzítését.