ByteDance: Seedance 2.0

Seedance 2.0 je standardní model ByteDance Seed pro multimodální tvorbu zvuku a videa. Spojuje text, obrázky, videa a zvuk v architektuře společného generování, se samostatnými tvůrčími postupy pro scény vedené referencemi, úpravy a prodlužování videa. Hodí se tam, kde zadání potřebuje souvislý výkon i konkrétní vizuální nebo zvukové informace z připravených materiálů.

Multimodální reference a režijní ovládání

Obrázky mohou definovat vzhled objektu, vizuální styl a kompozici. Video reference mohou vést akci, pohyb kamery a efekty. Zvuk může řídit barvu hlasu, hudbu nebo dialog. Definujte roli každého materiálu a potom popište scénu, která má vzniknout. Výrobce zdůrazňuje ovládání přednesu, osvětlení, stínů a kamerového jazyka.

Pro produktový příběh připravte obrázek produktu, referenci pohybu kamery a zvukový pokyn. Zadání může znít: „Zachovej modrou skleněnou vázu z Image 1. Použij pomalý boční pojezd z Video 1. Váza stojí na sluncem osvětlené polici a zní jemná instrumentální hudba podle Audio 1.“ Zamýšleným výstupem je nově inscenovaná scéna spojující vybrané referenční informace.

Referenční vstupy mohou kombinovat obraz a zvuk, obraz a video, video a zvuk nebo všechny tři. Samotný zvuk a text se zvukem bez obrázku či videa nejsou podporovány. Dokumentovány jsou také tradiční převod textu na video, generování z prvního snímku a z prvního i posledního snímku. Jsou-li důležité pevné počáteční a koncové kompozice, použijte vyhrazený postup koncových bodů: označení referenčního obrázku jako koncového bodu v omni-reference zadání je pouze nepřímým vedením.

Úprava záznamu

Model může nahradit objekt, přidat nebo odstranit předměty, změnit prvky a překreslit či opravit části videa. Popište konkrétní změnu a identifikujte zdrojový záznam. U přidání zahrňte čas a polohu výskytu; u odstranění nebo nahrazení určete objekt přesně a pojmenujte, co má zůstat.

Například: „Nahraď stolní lampu ve videu Video 1 mosaznou lampou z Image 1. Zachovej pohyb kamery, uspořádání stolu a směr osvětlení.“ Požadovaným výsledkem je upravená verze scény se zamýšlenou náhradou. Zkontrolujte nezměněné oblasti i nový objekt, zvláště při zakrývání, pohybu a změnách záběru.

Prodlužování a spojování sekvence

Seedance 2.0 může prodloužit video dopředu nebo dozadu a propojit až tři dodané klipy generovanými přechody. Určete časový směr a novou událost. U spojovacího úseku seřaďte klipy a popište přechod mezi každou dvojicí, například kameru vstupující v jednom záběru do dveří a přicházející do dalšího prostředí.

Jednoduché prodloužení obvykle vrací pokračování rozvinuté kolem zdrojového záznamu; pokud má konečný výsledek také zopakovat původní segment, zahrňte jasný pokyn. Při dokončování spojení dvou či tří klipů může dokumentovaný postup zahrnout původní materiál i nový přechodový obsah. To se hodí pro rozvíjení začátku nebo konce či propojení připravených scén bez neurčité spojovací akce.

Výstup standardní verze a 4K

Standardní verze dokumentuje MP4 při 24 fps a délky od 4 do 15 sekund. Výstupní úrovně jsou 480p, 720p a 1080p s 8bitovou barevnou hloubkou a 4K s 10bitovou barevnou hloubkou. Podporované poměry jsou 21:9, 16:9, 4:3, 1:1, 3:4 a 9:16. Dokumentovány jsou také adaptivní rámování a automatická volba délky. Verze Fast má vlastní užší specifikaci výstupu 480p/720p.

Výstup 4K používá kódování H.265/HEVC. Desetibitové kódování zachovává další tonální stupně a plynulejší barevné přechody, což je důležité u materiálu s jemnými světelnými či barevnými gradienty. Ověřte, že zamýšlené přehrávací a editační prostředí umí tento formát dekódovat; některé prohlížeče a zařízení jej přímo nepřehrají. Kompatibilní kontejner sám nezaručuje kompatibilní dekódování videa.

Model může generovat synchronizovaný zvuk nebo tiché video a vrátit poslední generovaný snímek pro následující scénu. Generovaný zvuk je monofonní. Rodina 2.0 nepodporuje samostatný dvoufázový režim náhledu Draft, takže tuto náhledovou funkci nelze odvozovat od jiné verze Seedance.

Příprava referencí a podstatná omezení

Dokumentovaná referenční kapacita je až devět obrázků, tři videa a tři zvukové klipy. Přímé nahrávání referenčních obrázků nebo videí se skutečnými lidskými tvářemi není v tomto dokumentovaném profilu výrobce přijímáno; portrétní práce používá podporovaný postup portrétních podkladů. Každý video i zvukový klip musí mít délku 2–15 sekund. Všechny video reference dohromady se musí vejít do 15 sekund a všechny zvukové reference mají vlastní celkový limit 15 sekund. Video soubory používají MP4 nebo MOV při 24–60 fps, do 200 MB na soubor; zvukové soubory používají WAV nebo MP3, do 15 MB na soubor. Uvedené obrazové formáty jsou JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC a HEIF. Obrázky musí být jednotlivě menší než 30 MB a tělo požadavku nesmí překročit 64 MB. V dokumentovaném profilu referenčních vstupů musí šířka i výška obrázku ležet přísně mezi 300 a 6 000 pixely, s poměrem šířky k výšce přísně mezi 0,4 a 2,5. Referenční videa umožňují 300–6 000 pixelů v každém rozměru a poměry 0,4–2,5 včetně, s celkem 407 696–8 295 044 pixely. Videa MP4 nebo MOV používají obraz H.264/AVC nebo H.265/HEVC a zvuk AAC nebo MP3.

Soubory záměrně seřaďte a odkazujte na každý typem média a číslem: Image 1, Video 1 a Audio 1. Číslo sleduje pořadí mezi soubory daného typu. Vysvětlete, které rysy přenést a který zdrojový obsah nemá definovat novou scénu. Dokumentované jazyky zadání zahrnují angličtinu, španělštinu, indonéštinu, portugalštinu a japonštinu. Mluvený jazyk v dialogu udržujte jednotný; příručka doporučuje nemíchat jazyky s výjimkou vlastních jmen. U práce vedené hlasem oddělte mluvčího, přesnou repliku a pokyn k přednesu.

První a poslední obrázek připravte s kompatibilním rámováním. Nesoulad vstupního obrázku a výstupních rozměrů může způsobit ořez nebo náhlou vizuální změnu; shodné rozměry a adaptivní rámování jsou dokumentovaná řešení. Popis soustřeďte na událost a role referencí. Výrobce varuje, že dlouhé prompty mohou rozptýlit informace a vést k ignorování podrobností. Výsledný pohyb, návaznost referencí, zvukové provedení a spoje mezi scénami kontrolujte jako samostatné části tvůrčího výsledku.

Plánování záběrů a vedení textu

U složité scény uspořádejte zadání jako Shot 1, Shot 2 a Shot 3 a postupně určete kameru, akci objektu, polohu a zvuk. Příručka doporučuje jeden pohyb kamery na záběr a upřednostnění pomalých navazujících akcí. Přesné časové značky jednotlivých záběrů jsou nestabilní, proto je pořadí událostí lepším ovládáním než vynucování několika přesných časových oken.

Model generuje také běžný text včetně sloganů, titulků a komiksových bublin. Lze řídit barvu, vizuální zpracování, umístění a nástup textu. Používejte běžné znaky místo vzácných znaků či zvláštních symbolů a kontrolujte znění za pohybu. U referencí objektů jasně přiřaďte každý podklad zamýšlené postavě nebo předmětu. Pohledy na produkt mohou dodat různé vizuální informace; koláže postavy z více stran mohou mást identitu tváře. Dokumentovaným doporučením pro referenci postavy je samostatný jasný portrét hlavy a snímek celé postavy.

Chování ke kontrole před střihem

Příručka dokumentuje nežádoucí titulky, loga, duplicitní postavy a odchylky stylu. Čisté zdrojové materiály, jednotná označení a výslovná omezení tato rizika snižují, ale nezaručují vymizení nežádoucího textu nebo duplicitních postav. Více než čtyři referenční osoby je uváděno jako riziko stability, odlišné od počtu přijímaných souborů.

Prodlužování videa může ve spoji vytvořit skok nebo návrat a opakovaná pokračování mohou kumulovat zhoršení kvality obrazu. Zkontrolujte hraniční snímky a omezte navrstvená prodloužení. Referenční hlas se může lišit od zdrojové barvy; vyprávění může skončit cvaknutím či náhlým utnutím, pro které je dokumentovaným řešením zvukové ztišení. Čínské znaky s více výslovnostmi, neobvyklé znaky nebo podobně tvarované znaky mohou být vysloveny chybně. U přesného animovaného efektu, například odpočítávání, je pohybová reference informativnější než samotný slovní požadavek. To jsou konkrétní důvody kontrolovat při výběru klipu zvlášť identitu, text, pohyb a zvuk.