ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro to model ByteDance Seed do natywnego wspólnego generowania audio i wideo. Modeluje jednocześnie akcję wizualną, mowę i rytm, pozwalając scenie zawierać grę postaci, zsynchronizowany dialog i zaprojektowany pejzaż dźwiękowy. Główna różnica względem briefu wyłącznie wizualnego polega na włączeniu dźwięku w opis sceny: kto mówi, jak wypowiada kwestię i co widz słyszy wokół akcji.

Wspólna generacja audiowizualna

Udokumentowany zakres dźwięku obejmuje odgłosy otoczenia, efekty działań, dźwięki syntetyzowane, instrumenty, muzykę w tle i wokal. Model ma łączyć dźwięk z wydarzeniami na ekranie: przedmiotem uderzającym w stół, otwieraniem drzwi lub mówiącą postacią. Używaj go do krótkiego momentu dramatycznego, reklamy produktu z głosem lub sceny, której nastrój zależy zarówno od wykonania, jak i dźwięku.

Zacznij prompt od podmiotu i ruchu, następnie dodaj otoczenie, kamerę, styl wizualny i dźwięk. Zwięzła scena może brzmieć: „Kucharz podnosi pokrywkę małego garnka, uśmiecha się i mówi: «Gotowe». Wydobywa się delikatny obłok pary, po czym słychać ciche brzęknięcie pokrywki odłożonej na blat”. Nadaje to kwestii mówionej i efektom widoczną przyczynę.

Dialog i głos lektora

Model obsługuje monologi i rozmowy kilku mówców, z ruchami ust dopasowanymi do postaci. Przewodnik dokumentuje mandaryński, chińskie dialekty, w tym kantoński, Shaanxi i syczuański, oraz mówiony angielski, japoński, koreański, hiszpański i indonezyjski. Udokumentowane języki promptów to chiński i angielski; język promptu i język żądany dla wypowiadanej kwestii są odrębnymi wyborami.

Identyfikuj każdego mówcę stałą widoczną cechą i zapisuj kwestie w cudzysłowie. Dodaj instrukcje wykonania, takie jak spokojny głos, niepewna odpowiedź lub szybsze tempo, i wyraźnie określ kolejność tur. Przy dwóch mówcach opisz, kto mówi pierwszy i czyją reakcję pokazuje kamera. Krótka wymiana pasująca do wybranego klipu daje modelowi wyraźniejszy cel niż długi fragment z nieokreślonymi mówcami.

Głosem lektora można kierować przez barwę, emocje, intonację i tempo mowy. Przydaje się, gdy głos ma wyjaśniać produkt, a kamera pozostaje na produkcie, lub gdy narrator buduje nastrój bez mówcy na ekranie. Przewodnik opisuje utrzymywanie rozpoznawalnej barwy przy zmianie realizacji; oceń rzeczywiste słowa, wymowę i wykonanie razem z obrazem.

Efekty dźwiękowe i muzyka w tle

Opisuj efekty jako zdarzenia powiązane z akcją: kroki przy wejściu postaci, nasilający się deszcz za oknem lub ruch tkaniny podczas zakładania płaszcza. Muzyka w tle jest domyślnie generowana zgodnie z promptem. Określ jej nastrój, styl i rytm, gdy mają znaczenie, oraz wskaż moment rozpoczęcia lub wyciszenia względem sceny.

W cichej demonstracji poproś o powściągliwą muzykę i podkreśl dźwięki obsługi produktu. W scenie animowanej opisz moment akcji mający pokrywać się z rytmem muzycznym. Wygenerowana ścieżka dźwiękowa jest monofoniczna. Udokumentowany parametr audio pozwala też na nieme wideo, gdy projekt potrzebuje osobno przygotowanej ścieżki.

Przejścia ujęć i reżyseria kamery

Model obsługuje zmiany ujęć ze spójnym opracowaniem wizualnym, kontrplany rozmowy i instrukcje czasu przejścia. Użyteczna sekwencja dialogu może ustanowić dwóch mówców w planie średnim, przejść do odpowiadającego i wrócić do reakcji pierwszego. Przy zmianie ujęcia określ tożsamość każdej osoby.

Przewodnik obejmuje kąty z góry, z dołu i na wysokości oczu; widoki zza ramienia i subiektywne; oraz plany szerokie, średnie i zbliżenia. Opisuj ruch kamery przez kompozycję początkową, kierunek, amplitudę i kompozycję końcową. Na przykład powolny najazd może kończyć się na wyrazie twarzy mówcy przy końcu kwestii. Powiąż ruch z historią, zamiast wyliczać kilka technik kamery bez celu.

Tryby, wyjście i podgląd

Udokumentowane tryby wejściowe to text-to-video, image-to-video z pierwszej klatki oraz pierwszej i ostatniej klatki. Przygotowany pierwszy obraz ustanawia kompozycję początkową; końcowy może definiować zamierzony punkt docelowy. Specyfikacje wyjścia wymieniają MP4 przy 24 fps, 480p, 720p lub 1080p i długości 4–12 sekund. Model może też wybrać długość w pełnych sekundach w obsługiwanym zakresie. Udokumentowane proporcje to 21:9, 16:9, 4:3, 1:1, 3:4 i 9:16, z obsługą kadrowania adaptacyjnego.

Producent dokumentuje dwuetapowy proces Draft: podgląd 480p do oceny struktury sceny, wyboru ujęć, ruchu i zamysłu promptu, a następnie końcową generację ponownie wykorzystującą wejścia twórcze. Pozwala to ocenić planowane wykonanie przed wyborem końcowej rozdzielczości. Sam podgląd jest ograniczony do 480p i nie obsługuje zwracania ostatniej klatki. Identyfikator zadania Draft producenta pozostaje ważny przez siedem dni od utworzenia; wygeneruj końcowy film z niego w tym oknie.

W pracy opartej na obrazie przygotuj zdjęcie źródłowe do zamierzonego kadrowania: zmiana proporcji wyjścia może przyciąć obraz. Powtórzony seed daje podobne klatki, ale nie gwarantuje ich identyczności, a instrukcja nieruchomej kamery nie gwarantuje doskonałej blokady. Przede wszystkim oceniaj klip dialogowy jako jedno wykonanie audiowizualne: właściwy mówca, słyszalna kwestia, reakcja twarzy i nacisk kamery muszą wspierać to samo zdarzenie.