ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro è il modello di ByteDance Seed per la generazione congiunta nativa di audio e video. Modella insieme l’azione visiva, il parlato e il ritmo, consentendo a una scena di includere la recitazione di un personaggio, dialoghi sincronizzati e un paesaggio sonoro progettato. La differenza centrale rispetto a un brief video soltanto visivo è che il suono entra nella descrizione della scena: chi parla, come interpreta la battuta e che cosa sente il pubblico intorno all’azione.

Generazione audiovisiva congiunta

La gamma sonora documentata comprende suoni ambientali, effetti dell’azione, suoni sintetizzati, strumenti, musica di sottofondo e voci cantate. Il modello è concepito per collegare il suono a ciò che accade sullo schermo: un oggetto che urta un tavolo, una porta che si apre o un personaggio che parla. Usalo per un breve momento drammatico, una pubblicità di prodotto con voce o una scena la cui atmosfera dipende sia dalla recitazione sia dal suono.

Inizia il prompt con il soggetto e il movimento, quindi aggiungi ambiente, camera, stile visivo e suono. Una scena concisa potrebbe essere: «A chef lifts the lid from a small pot, smiles and says, ‘That is ready.’ A soft burst of steam escapes, followed by the quiet clink of the lid resting on the counter.» In questo modo, la battuta e gli effetti hanno una causa visibile.

Dialogo e voce fuori campo

Il modello supporta monologhi e conversazioni con più parlanti, con movimenti labiali abbinati ai personaggi. La guida documenta il mandarino, dialetti cinesi tra cui cantonese, Shaanxi e Sichuan, e il parlato in inglese, giapponese, coreano, spagnolo e indonesiano. Le lingue documentate per i prompt sono cinese e inglese; la lingua del prompt e quella richiesta per una battuta sono scelte separate.

Identifica ogni parlante con una caratteristica visibile coerente e scrivi le battute tra virgolette. Includi indicazioni di interpretazione come una voce calma, una risposta esitante o un ritmo più veloce, ed esplicita l’alternanza dei turni. Per due parlanti, descrivi chi parla per primo e di chi la camera mostra la reazione. Un breve scambio adatto alla durata scelta offre al modello un obiettivo di recitazione più chiaro di un lungo passaggio con parlanti non specificati.

La voce fuori campo può essere guidata tramite timbro, emozione, intonazione e velocità del parlato. È utile quando la voce deve spiegare un prodotto mentre la camera rimane sul prodotto oppure quando un narratore crea l’atmosfera senza un parlante sullo schermo. La guida descrive il mantenimento di un timbro riconoscibile mentre cambia l’interpretazione; controlla le parole effettive, la pronuncia e la recitazione insieme alle immagini.

Effetti sonori e musica di sottofondo

Descrivi gli effetti come eventi collegati all’azione: passi quando un personaggio entra, pioggia che si intensifica fuori da una finestra o tessuto che si muove mentre viene indossato un cappotto. Per impostazione predefinita, la musica di sottofondo viene generata in base al prompt. Specificane atmosfera, stile e ritmo quando sono importanti, e indica quando deve iniziare o sfumare rispetto alla scena.

Per una dimostrazione discreta, richiedi musica sobria e metti in risalto i suoni prodotti dall’uso del prodotto. Per una scena animata, descrivi il momento dell’azione che deve coincidere con il ritmo musicale. La colonna sonora generata è mono. Il controllo audio documentato consente anche un video muto quando il progetto richiede una colonna sonora preparata separatamente.

Transizioni tra inquadrature e direzione della camera

Il modello supporta cambi di inquadratura con trattamento visivo coerente, controcampi per le conversazioni e istruzioni sui tempi delle transizioni. Una sequenza di dialogo utile può presentare due parlanti in un’inquadratura media, passare al parlante che risponde e tornare sulla reazione del primo. Specifica l’identità di ogni persona quando cambia l’inquadratura.

La guida tratta angolazioni dall’alto, dal basso e all’altezza degli occhi; viste da sopra la spalla e soggettive; inquadrature larghe, medie e ravvicinate. Descrivi un movimento di camera attraverso composizione iniziale, direzione, ampiezza e composizione finale. Per esempio, un lento avvicinamento su carrello può terminare sull’espressione del parlante quando finisce la battuta. Collega il movimento alla storia invece di elencare più tecniche di ripresa senza uno scopo.

Modalità, output e anteprima

Le modalità di ingresso documentate sono la generazione di video da testo, da immagine con primo fotogramma e da immagini con primo e ultimo fotogramma. Un’immagine iniziale preparata definisce la composizione di partenza; un’immagine finale può definire il punto di arrivo previsto. Le specifiche di output elencano MP4 a 24 fps, a 480p, 720p o 1080p, e impostazioni di durata di 4–12 secondi. Il modello può anche scegliere una durata in secondi interi entro l’intervallo supportato. I rapporti documentati sono 21:9, 16:9, 4:3, 1:1, 3:4 e 9:16, con supporto dell’inquadratura adattiva.

Il produttore documenta un flusso Draft in due fasi: un’anteprima a 480p per esaminare la struttura della scena, le scelte di inquadratura, il movimento e l’intento del prompt, seguita da una generazione finale che riutilizza gli input creativi. È un modo per valutare una recitazione pianificata prima di sceglierne la risoluzione finale. L’anteprima stessa è limitata a 480p e non supporta la restituzione dell’ultimo fotogramma. L’ID della task Draft del produttore rimane valido per sette giorni dalla creazione; genera il video finale da tale ID entro questo intervallo.

Per lavori guidati da immagini, prepara l’immagine sorgente per l’inquadratura prevista: cambiare il rapporto d’aspetto di uscita può ritagliarla. Ripetere un seed produce fotogrammi simili, non garantiti identici, e un’istruzione di camera fissa non garantisce un blocco perfetto. Soprattutto, valuta un clip di dialogo come un’unica recitazione audiovisiva: il parlante corretto, la battuta udibile, la reazione del volto e l’enfasi della camera devono tutti sostenere lo stesso evento.