ByteDance: Seedance 2.0

Seedance 2.0 è il modello standard di ByteDance Seed per la creazione audiovisiva multimodale. Combina testo, immagini, video e audio in un’architettura di generazione congiunta, con flussi creativi separati per scene guidate da riferimenti, modifica video ed estensione video. È utile quando il brief richiede sia una recitazione coerente sia informazioni visive o sonore specifiche ricavate da materiali preparati.

Riferimenti multimodali e controllo della regia

Le immagini possono definire l’aspetto del soggetto, lo stile visivo e la composizione. I riferimenti video possono guidare l’azione, il movimento di camera e gli effetti. L’audio può guidare il timbro della voce, la musica o i dialoghi. Definisci il ruolo di ciascun materiale, quindi descrivi la scena da ottenere. Il produttore sottolinea il controllo della recitazione, dell’illuminazione, delle ombre e del linguaggio della camera.

Per una storia di prodotto, prepara un’immagine del prodotto, un riferimento per il movimento di camera e un’indicazione audio. Un brief potrebbe essere: «Preserve the blue glass vase from Image 1. Use the slow sideways tracking movement from Video 1. The vase sits on a sunlit shelf, with soft instrumental music based on Audio 1.» Il risultato previsto è una scena messa in scena ex novo che combina informazioni selezionate dai riferimenti.

Gli input di riferimento possono combinare immagine e audio, immagine e video, video e audio oppure tutti e tre. Non sono supportati input costituiti soltanto da audio né testo con audio senza immagine o video. Sono documentate anche la generazione tradizionale di video da testo, la generazione con primo fotogramma e quella con primo e ultimo fotogramma. Se sono importanti composizioni iniziali e finali fisse, usa il flusso dedicato ai fotogrammi di confine: indicare un’immagine di riferimento come punto finale in un prompt omni-reference è soltanto un modo indiretto di guidare il risultato.

Modificare un filmato

Il modello può sostituire un soggetto, aggiungere o rimuovere oggetti, cambiare elementi e ridisegnare o correggere parti di un video. Descrivi la modifica specifica e identifica il filmato sorgente. Per un’aggiunta, includi il momento e la posizione in cui compare; per una rimozione o una sostituzione, indica con precisione l’oggetto e ciò che deve restare.

Per esempio: «Replace the desk lamp in Video 1 with the brass lamp in Image 1. Keep the camera movement, desk arrangement and lighting direction.» Il risultato desiderato è una versione modificata della scena con la sostituzione prevista. Controlla le aree invariate oltre al nuovo oggetto, in particolare durante occlusioni, movimenti e cambi di inquadratura.

Estendere e collegare una sequenza

Seedance 2.0 può estendere un video in avanti o all’indietro e collegare fino a tre clip forniti con transizioni generate. Specifica la direzione temporale e il nuovo evento. Per un raccordo, ordina i clip e descrivi la transizione tra ogni coppia, per esempio una camera che attraversa una porta in un’inquadratura e arriva nell’ambiente successivo.

Un’estensione semplice restituisce di norma la continuazione sviluppata attorno al filmato sorgente; includi un’istruzione chiara se il risultato finale deve anche ripetere il segmento originale. Nel completamento di un collegamento tra due o tre clip, il flusso documentato può includere sia materiale originale sia nuovi contenuti di transizione. È utile per sviluppare un’apertura o una conclusione oppure collegare scene preparate senza lasciare indefinita l’azione di raccordo.

Output dell’edizione standard e 4K

L’edizione standard documenta MP4 a 24 fps e durate da 4 a 15 secondi. I livelli di output sono 480p, 720p e 1080p con profondità colore a 8 bit, più 4K con profondità colore a 10 bit. I rapporti supportati sono 21:9, 16:9, 4:3, 1:1, 3:4 e 9:16. Sono documentati anche l’inquadratura adattiva e la selezione automatica della durata. L’edizione Fast ha una propria specifica di output più limitata, a 480p/720p.

L’output 4K usa la codifica H.265/HEVC. La codifica a 10 bit conserva più gradazioni tonali e transizioni cromatiche più uniformi, importanti per materiali con variazioni sottili di luce o colore. Verifica che l’ambiente di riproduzione e montaggio previsto possa decodificare questo formato; alcuni browser e dispositivi non lo riproducono direttamente. La compatibilità del contenitore non garantisce di per sé la compatibilità della decodifica video.

Il modello può generare suono sincronizzato o video muti e può restituire l’ultimo fotogramma generato per una scena successiva. L’audio generato è mono. La famiglia 2.0 non supporta la modalità separata di anteprima Draft in due fasi, quindi non bisogna dedurre la presenza di questa funzione da un’altra edizione Seedance.

Preparazione dei riferimenti e limiti sostanziali

La capacità documentata per i riferimenti arriva a nove immagini, tre video e tre clip audio. Nel profilo documentato del produttore non sono accettati caricamenti diretti di immagini o video di riferimento contenenti volti umani reali; per i ritratti si usa il flusso supportato dedicato alle risorse per ritratti. Ogni clip video e audio deve durare 2–15 secondi. Tutti i riferimenti video insieme devono rientrare in 15 secondi, e tutti i riferimenti audio insieme hanno un proprio limite totale di 15 secondi. I file video usano MP4 o MOV a 24–60 fps, fino a 200 MB ciascuno; i file audio usano WAV o MP3, fino a 15 MB ciascuno. I formati immagine elencati sono JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC e HEIF. Le immagini devono essere inferiori a 30 MB ciascuna e il corpo della richiesta non deve superare 64 MB. Nel profilo documentato per i riferimenti in ingresso, larghezza e altezza delle immagini devono essere entrambe strettamente comprese tra 300 e 6.000 pixel, con un rapporto larghezza/altezza strettamente compreso tra 0.4 e 2.5. I video di riferimento consentono 300–6.000 pixel per dimensione e rapporti di 0.4–2.5, estremi inclusi, con 407.696–8.295.044 pixel totali. I video MP4 o MOV usano video H.264/AVC o H.265/HEVC e audio AAC o MP3.

Ordina i file deliberatamente e richiama ciascuno con il tipo di contenuto e il numero: Image 1, Video 1 e Audio 1. Il numero segue l’ordine tra i file di quel tipo. Spiega quali caratteristiche trasferire e quali contenuti sorgente non devono definire la nuova scena. Le lingue documentate per i prompt comprendono inglese, spagnolo, indonesiano, portoghese e giapponese. Mantieni coerente la lingua parlata all’interno di un dialogo; la guida sconsiglia di mescolare lingue, salvo per i nomi propri. Per lavori guidati dalla voce, separa chi parla, la battuta esatta e le indicazioni di interpretazione.

Prepara le immagini iniziale e finale con inquadrature compatibili. Una differenza tra l’immagine in ingresso e le dimensioni di uscita può provocare un ritaglio o un brusco cambiamento visivo; dimensioni corrispondenti e inquadratura adattiva sono rimedi documentati. Concentra la descrizione sull’evento e sui ruoli dei riferimenti. Il produttore avverte che prompt lunghi possono disperdere le informazioni, facendo ignorare dettagli. Controlla il movimento risultante, la continuità dei riferimenti, la resa audio e i raccordi tra scene come parti distinte del risultato creativo.

Pianificazione delle inquadrature e indicazioni per il testo

Per una scena complessa, organizza il brief come Shot 1, Shot 2 e Shot 3, specificando in ordine camera, azione del soggetto, posizione e suono. La guida consiglia un movimento di camera per inquadratura e di privilegiare azioni lente e collegate. Le indicazioni temporali precise per singola inquadratura sono instabili, quindi una sequenza di eventi è un controllo migliore rispetto all’imposizione di più finestre temporali esatte.

Il modello genera anche testo comune, compresi slogan, sottotitoli e fumetti. Puoi indicarne colore, trattamento visivo, posizione e comparsa. Usa caratteri comuni invece di caratteri rari o simboli speciali e controlla il testo mentre si muove. Per i riferimenti dei soggetti, associa chiaramente ogni risorsa al personaggio o all’oggetto previsto. Diverse viste di un prodotto possono fornire informazioni visive differenti; collage del personaggio da più angolazioni possono confondere l’identità del volto. Per i personaggi, la raccomandazione documentata è usare un primo piano chiaro e un’immagine a figura intera separati.

Comportamenti da controllare prima del montaggio

La guida documenta sottotitoli indesiderati, loghi, personaggi duplicati e variazioni di stile. Materiale sorgente pulito, etichette coerenti e vincoli espliciti riducono questi rischi, ma non garantiscono che testo indesiderato o figure duplicate scompaiano. Più di quattro persone di riferimento sono segnalate come rischio per la stabilità, distinto dal numero di file accettato dal modello.

L’estensione video può creare un salto o un ritorno indietro nell’azione al raccordo, e continuazioni ripetute possono accumulare degrado nella qualità dell’immagine. Controlla i fotogrammi di confine e limita le estensioni sovrapposte. Una voce di riferimento può differire dal timbro sorgente; la narrazione può terminare con un clic o un’interruzione brusca, per cui una dissolvenza audio è un rimedio documentato. I caratteri cinesi polifonici, poco comuni o di forma simile possono essere pronunciati male. Per un effetto animato preciso, come un conto alla rovescia, un riferimento di movimento è più informativo di una sola richiesta verbale. Questi sono motivi concreti per controllare separatamente identità, testo, movimento e suono quando si seleziona il clip.