ByteDance: Seedance 2.0

Seedance 2.0 est le modèle standard de ByteDance Seed pour la création multimodale audio-vidéo. Il combine texte, images, vidéos et audio dans une architecture de génération conjointe, avec des processus créatifs distincts pour les scènes guidées par références, la modification vidéo et la prolongation vidéo. Il convient lorsque le cahier des charges nécessite une interprétation cohérente et des informations visuelles ou sonores précises issues de matériaux préparés.

Référence multimodale et direction

Les images peuvent définir l’apparence du sujet, le style visuel et la composition. Les références vidéo peuvent guider l’action, le mouvement de caméra et les effets. L’audio peut guider le timbre vocal, la musique ou le dialogue. Définissez le rôle de chaque matériau, puis décrivez la scène qui doit en résulter. Le fabricant met l’accent sur le contrôle de l’interprétation, de l’éclairage, des ombres et du langage de caméra.

Pour une histoire produit, préparez une image du produit, une référence de mouvement de caméra et un indice audio. Un cahier des charges pourrait être : « Preserve the blue glass vase from Image 1. Use the slow sideways tracking movement from Video 1. The vase sits on a sunlit shelf, with soft instrumental music based on Audio 1. » La sortie visée est une scène nouvellement mise en place qui combine des informations choisies des références.

Les entrées de référence peuvent combiner image et audio, image et vidéo, vidéo et audio ou les trois. L’entrée exclusivement audio et le texte avec audio sans image ni vidéo ne sont pas pris en charge. Le texte-vidéo traditionnel, la génération à première image et la génération à première et dernière images sont aussi documentés. Si des compositions fixes d’ouverture et de clôture importent, utilisez le processus dédié aux images limites : nommer une image de référence comme une limite dans un prompt à références omni n’est qu’une manière indirecte de la guider.

Modifier une séquence

Le modèle peut remplacer un sujet, ajouter ou supprimer des objets, changer des éléments et redessiner ou réparer des parties d’une vidéo. Décrivez le changement précis et identifiez la séquence source. Pour un ajout, incluez l’instant et la position d’apparition ; pour une suppression ou un remplacement, indiquez précisément l’objet et nommez ce qui doit rester.

Par exemple : « Replace the desk lamp in Video 1 with the brass lamp in Image 1. Keep the camera movement, desk arrangement and lighting direction. » Le résultat souhaité est une version modifiée de la scène avec la substitution visée. Examinez les zones inchangées et le nouvel objet, particulièrement lors des occultations, des mouvements et des changements de plans.

Prolonger et relier une séquence

Seedance 2.0 peut prolonger une vidéo vers l’avant ou l’arrière et relier jusqu’à trois extraits fournis par des transitions générées. Précisez la direction temporelle et le nouvel événement. Pour une liaison, ordonnez les extraits et décrivez la transition entre chaque paire, par exemple une caméra entrant par une porte dans un plan et arrivant dans l’environnement suivant.

Une prolongation simple renvoie généralement la continuation développée autour de la séquence source ; incluez une instruction claire si le résultat final doit aussi répéter le segment d’origine. Lors de la création d’une liaison entre deux ou trois extraits, le processus documenté peut inclure le matériau d’origine et de nouveaux contenus de transition. Cela sert à développer une ouverture ou une fin ou à relier des scènes préparées sans laisser l’action de jonction indéfinie.

Sortie de l’édition standard et 4K

L’édition standard documente du MP4 à 24 fps et des durées de 4 à 15 secondes. Les niveaux de sortie sont 480p, 720p et 1080p avec une profondeur de couleur de 8 bits, ainsi que 4K avec une profondeur de couleur de 10 bits. Les rapports pris en charge sont 21:9, 16:9, 4:3, 1:1, 3:4 et 9:16. Le cadrage adaptatif et la sélection automatique de durée sont aussi documentés. L’édition Fast possède sa propre spécification de sortie plus restreinte en 480p/720p.

La sortie 4K utilise l’encodage H.265/HEVC. L’encodage de 10 bits préserve des gradations tonales supplémentaires et des transitions de couleur plus douces, ce qui compte pour les matériaux comportant une lumière subtile ou des dégradés de couleur. Vérifiez que l’environnement de lecture et de montage visé peut décoder ce format ; certains navigateurs et appareils ne le lisent pas directement. Un conteneur compatible n’assure pas à lui seul un décodage vidéo compatible.

Le modèle peut générer un son synchronisé ou une vidéo silencieuse et renvoyer la dernière image générée pour une scène ultérieure. L’audio généré est mono. La famille 2.0 ne prend pas en charge le mode distinct d’aperçu Draft en deux étapes ; cette fonction d’aperçu ne doit donc pas être déduite d’une autre édition Seedance.

Préparation des références et limites substantielles

La capacité documentée de références atteint neuf images, trois vidéos et trois extraits audio. Les téléversements directs d’images ou de vidéos de référence contenant de vrais visages humains ne sont pas acceptés dans ce profil documenté du producteur ; le travail de portrait utilise son processus pris en charge d’éléments de portrait. Chaque extrait vidéo et audio doit durer de 2 à 15 secondes. Toutes les références vidéo doivent tenir ensemble dans 15 secondes et toutes les références audio possèdent leur propre total de 15 secondes. Les fichiers vidéo utilisent MP4 ou MOV à 24–60 fps, jusqu’à 200 MB chacun ; les fichiers audio utilisent WAV ou MP3, jusqu’à 15 MB chacun. Les formats d’image répertoriés sont JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC et HEIF. Les images doivent être inférieures à 30 MB chacune et le corps de requête ne doit pas dépasser 64 MB. Dans le profil documenté d’entrée de références, la largeur et la hauteur des images doivent chacune être strictement comprises entre 300 et 6000 pixels, avec un rapport largeur-hauteur strictement compris entre 0.4 et 2.5. Les vidéos de référence autorisent de 300 à 6000 pixels dans chaque dimension et des rapports de 0.4 à 2.5, bornes incluses, avec 407 696 à 8 295 044 pixels au total. Les vidéos MP4 ou MOV utilisent la vidéo H.264/AVC ou H.265/HEVC et l’audio AAC ou MP3.

Ordonnez délibérément les fichiers et désignez chacun par son type de média et son numéro : Image 1, Video 1 et Audio 1. Le numéro suit l’ordre parmi les fichiers de ce type. Expliquez les caractéristiques à transférer et le contenu source qui ne doit pas définir la nouvelle scène. Les langues documentées de prompt comprennent l’anglais, l’espagnol, l’indonésien, le portugais et le japonais. Gardez la langue parlée cohérente dans un dialogue ; le guide déconseille le mélange de langues, sauf pour les noms propres. Pour un travail guidé par la voix, séparez le locuteur, la phrase exacte et l’indication d’interprétation.

Préparez les première et dernière images avec des cadrages compatibles. Une différence entre l’image d’entrée et les dimensions de sortie peut provoquer un recadrage ou un changement visuel brusque ; des dimensions correspondantes et le cadrage adaptatif sont des solutions documentées. Gardez la description concentrée sur l’événement et les rôles des références. Le fabricant avertit que les longs prompts peuvent disperser les informations et faire ignorer des détails. Vérifiez le mouvement obtenu, la continuité des références, l’interprétation audio et les jonctions entre scènes comme des parties distinctes du résultat créatif.

Planification des plans et direction du texte

Pour une scène complexe, organisez le cahier des charges en Shot 1, Shot 2 et Shot 3, en précisant dans l’ordre la caméra, l’action du sujet, la position et le son. Le guide recommande un mouvement de caméra par plan et de privilégier des actions lentes et reliées. Les horodatages précis par plan sont instables ; une séquence d’événements est donc une meilleure commande que l’imposition de plusieurs fenêtres temporelles exactes.

Le modèle génère aussi du texte courant, dont des slogans, des sous-titres et des bulles de dialogue. Vous pouvez diriger la couleur, le traitement visuel, l’emplacement et l’apparition du texte. Utilisez des caractères courants plutôt que des caractères rares ou des symboles spéciaux et vérifiez la formulation en mouvement. Pour les références de sujets, liez clairement chaque élément au personnage ou à l’objet visés. Les points de vue d’un produit peuvent apporter des informations visuelles différentes ; les collages de vues d’un personnage peuvent brouiller son identité faciale. Un portrait de tête clair distinct et une image en pied sont la recommandation documentée de référence de personnage.

Comportements à examiner avant une modification

Le guide documente les sous-titres indésirables, les logos, les personnages en double et la dérive de style. Des sources propres, des libellés cohérents et des contraintes explicites réduisent ces risques, mais ne garantissent pas la disparition du texte indésirable ou des figures en double. Plus de quatre personnes de référence sont présentées comme un risque de stabilité, distinct du nombre de fichiers accepté par le modèle.

La prolongation vidéo peut créer un saut ou un retour en arrière à la jonction et des continuations répétées peuvent cumuler la dégradation de qualité d’image. Examinez les images limites et limitez les prolongations empilées. Une voix de référence peut différer du timbre source ; la narration peut se terminer par un clic ou une coupure brusque, pour lesquels un fondu audio est une solution documentée. Les caractères chinois polyphoniques, peu courants ou de formes similaires peuvent être mal prononcés. Pour un effet animé précis, tel qu’un compte à rebours, une référence de mouvement est plus informative qu’une demande verbale seule. Ce sont des raisons concrètes de vérifier séparément l’identité, le texte, le mouvement et le son lors du choix de l’extrait.