ByteDance: Seedance 2.0 Fast

Seedance 2.0 Fast est l’édition de la famille Seedance 2.0 de ByteDance Seed orientée vers la vitesse. Elle prend en charge la génération conjointe de vidéo et d’audio et un cahier des charges multimodal construit à partir de texte, d’images, de vidéo et de son. Ses capacités créatives comprennent de nouvelles scènes guidées par des références, des modifications de séquences existantes et des prolongations d’une scène, tandis que ses niveaux de sortie documentés sont 480p et 720p.

Référence multimodale : attribuer des rôles aux matériaux

Une image peut fournir un personnage, un produit, une composition ou un traitement visuel. Une vidéo de référence peut apporter une action, un mouvement de caméra ou un effet. L’audio de référence peut apporter un timbre vocal, une mélodie musicale ou un contenu de dialogue. Expliquez la partie de chaque source que vous voulez transmettre à la nouvelle scène ; une référence est plus utile lorsqu’elle possède un rôle créatif précis.

Par exemple : « Use the ceramic lamp in Image 1 as the product. Follow the slow camera orbit from Video 1, but place the lamp in a quiet reading corner. Use Audio 1 for the musical mood. » La sortie visée est une nouvelle scène combinant l’apparence, le mouvement et la direction sonore choisis, plutôt qu’une imitation non précisée de tous les détails des références.

Les combinaisons documentées comprennent des images avec de l’audio, des images avec de la vidéo, de la vidéo avec de l’audio et les trois ensemble. Le texte avec audio seul et l’entrée exclusivement audio ne sont pas pris en charge. Le modèle prend aussi en charge le texte-vidéo et la génération guidée par l’image depuis une première image ou une paire première et dernière images. Lorsqu’une limite exacte est centrale pour le cahier des charges, utilisez le processus dédié aux images limites ; décrire une image de référence comme une limite dans un prompt à références omni est une commande indirecte.

Modifier une vidéo existante

Le modèle peut ajouter, supprimer ou modifier des éléments, remplacer un sujet et redessiner ou réparer des parties d’une scène. Identifiez la vidéo source, l’objet à changer et les éléments qui doivent rester. Pour un ajout, décrivez où et quand il apparaît. Pour une suppression, identifiez l’objet de manière cohérente dans tout l’extrait.

Un cahier des charges concret de modification pourrait remplacer une bouteille neutre dans une démonstration par la bouteille d’Image 1, tout en demandant de préserver le mouvement de la main, l’arrière-plan et le trajet de caméra de Video 1. Vérifiez le remplacement et les zones destinées à rester stables. Des instructions claires de préservation rendent la modification visée plus facile à évaluer qu’une demande générale d’« améliorer » la séquence.

Prolonger et relier des extraits

Seedance 2.0 Fast prend en charge la prolongation vers l’avant ou l’arrière et la liaison de deux ou trois extraits par des transitions générées. Pour une prolongation, précisez si la nouvelle action précède ou suit la vidéo fournie et décrivez cette action. Pour une liaison, fournissez les extraits dans leur ordre visé et expliquez l’événement visuel qui les joint.

Une prolongation simple renvoie généralement la continuation nouvellement développée autour de la séquence d’origine, plutôt que de supposer la répétition de l’extrait source entier. Si la sortie doit contenir le segment d’origine, indiquez-le dans le cahier des charges. Lors du remplissage d’une transition entre deux ou trois vidéos, le processus documenté peut combiner du contenu d’origine et du contenu nouvellement généré. Cela sert à relier une vue large d’un produit à un plan de détail par un mouvement de caméra intentionnel.

Sortie et différences entre éditions

La sortie Fast documentée est du MP4 à 24 fps, en 480p ou 720p, avec une profondeur de couleur de 8 bits et des extraits de 4 à 15 secondes. Les rapports pris en charge sont 21:9, 16:9, 4:3, 1:1, 3:4 et 9:16. L’édition standard Seedance 2.0 répertorie séparément des sorties 1080p et 4K ; ces niveaux ne font pas partie de la spécification Fast. La famille 2.0 prend en charge le renvoi de la dernière image générée, mais pas le mode distinct d’aperçu Draft.

L’audio peut être généré avec la séquence ou omis pour un extrait silencieux. L’audio généré est mono. Les langues documentées de prompt comprennent l’anglais, l’espagnol, l’indonésien, le portugais et le japonais. Gardez la langue parlée cohérente au sein d’un dialogue ; le guide déconseille le mélange de langues, sauf pour les noms propres. Pour une scène parlée, nommez le locuteur et placez la phrase entre guillemets, puis précisez l’interprétation et les effets sonores pertinents. Gardez l’interprétation requise adaptée à la longueur choisie de l’extrait.

Préparer les références et respecter les limites d’entrée

Les limites documentées de références sont de neuf images, trois vidéos et trois extraits audio au maximum. Les téléversements directs d’images ou de vidéos de référence contenant de vrais visages humains ne sont pas acceptés dans ce profil documenté du producteur ; le travail de portrait utilise son processus pris en charge d’éléments de portrait. Chaque extrait vidéo ou audio doit durer de 2 à 15 secondes ; la durée vidéo cumulée ne dépasse pas 15 secondes et la durée audio cumulée ne dépasse pas séparément 15 secondes. Les références vidéo utilisent MP4 ou MOV, à 24–60 fps, et ne doivent pas dépasser 200 MB chacune. Les références audio utilisent WAV ou MP3 et ne doivent pas dépasser 15 MB chacune. Les formats d’image répertoriés sont JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC et HEIF. Les images doivent être inférieures à 30 MB chacune ; la limite totale du corps de requête est de 64 MB. Dans le profil documenté d’entrée de références, la largeur et la hauteur des images doivent chacune être strictement comprises entre 300 et 6000 pixels, avec un rapport largeur-hauteur strictement compris entre 0.4 et 2.5. Les vidéos de référence autorisent de 300 à 6000 pixels dans chaque dimension et des rapports de 0.4 à 2.5, bornes incluses, avec 407 696 à 8 295 044 pixels au total. Les vidéos MP4 ou MOV utilisent la vidéo H.264/AVC ou H.265/HEVC et l’audio AAC ou MP3.

Ordonnez les éléments et désignez-les de manière cohérente comme Image 1, Video 1 ou Audio 1. Utilisez le nom du sujet visible ou une caractéristique distinctive en plus du numéro d’élément. Adaptez le cadrage des images limites au rapport vidéo visé, car une différence peut recadrer l’image ou produire un changement brutal de cadrage. Gardez le cahier des charges centré sur les caractéristiques à transférer, l’événement à générer et ce qui doit rester inchangé ; un long prompt peut disperser les instructions et laisser des détails secondaires sans résolution.

Planification des plans, texte et comportements connus

Organisez un cahier des charges complexe en Shot 1, Shot 2 et Shot 3, avec un sujet, une action, une position et un son clairs pour chacun. Le guide recommande un mouvement de caméra par plan et indique que les horodatages précis par plan sont instables. Donnez à chaque personnage un libellé stable et quelques caractéristiques distinctives ; utilisez un portrait de tête clair distinct et une référence en pied, plutôt qu’une planche combinée de vues du personnage, lorsque l’identité du visage importe.

Le modèle peut générer du texte courant, dont des slogans, des sous-titres et des bulles de dialogue, avec des indications de couleur, de style, de position et d’apparition. Les caractères courants sont préférés aux caractères rares ou aux symboles spéciaux. Vérifiez les lettres en mouvement. Les sous-titres indésirables, les logos et les personnages en double sont des comportements documentés ; des contraintes explicites et des références propres peuvent les réduire sans garantir leur absence. Plus de quatre personnes de référence sont présentées comme un risque de stabilité, plutôt que comme une limite stricte de nombre de fichiers.

Les prolongations répétées peuvent cumuler la perte de qualité d’image et une jonction de prolongation peut sauter ou revenir en arrière. Limitez les continuations empilées et examinez la jonction au montage. Le timbre vocal de référence peut dériver, la narration peut se terminer par un clic et les caractères chinois polyphoniques ou peu courants peuvent être mal prononcés. Vérifiez la phrase parlée et l’audio final ; un court fondu audio peut aider lors d’une coupure. Ces vérifications font partie de la préparation du résultat créatif, particulièrement lorsque la parole ou la continuité des personnages portent le récit.