ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro est le modèle de ByteDance Seed pour la génération native conjointe audio-vidéo. Il modélise ensemble l’action visuelle, la parole et le rythme, permettant à une scène de contenir l’interprétation d’un personnage, un dialogue synchronisé et un paysage sonore conçu. La différence centrale avec un cahier des charges vidéo exclusivement visuel est que le son devient une partie de la description de scène : qui parle, comment la phrase est interprétée et ce que le public entend autour de l’action.

Génération audiovisuelle conjointe

La gamme sonore documentée comprend les sons d’environnement, les effets d’action, les sons synthétisés, les instruments, la musique de fond et le chant. Le modèle vise à relier le son à ce qui se passe à l’écran : un objet frappant une table, une porte qui s’ouvre ou un personnage qui parle. Utilisez-le pour un court moment dramatique, une publicité produit parlée ou une scène dont l’ambiance dépend de l’interprétation et du son.

Commencez le prompt par le sujet et le mouvement, puis ajoutez l’environnement, la caméra, le style visuel et le son. Une scène concise pourrait être : « A chef lifts the lid from a small pot, smiles and says, ‘That is ready.’ A soft burst of steam escapes, followed by the quiet clink of the lid resting on the counter. » Cela donne à la phrase parlée et aux effets une cause visible.

Dialogue et voix off

Le modèle prend en charge les monologues et les conversations à plusieurs locuteurs, avec des mouvements de lèvres correspondant aux personnages. Son guide documente le mandarin, des dialectes chinois dont le cantonais et ceux du Shaanxi et du Sichuan, ainsi que l’anglais, le japonais, le coréen, l’espagnol et l’indonésien parlés. Les langues documentées de prompt sont le chinois et l’anglais ; la langue du prompt et celle demandée pour une phrase parlée sont des choix distincts.

Identifiez chaque locuteur par une caractéristique visible cohérente et écrivez les phrases entre guillemets. Incluez des indications d’interprétation telles qu’une voix calme, une réponse hésitante ou un rythme plus rapide et rendez l’alternance des tours explicite. Pour deux locuteurs, décrivez qui parle en premier et quelle réaction est montrée par la caméra. Un court échange adapté à l’extrait choisi donne au modèle une cible d’interprétation plus claire qu’un long passage aux locuteurs indéfinis.

La voix off peut être dirigée par le timbre, l’émotion, l’intonation et le débit vocal. Elle sert lorsque la voix doit expliquer un produit pendant que la caméra reste sur ce produit ou lorsqu’un narrateur installe l’ambiance sans locuteur à l’écran. Le guide décrit le maintien d’un timbre reconnaissable lors des changements d’interprétation ; vérifiez ensemble la formulation réelle, la prononciation, l’interprétation et l’image.

Effets sonores et musique de fond

Décrivez les effets comme des événements liés à l’action : des pas lorsqu’un personnage entre, une pluie s’intensifiant derrière une fenêtre ou le mouvement d’un tissu lorsqu’un manteau est enfilé. La musique de fond est générée selon le prompt par défaut. Précisez son ambiance, son style et son rythme lorsqu’ils importent et indiquez quand elle doit commencer ou diminuer par rapport à la scène.

Pour une démonstration calme, demandez une musique retenue et mettez l’accent sur les sons de manipulation du produit. Pour une scène animée, décrivez le moment d’action qui doit coïncider avec le rythme musical. La bande-son générée est mono. La commande audio documentée autorise aussi une vidéo silencieuse lorsque le projet nécessite une bande-son préparée séparément.

Transitions de plans et direction de caméra

Le modèle prend en charge des changements de plans avec un traitement visuel cohérent, des contrechamps pour la conversation et des instructions sur le moment des transitions. Une séquence de dialogue utile peut établir deux locuteurs dans un plan moyen, couper vers celui qui répond, puis revenir à la réaction du premier. Indiquez l’identité de chaque personne lors d’un changement de plan.

Le guide couvre les angles en plongée, en contre-plongée et à hauteur des yeux ; les points de vue par-dessus l’épaule et subjectifs ; les cadrages larges, moyens et rapprochés. Décrivez un mouvement de caméra par sa composition initiale, sa direction, son amplitude et sa composition finale. Par exemple, un lent travelling avant peut finir sur l’expression du locuteur lorsque sa phrase s’achève. Reliez le mouvement au récit, plutôt que d’énumérer plusieurs techniques de caméra sans objectif.

Modes, sortie et aperçu

Les modes d’entrée documentés sont le texte-vidéo, l’image-vidéo à première image et l’image-vidéo à première et dernière images. Une première image préparée établit la composition initiale ; une image finale peut définir la limite visée. Les spécifications de sortie répertorient MP4 à 24 fps, 480p, 720p ou 1080p et des réglages de durée de 4 à 12 secondes. Le modèle peut aussi choisir une longueur en secondes entières dans sa plage prise en charge. Les rapports documentés sont 21:9, 16:9, 4:3, 1:1, 3:4 et 9:16, avec prise en charge du cadrage adaptatif.

Le fabricant documente un processus Draft en deux étapes : un aperçu en 480p pour examiner la structure de scène, les choix de plans, le mouvement et l’intention du prompt, puis une génération finale réutilisant les entrées créatives. Cela permet de juger une interprétation prévue avant de choisir sa résolution finale. L’aperçu lui-même est limité à 480p et ne prend pas en charge le renvoi de la dernière image. L’identifiant de tâche Draft du producteur reste valide sept jours après sa création ; générez la vidéo finale à partir de cet identifiant dans cette fenêtre.

Pour un travail guidé par l’image, préparez la source selon le cadrage visé : changer le rapport de sortie peut recadrer l’image. Une seed répétée produit des images similaires, plutôt que garanties identiques, et une instruction de caméra fixe ne garantit pas un verrouillage parfait. Surtout, jugez un extrait de dialogue comme une seule interprétation audiovisuelle : le bon locuteur, la phrase audible, la réaction faciale et l’accentuation de caméra doivent tous soutenir le même événement.