ByteDance: Seedance 2.0

Seedance 2.0 es el modelo estándar de ByteDance Seed para la creación multimodal de audio y vídeo. Combina texto, imágenes, vídeos y audio en una arquitectura de generación conjunta, con flujos creativos independientes para escenas guiadas por referencias, edición de vídeo y ampliación de vídeo. Resulta útil cuando el encargo requiere tanto una interpretación coherente como información visual o sonora específica de materiales preparados.

Referencia multimodal y control de dirección

Las imágenes pueden definir el aspecto del sujeto, el estilo visual y la composición. Las referencias de vídeo pueden orientar la acción, el movimiento de cámara y los efectos. El audio puede orientar el timbre de voz, la música o el diálogo. Defina la función de cada material y después describa la escena que debe resultar. El fabricante destaca el control sobre la interpretación, la iluminación, las sombras y el lenguaje de cámara.

Para una historia de producto, prepare una imagen del producto, una referencia del movimiento de cámara y una indicación de audio. Un encargo podría ser: «Conserva el jarrón de vidrio azul de Image 1. Utiliza el travelling lateral lento de Video 1. El jarrón está en un estante iluminado por el sol, con música instrumental suave basada en Audio 1». La salida prevista es una escena nueva puesta en escena que combina información seleccionada de las referencias.

Las entradas de referencia pueden combinar imagen y audio, imagen y vídeo, vídeo y audio o los tres tipos. No se admite entrada exclusivamente de audio ni texto más audio sin imagen o vídeo. También están documentadas la conversión tradicional de texto a vídeo, la generación con primer fotograma y la generación con primer y último fotograma. Si importan las composiciones fijas de apertura y cierre, utilice el flujo específico de extremos: nombrar una imagen de referencia como extremo dentro de una instrucción omni-reference es solo una forma indirecta de orientarlo.

Edición de material

El modelo puede sustituir un sujeto, añadir o eliminar objetos, cambiar elementos y redibujar o reparar partes de un vídeo. Describa el cambio específico e identifique el material de origen. Para una incorporación, incluya el momento y la posición de aparición; para una eliminación o sustitución, indique el objeto con precisión y nombre lo que debe permanecer.

Por ejemplo: «Sustituye la lámpara de escritorio de Video 1 por la lámpara de latón de Image 1. Mantén el movimiento de cámara, la disposición del escritorio y la dirección de la iluminación». El resultado deseado es una versión editada de la escena con la sustitución prevista. Examine tanto las zonas sin cambios como el objeto nuevo, especialmente durante oclusiones, movimientos y cambios de plano.

Ampliar y conectar una secuencia

Seedance 2.0 puede ampliar un vídeo hacia delante o hacia atrás y conectar hasta tres clips proporcionados con transiciones generadas. Especifique la dirección temporal y el nuevo acontecimiento. Para un enlace, ordene los clips y describa la transición entre cada pareja, como una cámara que entra por una puerta en un plano y llega al siguiente entorno.

Una ampliación sencilla normalmente devuelve la continuación desarrollada en torno al material de origen; incluya una instrucción clara si el resultado final también debe repetir el segmento original. Al completar una conexión entre dos o tres clips, el flujo documentado puede incluir tanto material original como contenido de transición nuevo. Esto es útil para desarrollar una apertura o un cierre, o conectar escenas preparadas sin dejar la acción de enlace sin especificar.

Salida de la edición estándar y 4K

La edición estándar documenta MP4 a 24 fps y duraciones de 4 a 15 segundos. Los niveles de salida son 480p, 720p y 1080p con profundidad de color de 8 bits, además de 4K con profundidad de color de 10 bits. Las relaciones compatibles son 21:9, 16:9, 4:3, 1:1, 3:4 y 9:16. También están documentados el encuadre adaptable y la selección automática de duración. La edición Fast tiene su propia especificación de salida más limitada, de 480p/720p.

La salida 4K utiliza codificación H.265/HEVC. La codificación de diez bits conserva gradaciones tonales adicionales y transiciones de color más suaves, lo que importa en material con gradientes sutiles de luz o color. Compruebe que el entorno previsto de reproducción y edición pueda decodificar ese formato; algunos navegadores y dispositivos no lo reproducen directamente. Un contenedor compatible no garantiza por sí solo una decodificación de vídeo compatible.

El modelo puede generar sonido sincronizado o un vídeo silencioso, y puede devolver el último fotograma generado para una escena posterior. El audio generado es mono. La familia 2.0 no admite el modo independiente de previsualización Draft en dos fases, por lo que esa función no debe inferirse de otra edición de Seedance.

Preparación de referencias y límites relevantes

La capacidad documentada de referencia es de hasta nueve imágenes, tres vídeos y tres clips de audio. Las cargas directas de imágenes o vídeos de referencia que contengan rostros humanos reales no se aceptan en este perfil documentado del fabricante; el trabajo de retratos utiliza su flujo compatible de recursos de retrato. Cada clip de vídeo y audio debe durar 2–15 segundos. Todas las referencias de vídeo juntas deben ajustarse a 15 segundos, y las referencias de audio tienen su propio total de 15 segundos. Los archivos de vídeo utilizan MP4 o MOV a 24–60 fps, hasta 200 MB cada uno; los de audio utilizan WAV o MP3, hasta 15 MB cada uno. Los formatos de imagen enumerados son JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC y HEIF. Las imágenes deben ocupar menos de 30 MB cada una y el cuerpo de la solicitud no debe superar 64 MB. En el perfil documentado de entrada de referencias, el ancho y el alto de las imágenes deben estar estrictamente entre 300 y 6000 píxeles, con una relación ancho/alto estrictamente entre 0.4 y 2.5. Los vídeos de referencia admiten 300–6000 píxeles en cada dimensión y relaciones de 0.4–2.5, ambos extremos incluidos, con 407 696–8 295 044 píxeles en total. Los vídeos MP4 o MOV utilizan vídeo H.264/AVC o H.265/HEVC y audio AAC o MP3.

Ordene los archivos de forma deliberada y refiérase a cada uno por su tipo de medio y número: Image 1, Video 1 y Audio 1. El número sigue el orden entre los archivos de ese tipo. Explique qué rasgos se deben transferir y qué contenido de origen no debe definir la escena nueva. Los idiomas documentados de instrucciones incluyen inglés, español, indonesio, portugués y japonés. Mantenga constante el idioma hablado dentro de un diálogo; la guía desaconseja mezclar idiomas salvo en nombres propios. En trabajos guiados por voz, separe el hablante, la frase exacta y la indicación de interpretación.

Prepare las imágenes inicial y final con encuadres compatibles. Una discrepancia entre la imagen de entrada y las dimensiones de salida puede causar un recorte o un cambio visual brusco; las dimensiones coincidentes y el encuadre adaptable son soluciones documentadas. Concentre la descripción en el acontecimiento y las funciones de las referencias. El fabricante advierte de que las instrucciones largas pueden dispersar la información y hacer que se ignoren detalles. Revise el movimiento resultante, la continuidad de las referencias, la interpretación de audio y las uniones entre escenas como partes distintas del resultado creativo.

Planificación de planos y dirección del texto

Para una escena compleja, organice el encargo como Plano 1, Plano 2 y Plano 3, especificando en orden la cámara, la acción del sujeto, la posición y el sonido. La guía recomienda un movimiento de cámara por plano y priorizar acciones lentas y conectadas. Las marcas de tiempo precisas por plano son inestables, por lo que una secuencia de acontecimientos proporciona mejor control que forzar varias ventanas temporales exactas.

El modelo también genera texto común, incluidos eslóganes, subtítulos y bocadillos de diálogo. Puede dirigir el color, el tratamiento visual, la ubicación y la aparición del texto. Utilice caracteres comunes en lugar de caracteres raros o símbolos especiales y revise las palabras en movimiento. Para referencias de sujetos, vincule claramente cada recurso con el personaje u objeto previsto. Las distintas vistas de producto pueden aportar información visual diferente; los collages de vistas de personaje pueden confundir la identidad facial. La recomendación documentada para referencias de personaje es un retrato de cabeza claro y una imagen de cuerpo entero separados.

Comportamientos que revisar antes de una edición

La guía documenta subtítulos no deseados, logotipos, personajes duplicados y desviaciones de estilo. El material de origen limpio, las etiquetas coherentes y las restricciones explícitas reducen esos riesgos, pero no garantizan que desaparezcan el texto no deseado o las figuras duplicadas. Más de cuatro personas de referencia se señala como riesgo de estabilidad, distinto del número de archivos que acepta el modelo.

La ampliación de vídeo puede crear un salto o un retroceso en la unión, y las continuaciones repetidas pueden acumular degradación de calidad de imagen. Examine los fotogramas de los extremos y limite las ampliaciones encadenadas. Una voz de referencia puede diferir del timbre original; la narración puede terminar con un clic o un corte brusco, para el que un fundido de audio es una solución documentada. Los caracteres chinos polifónicos, poco comunes o de forma similar pueden pronunciarse incorrectamente. Para un efecto animado preciso, como una cuenta atrás, una referencia de movimiento resulta más informativa que una petición verbal por sí sola. Son razones concretas para comprobar por separado identidad, texto, movimiento y sonido al seleccionar el clip.