ByteDance: Seedance 2.0

O Seedance 2.0 é o modelo standard da ByteDance Seed para criação audiovisual multimodal. Combina texto, imagens, vídeos e áudio numa arquitetura de geração conjunta, com fluxos criativos separados para cenas orientadas por referências, edição de vídeo e prolongamento de vídeo. É útil quando o pedido precisa de uma interpretação coerente e de informação visual ou sonora específica de materiais preparados.

Referências multimodais e controlo de realização

As imagens podem definir a aparência do sujeito, o estilo visual e a composição. As referências de vídeo podem orientar ação, movimento de câmara e efeitos. O áudio pode orientar timbre de voz, música ou diálogo. Defina a função de cada material e depois descreva a cena que deve resultar. O fabricante destaca o controlo da interpretação, da iluminação, das sombras e da linguagem de câmara.

Para uma história de produto, prepare uma imagem do produto, uma referência de movimento de câmara e uma indicação sonora. Um pedido pode ser: «Preserve a jarra de vidro azul da Imagem 1. Use o movimento lateral lento de travelling do Vídeo 1. A jarra está numa prateleira ao sol, com música instrumental suave baseada no Áudio 1.» A saída pretendida é uma cena encenada de novo que combina informação selecionada das referências.

As entradas de referência podem combinar imagem e áudio, imagem e vídeo, vídeo e áudio, ou os três. Entrada apenas de áudio e texto com áudio sem imagem ou vídeo não são suportados. Também estão documentados texto para vídeo tradicional, geração com primeiro fotograma e geração com primeiro e último fotogramas. Se forem importantes composições fixas na abertura e no fecho, use o fluxo específico de pontos extremos: nomear uma imagem de referência como ponto extremo num pedido de referências omni é apenas uma forma indireta de o orientar.

Edição de filmagens

O modelo pode substituir um sujeito, acrescentar ou remover objetos, alterar elementos e redesenhar ou reparar partes de um vídeo. Descreva a alteração específica e identifique as filmagens de origem. Para uma adição, inclua o momento e a posição de aparecimento; para uma remoção ou substituição, indique o objeto com precisão e nomeie o que deve permanecer.

Por exemplo: «Substitua o candeeiro de secretária do Vídeo 1 pelo candeeiro de latão da Imagem 1. Mantenha o movimento da câmara, a disposição da secretária e a direção da iluminação.» O resultado pretendido é uma versão editada da cena com a substituição prevista. Examine as áreas inalteradas e o novo objeto, sobretudo durante ocultações, movimentos e mudanças de plano.

Prolongamento e ligação de uma sequência

O Seedance 2.0 pode prolongar um vídeo para a frente ou para trás e ligar até três clips fornecidos com transições geradas. Especifique a direção temporal e o novo acontecimento. Para uma ligação, ordene os clips e descreva a transição entre cada par, como uma câmara que entra por uma porta num plano e chega ao ambiente seguinte.

Um prolongamento simples devolve normalmente a continuação desenvolvida em torno das filmagens de origem; inclua uma instrução clara se o resultado final também deve repetir o segmento original. Ao completar uma ligação entre dois ou três clips, o fluxo documentado pode incluir tanto material original como novo conteúdo de transição. Isto é útil para desenvolver uma abertura ou um final, ou ligar cenas preparadas sem deixar a ação de ligação por especificar.

Saída da edição standard e 4K

A edição standard documenta MP4 a 24 fps e durações de 4 a 15 segundos. Os níveis de saída são 480p, 720p e 1080p com profundidade de cor de 8 bits, mais 4K com profundidade de cor de 10 bits. As proporções suportadas são 21:9, 16:9, 4:3, 1:1, 3:4 e 9:16. Também estão documentados enquadramento adaptativo e seleção automática da duração. A edição Fast tem a sua própria especificação de saída mais restrita, de 480p/720p.

A saída 4K usa codificação H.265/HEVC. A codificação de dez bits preserva gradações tonais adicionais e transições de cor mais suaves, o que é relevante para material com gradientes subtis de luz ou cor. Verifique se o ambiente de reprodução e edição pretendido consegue descodificar esse formato; alguns navegadores e dispositivos não o reproduzem diretamente. Um contentor compatível não garante, por si só, descodificação de vídeo compatível.

O modelo pode gerar som sincronizado ou vídeo silencioso e devolver o último fotograma gerado para uma cena posterior. O áudio gerado é mono. A família 2.0 não suporta o modo separado de pré-visualização Draft em duas etapas, pelo que essa funcionalidade não deve ser inferida a partir de outra edição Seedance.

Preparação de referências e limites relevantes

A capacidade de referências documentada é de até nove imagens, três vídeos e três clips de áudio. Este perfil documentado do fabricante não aceita carregamentos diretos de imagens ou vídeos de referência com rostos humanos reais; os retratos usam o fluxo de recursos de retrato suportado. Cada clip de vídeo e áudio deve durar 2–15 segundos. Todas as referências de vídeo, juntas, devem caber em 15 segundos, e todas as referências de áudio têm o seu próprio total de 15 segundos. Os ficheiros de vídeo usam MP4 ou MOV a 24–60 fps, até 200 MB cada; os ficheiros de áudio usam WAV ou MP3, até 15 MB cada. Os formatos de imagem enumerados são JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC e HEIF. As imagens devem ter menos de 30 MB cada e o corpo do pedido não deve exceder 64 MB. No perfil de entrada de referências documentado, a largura e a altura das imagens devem estar ambas estritamente entre 300 e 6000 píxeis, com uma proporção largura/altura estritamente entre 0.4 e 2.5. Os vídeos de referência permitem 300–6000 píxeis em cada dimensão e proporções de 0.4–2.5, inclusive, com 407 696–8 295 044 píxeis no total. Os vídeos MP4 ou MOV usam vídeo H.264/AVC ou H.265/HEVC e áudio AAC ou MP3.

Ordene os ficheiros intencionalmente e refira cada um pelo tipo de conteúdo e número: Imagem 1, Vídeo 1 e Áudio 1. O número segue a ordem entre ficheiros desse tipo. Explique que características transferir e que conteúdo de origem não deve definir a nova cena. Os idiomas documentados para pedidos incluem inglês, espanhol, indonésio, português e japonês. Mantenha o idioma falado consistente dentro de um diálogo; o guia desaconselha misturar idiomas, exceto em nomes próprios. Para trabalho orientado por voz, separe o locutor, a fala exata e a indicação de interpretação.

Prepare a primeira e a última imagens com enquadramento compatível. Uma divergência entre a imagem de entrada e as dimensões de saída pode provocar um recorte ou uma mudança visual abrupta; dimensões coincidentes e enquadramento adaptativo são soluções documentadas. Concentre a descrição no acontecimento e nas funções das referências. O fabricante alerta que pedidos longos podem dispersar a informação, levando a ignorar pormenores. Reveja o movimento resultante, a continuidade das referências, a interpretação áudio e as junções entre cenas como partes distintas do resultado criativo.

Planeamento de planos e orientação do texto

Para uma cena complexa, organize o pedido em Plano 1, Plano 2 e Plano 3, especificando por ordem a câmara, a ação do sujeito, a posição e o som. O guia recomenda um movimento de câmara por plano e dar prioridade a ações lentas e ligadas. As marcas temporais precisas por plano são instáveis, pelo que uma sequência de acontecimentos é um controlo melhor do que impor várias janelas temporais exatas.

O modelo também gera texto comum, incluindo slogans, legendas e balões de fala. Pode orientar a cor, o tratamento visual, a localização e a entrada do texto. Use caracteres comuns em vez de caracteres raros ou símbolos especiais e reveja a formulação em movimento. Para referências de sujeitos, associe claramente cada recurso à personagem ou objeto pretendido. Diferentes vistas de produto podem fornecer informação visual diferente; colagens de vistas de personagem podem confundir a identidade facial. A recomendação documentada para referência de personagem é uma imagem de rosto clara e uma de corpo inteiro, separadas.

Comportamentos a examinar antes de uma edição

O guia documenta legendas indesejadas, logótipos, personagens duplicadas e desvios de estilo. Materiais de origem limpos, designações consistentes e restrições explícitas reduzem esses riscos, mas não garantem que o texto indesejado ou as figuras duplicadas desapareçam. Mais de quatro pessoas de referência é um risco de estabilidade assinalado, distinto do número de ficheiros que o modelo aceita.

O prolongamento de vídeo pode criar um salto ou recuo na junção e continuações repetidas podem acumular degradação da qualidade da imagem. Examine os fotogramas dos limites e limite a acumulação de prolongamentos sucessivos. Uma voz de referência pode diferir do timbre de origem; a narração pode terminar com um clique ou um corte abrupto, para o qual um desvanecimento do áudio é uma solução documentada. Caracteres chineses polifónicos, pouco comuns ou de forma semelhante podem ser pronunciados incorretamente. Para um efeito animado preciso, como uma contagem decrescente, uma referência de movimento é mais informativa do que um pedido apenas verbal. Estas são razões concretas para verificar separadamente identidade, texto, movimento e som ao selecionar o clip.