ByteDance: Seedance 2.0 Fast

O Seedance 2.0 Fast é a edição da família Seedance 2.0 da ByteDance Seed orientada para a velocidade. Suporta geração conjunta de vídeo e áudio e um pedido multimodal composto por texto, imagens, vídeo e som. As capacidades criativas incluem novas cenas orientadas por referências, edições de filmagens existentes e prolongamentos de uma cena, enquanto os níveis de saída documentados são 480p e 720p.

Referências multimodais: atribuir funções aos materiais

Uma imagem pode fornecer uma personagem, um produto, uma composição ou um tratamento visual. Um vídeo de referência pode fornecer ação, movimento de câmara ou um efeito. O áudio de referência pode fornecer timbre de voz, melodia musical ou conteúdo de diálogo. Explique que parte de cada fonte pretende transportar para a nova cena; uma referência é mais útil quando tem uma função criativa específica.

Por exemplo: «Use o candeeiro de cerâmica da Imagem 1 como produto. Siga a órbita lenta da câmara do Vídeo 1, mas coloque o candeeiro num canto de leitura tranquilo. Use o Áudio 1 para o ambiente musical.» A saída pretendida é uma cena nova que combina a aparência, o movimento e a orientação sonora escolhidos, em vez de uma imitação indefinida de todos os pormenores das referências.

As combinações documentadas incluem imagens com áudio, imagens com vídeo, vídeo com áudio e os três em conjunto. Texto apenas com áudio e entrada só de áudio não são suportados. O modelo também suporta texto para vídeo e geração orientada por imagem a partir de um primeiro fotograma ou de um par de primeiro e último fotogramas. Quando um fotograma exato de início ou de fim é central para o pedido, use o fluxo específico de pontos extremos; descrever uma imagem de referência como ponto extremo num pedido de referências omni é um controlo indireto.

Edição de um vídeo existente

O modelo pode acrescentar, remover ou modificar elementos, substituir um sujeito e redesenhar ou reparar partes de uma cena. Identifique o vídeo de origem, o objeto a alterar e os elementos que devem permanecer. Para uma adição, descreva onde aparece e quando. Para uma remoção, identifique o objeto de forma consistente ao longo do clip.

Um pedido prático de edição pode substituir uma garrafa simples de uma demonstração pela garrafa da Imagem 1, pedindo para preservar o movimento da mão, o fundo e o percurso de câmara do Vídeo 1. Reveja a substituição e as áreas que devem permanecer estáveis. Instruções claras de preservação tornam a edição pretendida mais fácil de avaliar do que um pedido genérico para «melhorar» as filmagens.

Prolongamento e ligação de clips

O Seedance 2.0 Fast suporta prolongamento para a frente ou para trás e a ligação de dois ou três clips com transições geradas. Para um prolongamento, indique se a nova ação acontece antes ou depois do vídeo fornecido e descreva essa ação. Para uma ligação, apresente os clips na ordem pretendida e explique o acontecimento visual que os une.

Um prolongamento simples costuma devolver a nova continuação desenvolvida em torno das filmagens originais, em vez de assumir que todo o clip de origem é repetido. Se a saída deve conter o segmento original, diga-o no pedido. Ao preencher uma transição entre dois ou três vídeos, o fluxo documentado pode combinar conteúdo original e recém-gerado. Isto é útil para ligar uma vista ampla de produto a um plano de pormenor através de um movimento de câmara intencional.

Saída e diferenças entre edições

A saída Fast documentada é MP4 a 24 fps, com 480p ou 720p, profundidade de cor de 8 bits e clips de 4–15 segundos. As proporções suportadas são 21:9, 16:9, 4:3, 1:1, 3:4 e 9:16. A edição Seedance 2.0 standard enumera separadamente saída de 1080p e 4K; esses níveis não fazem parte da especificação Fast. A família 2.0 suporta a devolução do último fotograma gerado, mas não o modo separado de pré-visualização Draft.

O áudio pode ser gerado com as filmagens ou omitido para obter um clip silencioso. O áudio gerado é mono. Os idiomas documentados para pedidos incluem inglês, espanhol, indonésio, português e japonês. Mantenha o idioma falado consistente dentro de um diálogo; o guia desaconselha misturar idiomas, exceto em nomes próprios. Para uma cena falada, nomeie o locutor e coloque a fala entre aspas, depois especifique a interpretação e os efeitos sonoros relevantes. Adeque a interpretação exigida à duração selecionada do clip.

Preparação de referências e respeito pelos limites de entrada

Os limites de referências documentados são de até nove imagens, três vídeos e três clips de áudio. Este perfil documentado do fabricante não aceita carregamentos diretos de imagens ou vídeos de referência com rostos humanos reais; os retratos usam o fluxo de recursos de retrato suportado. Cada clip de vídeo ou áudio deve durar 2–15 segundos; a duração total de vídeo é no máximo 15 segundos e a duração total de áudio é, separadamente, no máximo 15 segundos. As referências de vídeo usam MP4 ou MOV, a 24–60 fps, e não podem exceder 200 MB cada. As referências de áudio usam WAV ou MP3 e não podem exceder 15 MB cada. Os formatos de imagem enumerados são JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC e HEIF. As imagens devem ter menos de 30 MB cada; o limite total do corpo do pedido é de 64 MB. No perfil de entrada de referências documentado, a largura e a altura das imagens devem estar ambas estritamente entre 300 e 6000 píxeis, com uma proporção largura/altura estritamente entre 0.4 e 2.5. Os vídeos de referência permitem 300–6000 píxeis em cada dimensão e proporções de 0.4–2.5, inclusive, com 407 696–8 295 044 píxeis no total. Os vídeos MP4 ou MOV usam vídeo H.264/AVC ou H.265/HEVC e áudio AAC ou MP3.

Ordene os recursos e refira-os de forma consistente como Imagem 1, Vídeo 1 ou Áudio 1. Use o nome ou uma característica distintiva do sujeito visível, além do número do recurso. Adeque o enquadramento das imagens dos pontos extremos à proporção pretendida para o vídeo, pois uma divergência pode recortar a imagem ou causar uma mudança brusca no enquadramento. Concentre o pedido nas características a transferir, no acontecimento a gerar e no que deve permanecer inalterado; um pedido longo pode dispersar as instruções e deixar pormenores secundários por resolver.

Planeamento de planos, texto e comportamentos conhecidos

Organize um pedido complexo em Plano 1, Plano 2 e Plano 3, com sujeito, ação, posição e som claros para cada um. O guia recomenda um movimento de câmara por plano e indica que as marcas temporais precisas por plano são instáveis. Dê a cada personagem uma designação estável e algumas características distintivas; use uma referência separada de rosto clara e uma de corpo inteiro, em vez de uma folha combinada de vistas da personagem, quando a identidade facial for importante.

O modelo pode gerar texto comum, incluindo slogans, legendas e balões de fala, com indicações para a cor, o estilo, a posição e a entrada. Preferem-se caracteres comuns a caracteres raros ou símbolos especiais. Verifique as letras em movimento. Legendas indesejadas, logótipos e personagens duplicadas são comportamentos documentados; restrições explícitas e referências limpas podem reduzi-los, mas não garantem a sua ausência. Mais de quatro pessoas de referência é um risco de estabilidade assinalado, não um limite obrigatório do número de ficheiros.

Prolongamentos repetidos podem acumular perda de qualidade da imagem e a junção de um prolongamento pode saltar ou recuar. Limite a acumulação de continuações sucessivas e examine a junção na edição. O timbre de voz da referência pode desviar-se, a narração pode terminar com um clique e caracteres chineses polifónicos ou pouco comuns podem ser mal pronunciados. Verifique a fala e o áudio final; um desvanecimento curto do áudio pode ajudar num corte abrupto. Estas verificações fazem parte da preparação do resultado criativo, sobretudo quando a fala ou a continuidade da personagem sustentam a história.