Alibaba: Wan 2.7

Alibaba Wan 2.7 é uma família de geração de vídeo com perfis identificados de texto para vídeo, imagem para vídeo e orientação por referências. O fabricante documenta cenas com áudio sincronizado e narrativas de vários planos, enquanto o seu fluxo de imagem acrescenta geração com primeiro/último fotograma e continuação de um vídeo inicial. O resultado útil é um clipe curto com o seu som, como uma transição de produto, uma história compacta ou uma continuação que se ajusta a um plano existente. Selecione o modo a partir do material de origem e do controlo necessário sobre o início ou o fim.

Para texto para vídeo, descreva o sujeito, o cenário, a ação, a câmara, o estilo e o som. Um storyboard pode identificar cada plano e intervalo de tempo, enquanto as instruções para um único plano devem dizer que a ação permanece contínua. O guia de instruções de Wan 2.7 deixa o modelo interpretar a estrutura dos planos a partir das instruções escritas, em vez de utilizar o controlo shot_type da versão 2.6. A API atual de texto aceita instruções em chinês ou inglês até 5 000 caracteres, com uma instrução negativa separada de 500 caracteres; o texto excedente é truncado. Mantenha claras a ação essencial e as restrições dentro desse limite.

Imagem para vídeo a partir do primeiro fotograma anima uma imagem inicial fornecida. A geração com primeiro/último fotograma define também o extremo final e o movimento que o liga ao início. O guia de imagem da versão 2.7 suporta uma fonte de áudio para orientar a geração em conjunto com essas combinações de fotogramas. Prepare extremos que partilhem uma cena e um sujeito pretendido e descreva a transição, em vez de pedir ao modelo que reinterprete ambas as imagens como referências de estilo sem relação entre si. A saída aproxima-se das proporções da primeira imagem; o guia trata a resolução como um escalão de contagem de píxeis e arredonda as dimensões codificadas de forma adequada.

A continuação de vídeo começa com um clipe de origem e pode utilizar também uma imagem final. A duração pedida é a duração total do vídeo devolvido, incluindo o segmento original. O exemplo do guia combina uma fonte de dois segundos com dez segundos de conteúdo novo num resultado de doze segundos. Prepare a ação final da fonte e diga o que acontece depois, para que a câmara e o sujeito continuem numa direção coerente. Reveja a junção quanto ao aspeto, ao movimento, à luz e ao som, em vez de avaliar apenas o novo final gerado.

O perfil atual separado de referências do fabricante utiliza imagens ou vídeo para orientar personagens, objetos ou uma cena. O seu guia permite até cinco imagens e vídeos de referência no total e utiliza rótulos específicos do tipo, como Image 1 e Video 1. Descreva o papel de cada material e a interação pretendida. Numa cena guiada por referências, mostre uma personagem de uma referência a transportar o objeto de outra através de um local especificado. O enquadramento por referências difere da geração a partir do primeiro fotograma: as instruções podem estabelecer uma nova composição, em vez de exigir que o vídeo comece numa imagem fixa fornecida.

Para áudio personalizado na geração por texto, os formatos documentados são WAV e MP3, com duração entre dois e trinta segundos e um máximo de 15 MB. A duração selecionada para o vídeo determina a parte utilizada: o áudio mais longo é cortado nessa duração, enquanto áudio mais curto do que o vídeo deixa o restante em silêncio. Prepare a passagem de áudio exata que pertence ao plano e deixe espaço para a ação visual pretendida. Sem um ficheiro de áudio fornecido, o fabricante descreve a geração de música de fundo ou efeitos adequados à cena; inspecione o som efetivo e qualquer fala pedida juntamente com a imagem.

A matriz atual do modelo apresenta MP4 a 720p ou 1080p e 30 fps, com saída de texto e imagem entre dois e quinze segundos. O perfil separado de referências está limitado a dois a dez segundos. A geração por texto oferece enquadramentos 16:9, 9:16, 1:1, 4:3 e 3:4. As tarefas condicionadas por imagem utilizam as suas próprias regras de aproximação à proporção da fonte, pelo que deve preparar o recorte de entrada para o destino pretendido. Uma regra de duração ou proporção do perfil de referências não deve substituir a do fluxo por fotogramas ou continuação.

O fluxo documentado do fabricante é assíncrono: um identificador de tarefa acompanha o processamento e um resultado bem-sucedido fornece a localização do vídeo. Os resultados estão documentados com uma validade de ligação de vinte e quatro horas, pelo que deve conservar o clipe efetivo e os materiais criativos para revisão da montagem. As opções de reescrita de instruções, marca de água e semente pertencem à interface selecionada. O fabricante indica que uma semente fixa pode melhorar a reprodutibilidade, mas não garante um resultado idêntico. Compare o recurso devolvido com as instruções, em vez de presumir que as definições, por si só, preservam todos os pormenores.

Em comparação com Wan 2.6, o guia de imagem da versão 2.7 acrescenta especificamente controlo do primeiro/último fotograma e continuação de vídeo através de entradas de recursos multimodais. Wan 3.0 introduz uma estrutura integrada diferente e um limite de geração mais longo. Este perfil 2.7 mantém os seus controlos e limites específicos por tarefa. Reveja a cena inteira quanto à continuidade dos sujeitos, aos fotogramas de ancoragem, à identidade das referências, ao diálogo, ao movimento e às junções e torne a correção seguinte específica para o problema efetivo encontrado.