MiniMax: H3

Um resultado audiovisual a partir de instruções multimodais

MiniMax H3 é o sistema de vídeo omnimodal da MiniMax. Interpreta em conjunto texto, imagens, vídeo e áudio e gera depois vídeo com som estéreo nativo. O fabricante apresenta-o para trabalho criativo curto, como visuais de produto, publicidade, cartazes animados e conceitos de títulos de filmes, em que as relações entre os recursos de referência importam tanto como a descrição da cena.

O sistema documentado produz vídeo de 4–15 segundos a 24 fotogramas por segundo com áudio estéreo a 32 kHz. A geração H3-Base funciona a 768p; o fluxo completo a 2K regenera esse resultado utilizando o contexto multimodal original. Isto é mais do que um redimensionamento convencional: a segunda fase volta a utilizar o modelo e o contexto de origem para recuperar pormenores finos. H3 Max e H3-Context-IR têm papéis e limites separados.

Criação por texto e guiada por fotogramas

A entrada apenas em texto descreve toda a sequência temporal audiovisual. Uma primeira imagem fixa a abertura, uma última imagem fixa o fim e duas imagens podem definir ambos. Num plano baseado no primeiro fotograma, comece pela composição e pela identidade visíveis na imagem fixa e descreva depois a ação que se desenvolve a partir dela. Numa transição do primeiro ao último fotograma, descreva o movimento observável que liga os dois estados, em vez de repetir duas descrições de imagens sem relação entre si.

Uma instrução prática de produto pode especificar uma embalagem fechada no fotograma inicial, a mão que a abre, o movimento suave da câmara e o estado final a atingir. Preserve a forma do objeto, a posição do rótulo e a iluminação nos fotogramas fornecidos. A criação guiada por fotogramas e a criação guiada por referências são modos de entrada separados; a interface do fabricante não mistura papéis de primeiro/último fotograma com papéis de recursos multimédia de referência num único pedido.

Geração e edição guiadas por referências

O modo de referências aceita texto com imagens, clipes de vídeo e clipes de áudio. Identifique o contributo de cada fonte: o aspeto de uma personagem, um local, o movimento da câmara, a estrutura temporal de um clipe de origem ou uma voz. Um vídeo utilizado apenas para o movimento da câmara é diferente de um vídeo que deve efetivamente ser editado ou continuado. Indique explicitamente essa relação.

O guia de referências do fabricante separa definições dos sujeitos, um resumo da tarefa, uma análise de conservação, uma descrição detalhada do plano, a paisagem sonora geral e a música de fundo destinada apenas ao público. Distingue a conservação de conteúdo visível da transferência de atributos ou de uma referência ampla de estilo. No áudio, copiar um sinal é diferente de referenciar o timbre, o ritmo ou a interpretação. Mantenha esses papéis estáveis ao longo das instruções.

Numa cena guiada por referências, forneça uma imagem de personagem, uma referência curta de movimento de câmara e uma referência de voz em áudio e descreva depois onde cada uma deve afetar o plano de destino. Indique quais os pormenores de roupa, ambiente ou objetos que têm de continuar reconhecíveis. Compare o clipe concluído com esses requisitos, incluindo a continuidade do movimento e a relação entre a pessoa visível a falar e a voz ouvida.

Fala, som e ritmo dos planos

H3 modela em conjunto diálogo, sons físicos, ambiente e música. A ficha do modelo documenta suporte estável de diálogo em árabe, chinês, inglês, francês, alemão, italiano, japonês, coreano, português, russo e espanhol; os restantes idiomas são descritos como tendo suporte variável. Forneça as palavras exatas a dizer e o idioma, com uma identidade estável de quem fala entre planos.

Os guias de redação de instruções do fabricante utilizam inglês nas secções descritivas, preservando o diálogo e o texto visível no idioma original. O conteúdo falado utiliza <d>[Language] ...</d>, com a identidade de quem fala e a descrição da voz fora do bloco. Distinga a fala física da narração fora de campo e identifique quando uma fala continua através de um corte ou é interrompida pelo fim. Preserve também o texto visível exatamente. Ajuste a quantidade de fala à duração escolhida e inspecione em conjunto as palavras renderizadas e a fala audível.

Descreva o movimento da câmara como uma ação, incluindo a sua amplitude e velocidade quando forem relevantes. Numere os planos pela ordem de reprodução e mantenha os momentos de corte dentro da duração do vídeo. Separe os sons da cena, como passos ou uma porta a fechar, da música de fundo ouvida apenas pelo público. Estas escolhas tornam um plano curto de filmagem mais fácil de interpretar e de rever face ao resultado.

Preparação das entradas e limites numéricos

O esquema atual de geração exige texto não vazio em todos os modos, até 7 000 caracteres por elemento de texto. As imagens podem ser JPG, JPEG, PNG, WebP, HEIC ou HEIF, até 30 MB cada, com cada lado entre 256 e 5 760 píxeis e proporção entre 0.4 e 2.5. A entrada por fotogramas permite uma imagem inicial e uma final; o modo de referências permite até nove imagens de referência.

O vídeo de referência pode conter até três clipes MP4 ou MOV, cada um com 2–15 segundos e, em conjunto, não mais de 15 segundos. Um clipe pode ter até 50 MB; o seu codec de vídeo é H.264 ou H.265, com áudio AAC ou MP3, lados entre 256 e 5 760 píxeis, proporções entre 0.4 e 2.5 e taxa de fotogramas entre 23.976 e 60. O áudio de referência suporta até três clipes WAV ou MP3, até 15 MB cada, cada um com 2–15 segundos e, em conjunto, não mais de 15 segundos. A ficha do modelo limita as entradas de referência mistas a 12 ficheiros. O limite documentado do corpo do pedido é de 64 MB, distinto dos limites por ficheiro.

Escolha apenas referências que contribuam para as instruções e torne explícito cada contributo. Uma vista clara do sujeito é mais útil do que várias vistas contraditórias sem explicação. Preserve a ordem das referências, recorte o material irrelevante sem remover o contexto necessário da cena e verifique se os clipes curtos de origem contêm a ação ou a característica de voz pedida.

Formato de saída e sistema completo

A interface H3 do fabricante oferece 768P e 2K. A geração apenas em texto exige uma proporção concreta: 21:9, 16:9, 4:3, 1:1, 3:4 ou 9:16. A criação com primeiro/último fotograma obtém a proporção da imagem de entrada; a criação por referências pode utilizar uma proporção adaptativa ou explícita. A duração inteira de saída é de 4–15 segundos.

A ficha do modelo distingue H3-Context-IR, que interpreta e enriquece as instruções, H3-Base, que gera conteúdo audiovisual, e H3-Regenerate-2K, que cria o resultado de resolução superior. Os checkpoints base disponibilizados separam as tarefas guiadas por fotogramas das tarefas de omnirreferência. Os componentes de contexto e de regeneração são distintos desses pesos base, pelo que o nome de um checkpoint aberto, por si só, não comprova o comportamento de todo o sistema.

O fluxo de geração do fabricante é assíncrono. A sua interface de consulta de tarefas recupera tarefas dos sete dias anteriores. Conserve a identidade da tarefa até ser devolvido o resultado de vídeo efetivo e guarde depois o clipe, em vez de conservar apenas um endereço de transferência temporário. Reveja a identidade visual, o texto pequeno, as interações entre objetos, o conteúdo falado e a sincronização do som no tamanho de visualização pretendido. O fabricante identifica a compreensão multimodal e os pormenores visuais finos como áreas de melhoria contínua; instruções detalhadas e a comparação com as fontes continuam a ser centrais para um resultado útil.