MiniMax: H3

Un résultat audiovisuel à partir d’un brief multimodal

MiniMax H3 est le système vidéo omnimodal de MiniMax. Il interprète ensemble le texte, les images, les vidéos et le son, puis génère une vidéo avec du son stéréo natif. Le producteur le présente pour des créations courtes telles que les visuels de produits, les publicités, les affiches animées et les concepts de titres de films, où les relations entre les références comptent autant que la description de la scène.

Le système documenté produit des vidéos de 4 à 15 secondes à 24 images par seconde avec du son stéréo à 32 kHz. La génération H3-Base fonctionne en 768p ; le processus 2K complet régénère ce résultat à l’aide du contexte multimodal original. Il va au-delà d’un redimensionnement classique : la seconde étape réutilise le modèle et le contexte source pour retrouver les détails fins. H3 Max et H3-Context-IR ont des rôles et des limites distincts.

Création à partir de texte et d’images de début et de fin

Une entrée uniquement textuelle décrit toute la chronologie audiovisuelle. Une première image fixe l’ouverture, une dernière image fixe la fin, et deux images peuvent définir les deux. Pour un plan à partir d’une première image, commencez par la composition et l’identité visibles dans l’image fixe, puis décrivez l’action qui se développe à partir d’elle. Pour une transition entre première et dernière image, décrivez le mouvement observable reliant les deux états au lieu de répéter deux descriptions d’images sans lien.

Un brief pratique de produit peut préciser un emballage fermé dans l’image d’ouverture, la main qui l’ouvre, le mouvement doux de la caméra et l’état final à atteindre. Préservez la forme de l’objet, l’emplacement de son étiquette et l’éclairage dans les images fournies. La création guidée par des images de début et de fin et celle guidée par des références sont des modes d’entrée séparés ; l’interface du producteur ne mélange pas les rôles de première/dernière image avec les rôles de médias de référence dans une même requête.

Génération et modification guidées par des références

Le mode de références accepte du texte avec des images, des clips vidéo et des clips audio. Identifiez l’apport de chaque source : apparence d’un personnage, lieu, mouvement de caméra, structure temporelle d’un clip source ou voix. Une vidéo utilisée uniquement pour le mouvement de caméra diffère d’une vidéo qui doit réellement être modifiée ou prolongée. Énoncez explicitement cette relation.

Le guide de références du producteur sépare les définitions de sujets, un résumé de la tâche, une analyse des éléments à conserver, une description détaillée des plans, l’environnement sonore global et la musique de fond destinée uniquement au public. Il distingue la préservation du contenu visible du transfert d’attributs ou d’une référence générale de style. Pour le son, copier un signal diffère de la référence à un timbre, à un rythme ou à une interprétation. Gardez ces rôles stables sur tout le brief.

Pour une scène guidée par des références, fournissez une image de personnage, une courte référence de mouvement de caméra et une référence de voix audio, puis décrivez l’influence prévue de chacune sur le plan cible. Précisez les détails des vêtements, de l’environnement ou des objets qui doivent rester reconnaissables. Comparez le clip terminé à ces exigences, notamment la continuité du mouvement et la relation entre la personne visible qui parle et la voix entendue.

Parole, son et synchronisation des plans

H3 modélise conjointement le dialogue, les sons physiques, l’ambiance et la musique. La fiche du modèle documente une prise en charge stable des dialogues en arabe, chinois, anglais, français, allemand, italien, japonais, coréen, portugais, russe et espagnol ; la prise en charge des autres langues est décrite comme variable. Fournissez les mots exacts à prononcer et la langue, avec une identité stable de la personne qui parle d’un plan à l’autre.

Les guides de rédaction de prompts du producteur utilisent l’anglais pour les sections descriptives tout en conservant le dialogue et le texte visible dans leur langue originale. Le contenu parlé utilise <d>[Language] ...</d>, avec l’identité de la personne qui parle et la description de la voix à l’extérieur du bloc. Distinguez la parole dans la scène de la voix hors champ et précisez lorsqu’une réplique se poursuit au-delà d’une coupe ou est interrompue par la fin. Préservez aussi exactement le texte visible. Adaptez la quantité de parole à la durée choisie et examinez ensemble les mots rendus à l’écran et la réplique audible.

Décrivez le mouvement de caméra comme une action, en précisant son amplitude et sa vitesse lorsqu’elles comptent. Numérotez les plans dans l’ordre de lecture et placez les coupes dans les limites de la durée de la vidéo. Séparez les sons de la scène, comme des pas ou une porte qui se ferme, de la musique de fond entendue uniquement par le public. Ces choix rendent un court découpage plus facile à interpréter et à comparer à son résultat.

Préparation des entrées et limites numériques

Le schéma de génération actuel exige du texte non vide dans chaque mode, avec jusqu’à 7 000 caractères par élément textuel. Les images peuvent utiliser JPG, JPEG, PNG, WebP, HEIC ou HEIF, jusqu’à 30 Mo chacune, avec chaque côté de 256 à 5 760 pixels et un rapport largeur/hauteur de 0.4 à 2.5. L’entrée par images de début et de fin autorise une image d’ouverture et une image de fin ; le mode de références autorise jusqu’à neuf images de référence.

Les vidéos de référence peuvent comprendre jusqu’à trois clips MP4 ou MOV, chacun de 2 à 15 secondes et ensemble de 15 secondes au maximum. Un clip peut atteindre 50 Mo ; son codec vidéo est H.264 ou H.265, avec du son AAC ou MP3, des côtés de 256 à 5 760 pixels, des rapports de 0.4 à 2.5 et une fréquence d’images de 23.976 à 60. Le son de référence accepte jusqu’à trois clips WAV ou MP3, chacun de 15 Mo au maximum et de 2 à 15 secondes, avec un total de 15 secondes au maximum. La fiche du modèle limite les entrées de références mixtes à 12 fichiers. La limite documentée du corps de requête est de 64 Mo, distincte des limites par fichier.

Choisissez uniquement les références qui contribuent au brief et explicitez chaque contribution. Une vue claire du sujet est plus utile que plusieurs vues contradictoires sans explication. Préservez l’ordre des références, recadrez les éléments sans intérêt sans supprimer le contexte nécessaire de la scène et vérifiez que les courts clips sources contiennent l’action ou la caractéristique vocale demandée.

Format de sortie et système complet

L’interface H3 du producteur propose les résolutions 768P et 2K. La génération à partir de texte uniquement exige un rapport précis : 21:9, 16:9, 4:3, 1:1, 3:4 ou 9:16. La création avec première/dernière image déduit son rapport largeur/hauteur de l’image d’entrée ; la création à partir de références peut utiliser un rapport adaptatif ou explicite. La durée de sortie entière va de 4 à 15 secondes.

La fiche du modèle distingue H3-Context-IR, qui interprète et enrichit le brief, H3-Base, qui génère le contenu audiovisuel, et H3-Regenerate-2K, qui crée le résultat de résolution supérieure. Les points de contrôle de base publiés séparent les tâches guidées par des images de début et de fin des tâches omni-reference. Les composants de contexte et de régénération sont distincts de ces poids de base : le nom d’un point de contrôle ouvert ne suffit donc pas à établir le comportement du système complet.

Le processus de génération du producteur est asynchrone. Son interface de consultation récupère les tâches des sept jours précédents. Conservez l’identifiant de tâche jusqu’au retour du résultat vidéo réel, puis sauvegardez le clip au lieu de garder uniquement une adresse de téléchargement limitée dans le temps. Vérifiez l’identité visuelle, les petits textes, les interactions entre objets, le contenu parlé et la synchronisation des sons aux dimensions de diffusion prévues. Le producteur identifie la compréhension multimodale et les détails visuels fins comme des domaines encore à améliorer ; un brief détaillé et la comparaison aux sources restent essentiels à un résultat utile.