MiniMax: H3

Jeden rezultat audiowizualny z opisu multimodalnego

MiniMax H3 to wszechmodalny system wideo MiniMax. Łącznie interpretuje tekst, obrazy, wideo i dźwięk, a następnie generuje film z natywnym dźwiękiem stereo. Producent przedstawia go jako narzędzie do krótkich form twórczych, takich jak wizualizacje produktów, reklamy, animowane plakaty i koncepcje czołówek filmowych, w których związki między materiałami referencyjnymi mają równie duże znaczenie jak opis sceny.

Udokumentowany system tworzy filmy o długości 4–15 sekund przy 24 klatkach na sekundę, z dźwiękiem stereo 32 kHz. Generowanie H3-Base działa w 768p; pełny proces 2K ponownie generuje ten wynik z wykorzystaniem pierwotnego kontekstu multimodalnego. To więcej niż zwykła zmiana rozmiaru: drugi etap ponownie używa modelu i kontekstu źródłowego do odtworzenia drobnych szczegółów. H3 Max i H3-Context-IR mają odrębne role i limity.

Tworzenie z tekstu i na podstawie klatek

Dane wejściowe zawierające wyłącznie tekst opisują całą oś czasu audiowizualnej sceny. Pierwszy obraz zakotwicza początek, ostatni — zakończenie, a dwa obrazy mogą określić oba te punkty. W ujęciu z pierwszej klatki zacznij od kompozycji i tożsamości widocznych na obrazie, a następnie opisz rozwijającą się z nich akcję. Przy przejściu od pierwszej do ostatniej klatki opisz obserwowalny ruch łączący dwa stany, zamiast powtarzać dwa niepowiązane opisy obrazów.

Praktyczny opis produktu może określać zamknięte opakowanie w pierwszej klatce, otwierającą je dłoń, delikatny ruch kamery i stan końcowy, który trzeba osiągnąć. Zachowaj w dostarczonych klatkach kształt przedmiotu, położenie etykiety i oświetlenie. Tworzenie na podstawie klatek i tworzenie z referencjami są odrębnymi trybami wejściowymi; interfejs producenta nie łączy ról pierwszej i ostatniej klatki z rolami mediów referencyjnych w jednym żądaniu.

Generowanie i edycja z referencjami

Tryb referencyjny przyjmuje tekst wraz z obrazami, klipami wideo i klipami audio. Określ wkład każdego źródła: wygląd postaci, lokalizację, ruch kamery, strukturę czasową klipu źródłowego lub głos. Film używany wyłącznie jako wzorzec ruchu kamery różni się od filmu, który ma być faktycznie edytowany lub kontynuowany. Jasno określ tę zależność.

Przewodnik referencyjny producenta rozdziela definicje obiektów i postaci, podsumowanie zadania, analizę elementów do zachowania, szczegółowy opis ujęcia, ogólną warstwę dźwiękową i muzykę w tle słyszalną tylko dla widzów. Odróżnia zachowanie widocznej treści od przenoszenia cech lub ogólnej referencji stylu. W przypadku audio kopiowanie sygnału różni się od odwołania do barwy, rytmu czy sposobu wypowiedzi. Utrzymuj te role spójnie w całym opisie.

Do sceny opartej na referencjach dostarcz obraz postaci, krótką referencję ruchu kamery i dźwiękową referencję głosu, a następnie opisz, gdzie każda z nich ma wpływać na docelowe ujęcie. Określ, które szczegóły ubrania, otoczenia lub przedmiotu muszą pozostać rozpoznawalne. Porównaj gotowy klip z tymi wymaganiami, uwzględniając ciągłość ruchu i związek między widocznym mówcą a słyszanym głosem.

Mowa, dźwięk i czas ujęć

H3 wspólnie modeluje dialog, dźwięki fizyczne, odgłosy otoczenia i muzykę. Karta modelu dokumentuje stabilną obsługę dialogu po arabsku, chińsku, angielsku, francusku, niemiecku, włosku, japońsku, koreańsku, portugalsku, rosyjsku i hiszpańsku; wsparcie dla pozostałych języków określono jako zróżnicowane. Podaj dokładne wypowiadane słowa i język, zachowując stałą tożsamość mówcy między ujęciami.

Przewodniki producenta dotyczące promptów używają angielskiego w częściach opisowych, zachowując dialog i widoczny tekst w ich oryginalnym języku. Treść mówiona korzysta z zapisu <d>[Language] ...</d>, a tożsamość mówcy i opis głosu znajdują się poza tym blokiem. Odróżnij mowę postaci od narracji spoza kadru i wskaż, kiedy kwestia trwa przez cięcie lub urywa się wraz z końcem. Dokładnie zachowaj również widoczny tekst. Dopasuj ilość mowy do wybranego czasu trwania i sprawdź łącznie wyświetlone słowa oraz słyszaną kwestię.

Opisuj ruch kamery jako działanie, podając zakres i szybkość, gdy mają znaczenie. Numeruj ujęcia w kolejności odtwarzania i utrzymuj czasy cięć w granicach długości filmu. Oddziel dźwięki sceny, takie jak kroki lub zamykanie drzwi, od podkładu muzycznego słyszalnego tylko dla widzów. Dzięki tym wyborom krótki plan ujęć jest łatwiejszy do zinterpretowania i porównania z wynikiem.

Przygotowanie danych wejściowych i limity liczbowe

Obecny schemat generowania wymaga niepustego tekstu w każdym trybie, z limitem 7000 znaków na element tekstowy. Obrazy mogą mieć format JPG, JPEG, PNG, WebP, HEIC lub HEIF, do 30 MB każdy, każdy bok od 256 do 5760 pikseli i proporcje od 0.4 do 2.5. Wejście klatkowe dopuszcza jeden obraz początkowy i jeden końcowy; tryb referencyjny — maksymalnie dziewięć obrazów referencyjnych.

Referencje wideo mogą obejmować maksymalnie trzy klipy MP4 lub MOV, każdy o długości 2–15 sekund, łącznie nie więcej niż 15 sekund. Klip może mieć do 50 MB; jego kodek wideo to H.264 lub H.265, z dźwiękiem AAC lub MP3, bokami od 256 do 5760 pikseli, proporcjami od 0.4 do 2.5 i liczbą klatek od 23.976 do 60 na sekundę. Referencje audio obsługują maksymalnie trzy klipy WAV lub MP3, do 15 MB każdy, każdy o długości 2–15 sekund i łącznie nie więcej niż 15 sekund. Karta modelu ogranicza mieszane referencje wejściowe do 12 plików. Udokumentowany limit treści żądania wynosi 64 MB i jest odrębny od limitów pojedynczych plików.

Wybieraj tylko referencje wnoszące coś do opisu i jasno określ wkład każdej z nich. Czytelny widok obiektu lub postaci jest bardziej przydatny niż kilka sprzecznych widoków bez wyjaśnienia. Zachowaj kolejność referencji, wykadruj nieistotne elementy bez usuwania potrzebnego kontekstu sceny i sprawdź, czy krótkie klipy źródłowe zawierają żądaną akcję lub cechę głosu.

Format wyniku i kompletny system

Interfejs H3 producenta oferuje 768P i 2K. Generowanie wyłącznie z tekstu wymaga konkretnych proporcji: 21:9, 16:9, 4:3, 1:1, 3:4 lub 9:16. Tworzenie z pierwszej i ostatniej klatki przyjmuje proporcje obrazu wejściowego; tworzenie z referencjami może korzystać z proporcji adaptacyjnych lub wskazanych wprost. Całkowita liczba sekund wyniku mieści się w zakresie 4–15.

Karta modelu wyróżnia H3-Context-IR, który interpretuje i wzbogaca opis, H3-Base, który generuje treść audiowizualną, oraz H3-Regenerate-2K, który tworzy wynik o wyższej rozdzielczości. Udostępnione bazowe punkty kontrolne rozdzielają zadania oparte na klatkach i zadania z wieloma rodzajami referencji. Komponenty kontekstu i ponownego generowania są odrębne od tych bazowych wag, dlatego sama nazwa otwartego punktu kontrolnego nie określa zachowania całego systemu.

Proces generowania producenta jest asynchroniczny. Interfejs odpytywania zadań pobiera zadania z poprzednich siedmiu dni. Zachowaj identyfikator zadania do czasu zwrócenia rzeczywistego filmu, a następnie zapisz klip zamiast przechowywać wyłącznie czasowy adres pobierania. Oceń tożsamość wizualną, drobny tekst, interakcje przedmiotów, treść mówioną i synchronizację dźwięku w docelowym rozmiarze wyświetlania. Producent wskazuje rozumienie multimodalne i drobne szczegóły wizualne jako obszary dalszych ulepszeń; szczegółowy opis i porównanie ze źródłami pozostają kluczowe dla użytecznego rezultatu.