MiniMax: H3

Ét audiovisuelt resultat fra en multimodal brief

MiniMax H3 er MiniMax' omnimodale videosystem. Det fortolker tekst, billeder, video og lyd sammen og genererer derefter video med indbygget stereolyd. Producenten præsenterer det til kort kreativt arbejde som produktvisualiseringer, reklamer, animerede plakater og filmtitelkoncepter, hvor forholdene mellem referenceaktiver betyder lige så meget som scenebeskrivelsen.

Det dokumenterede system producerer video på 4–15 sekunder ved 24 billeder pr. sekund med 32 kHz stereolyd. H3-Base-genereringen arbejder ved 768p; den fulde 2K-arbejdsgang regenererer resultatet med den oprindelige multimodale kontekst. Det er mere end en konventionel størrelsesændring: andet trin bruger modellen og kildekonteksten igen til at genskabe fine detaljer. H3 Max og H3-Context-IR har særskilte roller og grænser.

Tekst- og billedstyret produktion

Input med kun tekst beskriver hele den audiovisuelle tidslinje. Et første billede forankrer begyndelsen, et sidste billede forankrer afslutningen, og to billeder kan definere begge. Til en førstebilledindstilling skal du begynde med den komposition og identitet, der er synlig i stillbilledet, og derefter beskrive handlingen, der udvikler sig fra det. Til en overgang fra første til sidste billede skal du beskrive den observerbare bevægelse, der forbinder de to tilstande, frem for at gentage to uvedkommende billedbeskrivelser.

En praktisk produktbrief kan angive en lukket pakke i åbningsbilledet, hånden, der åbner den, kameraets blide bevægelse og den sluttilstand, der skal nås. Bevar objektets form, etiketplacering og lys i de leverede billeder. Billedstyret produktion og referencestyret produktion er særskilte inputtilstande; producentens grænseflade blander ikke første-/sidstebilledroller med referencemedieroller i én anmodning.

Referencestyret generering og redigering

Referencetilstanden accepterer tekst med billeder, videoklip og lydklip. Identificer, hvad hver kilde bidrager med: en figurs udseende, et sted, kamerabevægelse, tidsstrukturen i et kildeklip eller en stemme. En video, der kun bruges til kamerabevægelse, adskiller sig fra en video, der faktisk skal redigeres eller fortsættes. Angiv dette forhold eksplicit.

Producentens referencevejledning adskiller motivdefinitioner, opgaveresumé, bevaringsanalyse, en detaljeret indstillingsbeskrivelse, samlet lydlandskab og baggrundsmusik, der kun høres af publikum. Den skelner mellem bevarelse af synligt indhold og overførsel af egenskaber eller en bred stilreference. For lyd er kopiering af et signal forskellig fra reference til klang, rytme eller fremførelse. Hold disse roller stabile gennem hele briefen.

Til en referencedrevet scene skal du levere et figurbillede, en kort kamerabevægelsesreference og en lydlig stemmereference og derefter beskrive, hvor hver skal påvirke målindstillingen. Angiv, hvilke detaljer i tøj, miljø eller genstande der skal forblive genkendelige. Sammenlign det færdige klip med disse krav, inklusive bevægelseskontinuitet og forholdet mellem den synlige taler og den stemme, der høres.

Tale, lyd og indstillingstiming

H3 modellerer dialog, fysiske lyde, atmosfære og musik sammen. Modelkortet dokumenterer stabil dialogunderstøttelse til arabisk, kinesisk, engelsk, fransk, tysk, italiensk, japansk, koreansk, portugisisk, russisk og spansk; andre sprog beskrives som varierende i understøttelse. Lever de præcise talte ord og sproget med en stabil taleridentitet på tværs af indstillinger.

Producentens promptskrivevejledninger bruger engelsk til beskrivende afsnit, mens dialog og synlig tekst bevares på originalsproget. Talt indhold bruger <d>[Language] ...</d> med taleridentitet og stemmebeskrivelse uden for blokken. Skeln mellem fysisk tale og voiceover uden for billedet, og identificer, når en replik fortsætter hen over et indstillingsskift eller afbrydes af afslutningen. Bevar også synlig tekst præcist. Tilpas talemængden til den valgte varighed, og undersøg gengivne ord og hørbar replik sammen.

Beskriv kamerabevægelse som en handling med rækkevidde og hastighed, når de er vigtige. Nummerer indstillinger i afspilningsrækkefølge, og hold kliptider inden for videoens varighed. Adskil scenelyde som fodtrin eller en dør, der lukker, fra baggrundsmusik, som kun publikum hører. Disse valg gør en kort indstillingsplan lettere at fortolke og gennemgå i forhold til resultatet.

Inputforberedelse og numeriske grænser

Det aktuelle genereringsskema kræver ikke-tom tekst i alle tilstande med op til 7.000 tegn pr. tekstemne. Billeder kan være JPG, JPEG, PNG, WebP, HEIC eller HEIF på op til 30 MB hver med hver side fra 256 til 5.760 pixels og billedformat fra 0.4 til 2.5. Billedinput tillader ét åbnings- og ét slutbillede; referencetilstand tillader op til ni referencebilleder.

Referencevideo kan indeholde op til tre MP4- eller MOV-klip, hver på 2–15 sekunder og tilsammen højst 15 sekunder. Et klip kan være op til 50 MB; dets videocodec er H.264 eller H.265 med AAC- eller MP3-lyd, sider fra 256 til 5.760 pixels, formater fra 0.4 til 2.5 og billedhastighed fra 23.976 til 60. Referencelyd understøtter op til tre WAV- eller MP3-klip på op til 15 MB hver, hvert på 2–15 sekunder og tilsammen højst 15 sekunder. Modelkortet begrænser blandede referenceinput til 12 filer. Den dokumenterede grænse for anmodningens body er 64 MB, adskilt fra grænserne pr. fil.

Vælg kun referencer, der bidrager til briefen, og gør hvert bidrag eksplicit. En tydelig motivvisning er mere nyttig end flere modstridende visninger uden forklaring. Bevar referencerækkefølgen, beskær irrelevant materiale uden at fjerne nødvendig scenekontekst, og kontrollér, at korte kildeklip indeholder den handling eller stemmeegenskab, der anmodes om.

Outputform og det komplette system

Producentens H3-grænseflade tilbyder 768P og 2K. Generering med tekst alene kræver et konkret format: 21:9, 16:9, 4:3, 1:1, 3:4 eller 9:16. Produktion med første/sidste billede tager sit format fra inputbilledet; referenceproduktion kan bruge et adaptivt eller eksplicit format. Heltalsvarigheden for output er 4–15 sekunder.

Modelkortet skelner mellem H3-Context-IR, som fortolker og beriger briefen, H3-Base, som genererer audiovisuelt indhold, og H3-Regenerate-2K, som skaber resultatet med højere opløsning. De offentliggjorte basischeckpoints adskiller billedstyrede og omni-reference-opgaver. Kontekst- og regenereringskomponenterne er adskilt fra disse basisvægte, så navnet på et åbent checkpoint alene fastslår ikke hele systemets adfærd.

Producentens genereringsarbejdsgang er asynkron. Opgaveforespørgselsgrænsefladen henter opgaver fra de foregående syv dage. Behold opgaveidentiteten, indtil det faktiske videoresultat returneres, og gem derefter klippet frem for kun at beholde en tidsbegrænset downloadadresse. Gennemgå visuel identitet, lille tekst, objektinteraktioner, talt indhold og lydtiming ved den tilsigtede visningsstørrelse. Producenten identificerer multimodal forståelse og fine visuelle detaljer som fortsatte forbedringsområder; en detaljeret brief og sammenligning med kilden er fortsat centrale for et nyttigt resultat.