MiniMax: H3

Ett audiovisuelt resultat fra en multimodal beskrivelse

MiniMax H3 er MiniMax’ omnimodale videosystem. Det tolker tekst, bilder, video og lyd samlet og genererer deretter video med innebygd stereolyd. Produsenten presenterer det for korte kreative arbeider som produktvisualiseringer, reklame, animerte plakater og konsepter for filmtitler, der forholdene mellom referansematerialene er like viktige som scenebeskrivelsen.

Det dokumenterte systemet produserer videoer på 4–15 sekunder ved 24 bilder per sekund med 32 kHz stereolyd. H3-Base genererer i 768p; den fullstendige 2K-arbeidsflyten regenererer resultatet ved hjelp av den opprinnelige multimodale konteksten. Dette er mer enn en vanlig størrelsesendring: det andre trinnet bruker modellen og kildekonteksten på nytt for å gjenskape fine detaljer. H3 Max og H3-Context-IR har egne roller og grenser.

Skaping fra tekst og enkeltbilder

Inndata med bare tekst beskriver hele den audiovisuelle tidslinjen. Et første bilde forankrer åpningen, et siste bilde forankrer avslutningen, og to bilder kan definere begge. For et opptak fra første bilde begynner du med komposisjonen og identiteten som er synlig i stillbildet, og beskriver deretter handlingen som utvikler seg fra dette. For en overgang fra første til siste bilde beskriver du den observerbare bevegelsen som forbinder de to tilstandene, i stedet for å gjenta to urelaterte bildebeskrivelser.

En praktisk produktbeskrivelse kan angi en lukket pakke i åpningsbildet, hånden som åpner den, kameraets rolige bevegelse og sluttilstanden som skal nås. Bevar objektets form, etikettplassering og lyssetting i de innsendte bildene. Skaping fra enkeltbilder og referansestyrt skaping er separate inndatamoduser; produsentens grensesnitt blander ikke roller som første/siste bilde med roller som referansemedium i én forespørsel.

Referansestyrt generering og redigering

Referansemodusen tar imot tekst sammen med bilder, videoklipp og lydklipp. Angi hva hver kilde bidrar med: en karakters utseende, en lokasjon, kamerabevegelse, den tidsmessige strukturen i et kildeklipp eller en stemme. En video som bare brukes for kamerabevegelse, er noe annet enn en video som faktisk skal redigeres eller videreføres. Beskriv dette forholdet uttrykkelig.

Produsentens referanseveiledning skiller mellom motivdefinisjoner, et oppgavesammendrag, en analyse av hva som skal beholdes, en detaljert opptaksbeskrivelse, det samlede lydbildet og bakgrunnsmusikk som bare publikum hører. Den skiller mellom å bevare synlig innhold, å overføre egenskaper og å bruke en bred stilreferanse. For lyd er kopiering av et signal noe annet enn å referere til klang, rytme eller fremføring. Hold disse rollene stabile gjennom hele beskrivelsen.

For en referansestyrt scene sender du inn et karakterbilde, en kort referanse for kamerabevegelse og en lydreferanse for stemme, og beskriver deretter hvor hver av dem skal påvirke målopptaket. Angi hvilke kles-, miljø- eller objektdetaljer som må forbli gjenkjennelige. Sammenlign det ferdige klippet med disse kravene, inkludert bevegelseskontinuitet og forholdet mellom den synlige taleren og stemmen som høres.

Tale, lyd og opptakstiming

H3 modellerer dialog, fysiske lyder, atmosfære og musikk samlet. Modellkortet dokumenterer stabil dialogstøtte for arabisk, kinesisk, engelsk, fransk, tysk, italiensk, japansk, koreansk, portugisisk, russisk og spansk; andre språk beskrives som varierende støttet. Oppgi de nøyaktige replikkene og språket, med en stabil taleridentitet på tvers av opptak.

Produsentens veiledninger for promptskriving bruker engelsk i beskrivende avsnitt, mens dialog og synlig tekst bevares på originalspråket. Taleinnhold bruker <d>[Language] ...</d>, med taleridentitet og stemmebeskrivelse utenfor blokken. Skill mellom tale i scenen og fortellerstemme utenfor bildet, og angi når en replikk fortsetter over et klipp eller avbrytes av avslutningen. Bevar også synlig tekst nøyaktig. Tilpass talemengden til den valgte lengden, og kontroller den gjengitte teksten og den hørbare replikken samlet.

Beskriv kamerabevegelse som en handling, inkludert rekkevidde og hastighet når det har betydning. Nummerer opptakene i avspillingsrekkefølge, og hold klippetidspunktene innenfor videolengden. Skill mellom scenelyder som fottrinn eller en dør som lukkes, og bakgrunnsmusikk som bare publikum hører. Disse valgene gjør en kort opptaksplan enklere å tolke og enklere å vurdere opp mot resultatet.

Klargjøring av inndata og tallfestede grenser

Det nåværende genereringsskjemaet krever tekst som ikke er tom i alle moduser, med opptil 7 000 tegn per tekstelement. Bilder kan være JPG, JPEG, PNG, WebP, HEIC eller HEIF, opptil 30 MB hver, med hver side fra 256 til 5 760 piksler og sideforhold fra 0.4 til 2.5. Bildeinndata tillater ett åpningsbilde og ett sluttbilde; referansemodus tillater opptil ni referansebilder.

Referansevideo kan inneholde opptil tre MP4- eller MOV-klipp, hvert på 2–15 sekunder og samlet høyst 15 sekunder. Et klipp kan være opptil 50 MB; videokodeken er H.264 eller H.265, med AAC- eller MP3-lyd, sider fra 256 til 5 760 piksler, sideforhold fra 0.4 til 2.5 og bildefrekvens fra 23.976 til 60. Referanselyd støtter opptil tre WAV- eller MP3-klipp, opptil 15 MB hver, hvert på 2–15 sekunder og samlet høyst 15 sekunder. Modellkortet begrenser blandede referanseinndata til 12 filer. Den dokumenterte grensen for forespørselskroppen er 64 MB, atskilt fra grensene per fil.

Velg bare referanser som bidrar til beskrivelsen, og gjør hvert bidrag uttrykkelig. En tydelig visning av motivet er mer nyttig enn flere motstridende visninger uten forklaring. Bevar referanserekkefølgen, beskjær bort irrelevant materiale uten å fjerne nødvendig scenekontekst, og kontroller at korte kildeklipp inneholder handlingen eller stemmeegenskapen du ber om.

Utdataformat og det komplette systemet

Produsentens H3-grensesnitt tilbyr 768P og 2K. Generering med bare tekst krever et konkret sideforhold: 21:9, 16:9, 4:3, 1:1, 3:4 eller 9:16. Skaping fra første/siste bilde får sideforholdet fra inngangsbildet; referansebasert skaping kan bruke et tilpasset eller uttrykkelig angitt sideforhold. Utdataenes heltallige lengde er 4–15 sekunder.

Modellkortet skiller mellom H3-Context-IR, som tolker og beriker beskrivelsen, H3-Base, som genererer audiovisuelt innhold, og H3-Regenerate-2K, som skaper resultatet med høyere oppløsning. De utgitte grunnmodellvektene skiller mellom oppgaver styrt av enkeltbilder og omnimodale referanser. Kontekst- og regenereringskomponentene er atskilt fra disse grunnvektene, så navnet på en åpen modellvekt alene fastslår ikke hvordan hele systemet oppfører seg.

Produsentens genereringsarbeidsflyt er asynkron. Grensesnittet for oppgavesøk henter oppgaver fra de siste sju dagene. Behold oppgaveidentiteten til det faktiske videoresultatet returneres, og lagre deretter klippet i stedet for bare å beholde en tidsbegrenset nedlastingsadresse. Vurder visuell identitet, liten tekst, samspill mellom objekter, taleinnhold og lydtiming i den tiltenkte visningsstørrelsen. Produsenten oppgir multimodal forståelse og fine visuelle detaljer som områder for videre forbedring; en detaljert beskrivelse og sammenligning med kildene er fortsatt sentralt for et nyttig resultat.