MiniMax: H3

Ett audiovisuellt resultat från en multimodal instruktion

MiniMax H3 är MiniMax omnimodala videosystem. Det tolkar text, bilder, video och ljud tillsammans och genererar sedan video med inbyggt stereoljud. Tillverkaren presenterar det för korta kreativa arbeten som produktbilder i rörelse, reklam, animerade affischer och koncept för filmtitlar, där relationerna mellan referensmaterialen är lika viktiga som scenbeskrivningen.

Det dokumenterade systemet producerar video på 4–15 sekunder med 24 bilder per sekund och stereoljud i 32 kHz. Generering med H3-Base sker i 768p; det fullständiga 2K-flödet omgenererar resultatet med det ursprungliga multimodala sammanhanget. Detta är mer än en vanlig storleksändring: det andra steget använder modellen och källsammanhanget igen för att återvinna fina detaljer. H3 Max och H3-Context-IR har separata roller och begränsningar.

Skapande med text och styrande bildrutor

Indata med enbart text beskriver hela den audiovisuella tidslinjen. En första bild förankrar öppningen, en sista bild förankrar slutet och två bilder kan definiera båda. För en tagning från en första bildruta börjar du med kompositionen och identiteten som syns i stillbilden och beskriver sedan handlingen som utvecklas därifrån. För en övergång från första till sista bildruta beskriver du den observerbara rörelsen mellan de två tillstånden i stället för att upprepa två orelaterade bildbeskrivningar.

En praktisk produktinstruktion kan ange en stängd förpackning i öppningsbilden, handen som öppnar den, kamerans mjuka rörelse och det slutliga tillståndet. Bevara objektets form, etikettplacering och belysning i de inskickade bildrutorna. Skapande med styrande bildrutor och referensstyrt skapande är separata indatalägen; tillverkarens gränssnitt blandar inte roller som första/sista bildruta med roller som referensmedia i samma förfrågan.

Referensstyrd generering och redigering

Referensläget tar emot text tillsammans med bilder, videoklipp och ljudklipp. Ange vad varje källa bidrar med: en karaktärs utseende, en plats, kamerarörelse, tidsstrukturen i ett källklipp eller en röst. En video som bara används för kamerarörelse skiljer sig från en video som faktiskt ska redigeras eller fortsättas. Ange relationen uttryckligen.

Tillverkarens referensguide skiljer mellan motivdefinitioner, en uppgiftssammanfattning, analys av vad som ska bevaras, en detaljerad tagningsbeskrivning, övergripande ljudmiljö och bakgrundsmusik som bara publiken hör. Den skiljer bevarande av synligt innehåll från överföring av egenskaper eller en allmän stilreferens. För ljud skiljer sig kopiering av en signal från referenser till klang, rytm eller framförande. Håll dessa roller konsekventa genom hela instruktionen.

För en referensdriven scen skickar du in en karaktärsbild, en kort referens för kamerarörelsen och en ljudreferens för rösten och beskriver sedan hur och var varje referens ska påverka den avsedda tagningen. Ange vilka kläd-, miljö- eller objektdetaljer som måste förbli igenkännbara. Jämför det färdiga klippet med kraven, inklusive rörelsekontinuitet och sambandet mellan den synliga talaren och rösten som hörs.

Tal, ljud och tagningens tajmning

H3 modellerar dialog, fysiska ljud, atmosfär och musik gemensamt. Modellkortet dokumenterar stabilt dialogstöd för arabiska, kinesiska, engelska, franska, tyska, italienska, japanska, koreanska, portugisiska, ryska och spanska; stödet för andra språk beskrivs som varierande. Ange de exakta talade orden och språket, med en konsekvent talaridentitet mellan tagningar.

Tillverkarens guider för promptskrivning använder engelska i beskrivande avsnitt men bevarar dialog och synlig text på originalspråket. Talat innehåll använder <d>[Language] ...</d>, med talaridentitet och röstbeskrivning utanför blocket. Skilj tal i scenen från berättarröst utanför bild och ange när en replik fortsätter över ett klipp eller kapas vid slutet. Bevara även synlig text exakt. Anpassa mängden tal till vald längd och granska den renderade texten och den hörbara repliken tillsammans.

Beskriv kamerarörelse som en handling, med omfång och hastighet när de spelar roll. Numrera tagningar i uppspelningsordning och håll klipptider inom videons längd. Skilj scenljud som fotsteg eller en dörr som stängs från bakgrundsmusik som bara publiken hör. Dessa val gör en kort tagningsplan lättare att tolka och granska mot resultatet.

Förberedelse av indata och numeriska gränser

Det nuvarande genereringsschemat kräver text som inte är tom i varje läge, med upp till 7 000 tecken per textpost. Bilder kan vara JPG, JPEG, PNG, WebP, HEIC eller HEIF, högst 30 MB per bild, med varje sida på 256 till 5 760 pixlar och bildförhållande från 0,4 till 2,5. Bildruteindata tillåter en öppningsbild och en slutbild; referensläget tillåter upp till nio referensbilder.

Referensvideo kan innehålla upp till tre MP4- eller MOV-klipp, vart och ett 2–15 sekunder och sammanlagt högst 15 sekunder. Ett klipp får vara högst 50 MB; videokodeken är H.264 eller H.265, med AAC- eller MP3-ljud, sidor på 256 till 5 760 pixlar, förhållanden från 0,4 till 2,5 och bildfrekvens från 23,976 till 60. Referensljud stöder upp till tre WAV- eller MP3-klipp, högst 15 MB per klipp, vart och ett 2–15 sekunder och sammanlagt högst 15 sekunder. Modellkortet begränsar blandade referensindata till 12 filer. Den dokumenterade gränsen för förfrågningskroppen är 64 MB, separat från filgränserna.

Välj bara referenser som bidrar till instruktionen och gör varje bidrag uttryckligt. En tydlig motivvy är mer användbar än flera motstridiga vyer utan förklaring. Bevara referensordningen, beskär bort irrelevant material utan att ta bort nödvändigt scensammanhang och kontrollera att korta källklipp innehåller den handling eller röstegenskap som efterfrågas.

Utdataformat och hela systemet

Tillverkarens H3-gränssnitt erbjuder 768P och 2K. Generering med enbart text kräver ett konkret förhållande: 21:9, 16:9, 4:3, 1:1, 3:4 eller 9:16. Skapande med första/sista bildruta får sitt bildförhållande från inmatningsbilden; referensskapande kan använda ett adaptivt eller uttryckligt förhållande. Utdatalängden anges som heltal på 4–15 sekunder.

Modellkortet skiljer mellan H3-Context-IR, som tolkar och berikar instruktionen, H3-Base, som genererar audiovisuellt innehåll, och H3-Regenerate-2K, som skapar resultatet i högre upplösning. De släppta bascheckpunkterna skiljer mellan uppgifter med styrande bildrutor och omnimodala referensuppgifter. Komponenterna för sammanhang och omgenerering är separata från dessa basvikter, så namnet på en öppen checkpunkt fastställer inte ensamt hela systemets beteende.

Tillverkarens genereringsflöde är asynkront. Gränssnittet för uppgiftsfrågor hämtar uppgifter från de föregående sju dagarna. Behåll uppgiftsidentiteten tills det faktiska videoresultatet returneras och spara sedan klippet i stället för att bara behålla en tidsbegränsad nedladdningsadress. Granska visuell identitet, liten text, objektinteraktioner, talat innehåll och ljudtajmning i avsedd visningsstorlek. Tillverkaren anger multimodal förståelse och fina visuella detaljer som fortsatta förbättringsområden; en detaljerad instruktion och jämförelse med källorna förblir centrala för ett användbart resultat.