grok-imagine-video-1.5-preview

Skaping av en videoscene

Grok Imagine Video 1.5 er en xAI-modell for generering av klipp fra tekstbeskrivelser og visuelt materiale. Den gjeldende Ailoot-metoden tilbyr tekstbasert generering; tilleggsmodusene i selve modellen gjør det mulig å animere bilder, bruke referanser og angi fastlagte videobilder i scenen.

Resultatet lages asynkront: etter at oppgaven er opprettet, kontrolleres fremdriften med identifikatoren. Ifølge xAI kan prosessen ta flere minutter, avhengig av scenens kompleksitet, varighet og oppløsning. En mottatt oppgaveidentifikator innebærer ikke at klippet er ferdig.

Varighet, sideforhold og oppløsning

Klippet som lages, varer fra 1 til 15 sekunder. 1:1, 16:9, 9:16, 4:3, 3:4, 3:2 eller 2:3 kan velges; for tekst er standardformatet 16:9. Ved bildeanimering beholdes bildets sideforhold som standard.

480p, 720p og 1080p er tilgjengelige for generering fra tekst og første videobilde. 480p brukes som standard; referansemodusen er begrenset til 720p. Oppløsningen 1080p kan ikke overføres til alle moduser bare fordi den finnes i modellen.

Styring av utseende

I referansemodusen tar xAI imot opptil 7 bilder. De angir mennesker, gjenstander, klær og andre visuelle kjennetegn uten å fastsette det første videobildet. Metoden er laget for scener med en tilbakevendende figur, produktdemonstrasjoner og bevaring av ønsket utseende mellom iscenesettelser.

Første, siste og mellomliggende videobilder

Versjon 1.5 gjør det mulig å fastsette et nøyaktig første videobilde, et nøyaktig siste eller begge. Hvis bare det siste angis, lager modellen begynnelsen selv og beveger seg frem til det angitte bildet. Med begge grensene angitt skaper den bevegelsen mellom dem; tekstinstruksjonen kan presisere bevegelse og kameraarbeid.

For et storyboard inne i klippet kan opptil 4 nøkkelbilder fastsettes. Tidspunktet for hvert skal ligge strengt etter starten og før slutten; plasseringen følger et rutenett på 1/3 sekund. To bilder som avrundes til samme punkt i rutenettet, avvises. For å unngå dette bør det være minst 1/3 sekund mellom dem. Første og siste videobilde angis separat fra disse fire mellomliggende bildene.

Fastlagte videobilder kan kombineres med visuelle referanser og forhåndsdefinerte stemmer. Hvis minst ett videobilde er fastsatt, er tekstbeskrivelsen valgfri: selve bildesekvensen angir scenen. Nøkkelbilder kan ikke brukes sammen med videoredigeringsmodus. Disse xAI-funksjonene innebærer ikke at de er tilgjengelige i Ailoots publiserte tekstbaserte generering.

Lyd og stemmer

Klippet som lages, inneholder et lydspor som standard; et lydløst resultat er også tilgjengelig. I xAIs modus med stemmereferanser kan opptil 3 forhåndsdefinerte stemmer velges og knyttes til talende deltakere i scenen.

Innsending av en egen lydfil som stemmeprøve er ikke en generell funksjon i denne modellen: xAI tilbyr dette separat på forespørsel. En forhåndsdefinert stemme og opplastet lyd er ulike inndatatyper.

Arbeidsmoduser

Generering fra tekst lager en ny scene; et første bilde angir begynnelsen; referanser styrer utseendet; fastsatte videobilder angir visuelle punkter i tid. Hver modus har sine begrensninger, så innstillinger fra én metode kan ikke overføres ubetinget til en annen.