Runway: Gen-4.5

Runway Gen-4.5 er en videogenereringsmodell med tekst-til-video- og bilde-til-video-moduser. Den kan følge en beskrivelse av scenekomposisjon, motivhandling, kamerakoreografi og et hendelsesforløp. Det nyttige resultatet er en kort generert innstilling som kan gjennomgås, beholdes eller settes sammen med andre opptak.

Velg inndatamodus for innstillingen

Tekst-til-video starter fra en skriftlig scenebeskrivelse. Ta med både synlig innhold og bevegelse: motiv, omgivelser, belysning, utsnitt, handling og kameraatferd. Modusen er nyttig til en ny scene, B-roll, et bakgrunnsopptak eller et visuelt konsept der startbildet ikke trenger å gjengi et oppgitt bilde.

Bilde-til-video starter fra et bilde som fungerer som førstebilde. Bildet gir komposisjon, motivinnhold, belysning og stil. Fokuser den skriftlige prompten på hva som skal skje videre: motivets handling, bevegelse i miljøet, kamerabevegelse og utviklingen i innstillingen.

Forbered et tydelig bilde med de viktige detaljene allerede synlige. Uskarpe ansikter, hender eller andre artefakter kan bli mer merkbare når de animeres. En referanse som antyder rask bevegelse gjennom støv eller bevegelsesuskarphet, kan også komme i konflikt med en prompt som ber om et stillestående motiv.

Beskriv det visuelle og bevegelsen direkte

Bruk tydelig naturlig språk og positive beskrivelser av ønsket resultat. En tekst-til-video-beskrivelse kan først angi kameravisning, motiv og handling, og deretter legge til scenebehandlingen. En detaljert beskrivelse er nyttig når innstillingen har definerte krav; en enklere gir mer rom for utforskning. Det finnes ikke noe ideelt ordantall som erstatter tydelighet.

Beskriv for eksempel et nært utsnitt av en skrivebordslampe i messing idet lyset slås på, fulgt av en langsom kamerabevegelse som avdekker en notatbok ved siden av. Angi synlige materialer og lys til tekst-til-video. Hvis et oppgitt bilde allerede etablerer detaljene, kan bilde-til-video-prompten konsentrere seg om lysendringen og det kameraet skal avdekke.

Unngå motstridende instruksjoner. En fast kameravisning med subtil motivbevegelse er forskjellig fra en energisk håndholdt følgeinnstilling. Legg til detaljene som definerer den nyttige innstillingen fremfor en lang liste med urelaterte visuelle stiler.

Kamerabegreper og handling i rekkefølge

Produsentens kameraveiledning skiller mellom utsnitt, vinkler, bevegelse og fokus. Et nærbilde endrer hva som fyller bildet, en lav vinkel endrer perspektivet, en panorering dreier kameraets synsfelt, og en følgebevegelse følger et motiv. En instruksjon om fokusforflytning flytter fokus mellom synlige motiver. Angi hva som skal være i bildet eller avdekkes etter hvert som bevegelsen utvikler seg.

Sekvensielle prompter kan uttrykke hendelser i vanlig språk eller med grove tidsstempler. Tidsstemplene veileder rekkefølge og omtrentlig timing; de garanterer ikke utførelse med bildepresisjon. Gi de ønskede handlingene nok tid til å skje naturlig innenfor valgt klippvarighet.

Til en statisk innstilling beskriver du bevegelsen som hører hjemme inne i bildet og understreker det tiltenkte stillestående kameraet. Produsenten påpeker at helt bevegelsesløse visninger kan være vanskelige, særlig for enkelte vide eller etablerende innstillinger. Gjennomgå små uønskede bevegelser i det faktiske resultatet i stedet for å anta at en frase om statisk kamera gjør dem umulige.

Varighet, dimensjoner og bildefrekvens

Gen-4.5 støtter klippvarigheter fra 2 til 10 sekunder. Et lengre valg kan romme flere ordnede handlinger, mens en kort reaksjon eller avsløring kan bruke en kortere innstilling. Dokumenterte utdata er 720p, med 24 eller 25 bilder per sekund i produsentens genereringsarbeidsflyt.

Tekst-til-video-spesifikasjonen oppgir 16:9 ved 1280 × 720 piksler. Bilde-til-video oppgir i tillegg 9:16 ved 720 × 1280, 1:1 ved 960 × 960, 4:3 ved 1104 × 832, 3:4 ved 832 × 1104 og 21:9 ved 1584 × 672. Hold modus og faktiske dimensjoner sammen i stedet for å anta at begge inndatamoduser tilbyr samme sett sideforhold.

Et bildes sideforhold kan etablere standardkomposisjonen, og endring av det kan beskjære inndataene. Kontroller motivets plassering før bevegelsen vurderes: en korrekt handling er ikke nyttig hvis en sentral del av kildebildet er skåret bort.

Bygg en lengre sekvens fra fullførte innstillinger

Til bildestyrt arbeid beskriver produsenten videreføring av en sekvens ved å bruke et fullført klipps siste bilde som bildeinndata til en ny generering. Klippene kombineres deretter i en videoredigerer, der felles bilde og timing håndteres i redigeringen. Dette er en sekvens av separate innstillinger fremfor én generering med ubegrenset varighet.

Behold sluttbildet og tilhørende beskrivelse slik at neste innstilling starter fra ønsket visuell tilstand. Undersøk kontinuitet i de sammenføyde opptakene, inkludert motivutseende, kameraretning og overgangen mellom klipp.

Behold og gjennomgå produksjonsresultatet

Etter generering gjennomgår du hele klippet og beholder de fullførte utdataene. Produsentens arbeidsflyt tilbyr også separate valg for oppskalering og produksjonseksport, som ProRes eller en PNG-sekvens. Dette er ekstra arbeidsflytalternativer; de direkte genereringsdimensjonene er fortsatt adskilt fra et senere oppskalert resultat.

Bruk Gen-4.5 til filmatiske konsepter, animerte visuelle ideer, B-roll og utvikling av korte scener. Oppbevar prompt, inndatabilde der det brukes, varighet, modus og returnert klipp sammen. Kontroller handlingsrekkefølge, kameraatferd, motivdetaljer, uønskede klipp og ønsket utsnitt, og gjør deretter en målrettet korrigering av innstillingen.