Alibaba: Wan 2.7

Alibaba Wan 2.7 er en videogenereringsfamilie med navngitte profiler for tekst-til-video, bilde-til-video og referansestyrt generering. Produsenten dokumenterer scener med synkronisert lyd og fortellinger med flere opptak, mens bildearbeidsflyten legger til generering fra første/siste bilde og videreføring av en innledende video. Det nyttige resultatet er et kort klipp med lyd, for eksempel en produktovergang, en kompakt historie eller en videreføring som passer til et eksisterende opptak. Velg modus etter kildematerialet og kontrollen du trenger over begynnelsen eller avslutningen.

For tekst-til-video beskriver du motiv, omgivelser, handling, kamera, stil og lyd. Et storyboard kan angi hvert opptak og tidsintervall, mens en beskrivelse av et enkeltopptak bør si at handlingen forblir sammenhengende. Promptveiledningen for Wan 2.7 lar modellen tolke opptaksstrukturen fra den skriftlige beskrivelsen, i stedet for å bruke shot_type-kontrollen i 2.6. Det nåværende tekst-API-et godtar kinesiske eller engelske prompter på opptil 5 000 tegn, med en egen negativ prompt på 500 tegn; tekst utover grensen kuttes. Hold den vesentlige handlingen og begrensningene tydelige innenfor denne rammen.

Bilde-til-video fra første bilde animerer et innsendt åpningsbilde. Generering fra første/siste bilde definerer også endepunktet og bevegelsen som forbinder dem. Bildeveiledningen for 2.7 støtter en styrende lydkilde sammen med disse bildekombinasjonene. Klargjør endepunkter som deler en scene og et tiltenkt motiv, og beskriv overgangen fremfor å be modellen omtolke begge bildene som urelaterte stilreferanser. Resultatet tilnærmer seg det første bildets proporsjoner; veiledningen behandler oppløsning som et nivå for antall piksler og avrunder de kodede dimensjonene på passende måte.

Videovidereføring begynner med et kildeklipp og kan også bruke et sluttbilde. Den forespurte lengden er hele den returnerte videoen, inkludert originalsegmentet. Eksempelet i veiledningen kombinerer en kilde på to sekunder med ti sekunder nytt innhold til et resultat på tolv sekunder. Klargjør kildens siste handling, og si hva som skjer videre, slik at kameraet og motivet fortsetter i en sammenhengende retning. Vurder skjøten for utseende, bevegelse, lys og lyd, fremfor å undersøke bare den nygenererte avslutningen.

Produsentens nåværende, separate referanseprofil bruker bilder eller video til å styre karakterer, objekter eller en scene. Veiledningen tillater opptil fem referansebilder og -videoer til sammen og bruker typespesifikke etiketter som Image 1 og Video 1. Beskriv rollen til hvert materiale og det ønskede samspillet. For en referansestyrt scene kan du vise en karakter fra én referanse som bærer objektet fra en annen gjennom en angitt lokasjon. Referanseutsnitt skiller seg fra generering fra første bilde: beskrivelsen kan fastsette en ny komposisjon fremfor å kreve at videoen åpner på ett innsendt stillbilde.

For tilpasset lyd i tekstgenerering er de dokumenterte formatene WAV og MP3, med lengde fra to til tretti sekunder og maksimalt 15 MB. Den valgte videolengden bestemmer delen som brukes: lengre lyd kuttes til denne lengden, mens lyd som er kortere enn videoen, etterlater resten uten lyd. Klargjør den nøyaktige lydsekvensen som hører til opptaket, og gi plass til den ønskede visuelle handlingen. Uten en innsendt lydfil beskriver produsenten generering av bakgrunnsmusikk eller effekter som passer scenen; kontroller selve lyden og eventuell ønsket tale sammen med bildet.

Den nåværende modellmatrisen oppgir MP4 i 720p eller 1080p ved 30 bilder per sekund, med tekst- og bilderesultater på to til femten sekunder. Den separate referanseprofilen er begrenset til to til ti sekunder. Tekstgenerering tilbyr utsnitt i 16:9, 9:16, 1:1, 4:3 og 3:4. Bildebetingede oppgaver bruker egne regler for tilnærmet bevaring av kildeproporsjoner, så klargjør inndatabeskjæringen for den tiltenkte bruken. En regel for lengde eller sideforhold fra referanseprofilen skal ikke erstatte reglene for bilde- eller videreføringsarbeidsflyten.

Produsentens dokumenterte flyt er asynkron: en oppgaveidentifikator følger behandlingen, og et vellykket resultat gir videoens adresse. Resultater er dokumentert med lenker som er gyldige i tjuefire timer, så behold selve klippet og det kreative materialet for gjennomgang i redigeringen. Valg for promptomskriving, vannmerke og seed tilhører det valgte grensesnittet. Produsenten sier at en fast seed kan bedre reproduserbarheten, men ikke garanterer et identisk resultat. Sammenlign den returnerte filen med beskrivelsen, fremfor å anta at innstillingene alene bevarer hver detalj.

Sammenlignet med Wan 2.6 legger bildeveiledningen for 2.7 uttrykkelig til kontroll over første/siste bilde og videovidereføring gjennom multimodale medieinndata. Wan 3.0 innfører en annen, samlet struktur og en lengre ramme for generering. Denne 2.7-profilen beholder sine oppgavespesifikke kontroller og grenser. Vurder hele scenen for motivkontinuitet, bildeforankringer, referanseidentitet, dialog, bevegelse og skjøter, og gjør neste korrigering konkret for det faktiske problemet du finner.