Alibaba: Wan 2.7

Alibaba Wan 2.7 är en familj för videogenerering med namngivna profiler för text-till-video, bild-till-video och referensstyrd generering. Tillverkaren dokumenterar ljudsynkroniserade scener och berättelser med flera tagningar, medan bildflödet lägger till generering från första/sista bildruta och fortsättning på en inledande video. Det användbara resultatet är ett kort klipp med ljud, till exempel en produktövergång, en kompakt berättelse eller en fortsättning som passar en befintlig tagning. Välj läge efter källmaterialet och den kontroll som behövs över början eller slutet.

För text-till-video beskriver du motiv, miljö, handling, kamera, stil och ljud. En storyboard kan ange varje tagning och tidsintervall, medan en instruktion för en enda tagning bör säga att handlingen förblir kontinuerlig. Promptguiden för Wan 2.7 låter modellen tolka tagningsstrukturen från den skrivna instruktionen i stället för att använda kontrollen shot_type från 2.6. Nuvarande text-API tar emot kinesiska eller engelska prompter på upp till 5 000 tecken, med en separat negativ prompt på 500 tecken; överskjutande text trunkeras. Håll viktig handling och begränsningar tydliga inom detta utrymme.

Bild-till-video från första bildrutan animerar en inskickad öppningsbild. Generering från första/sista bildruta definierar även ändpunkten och rörelsen mellan dem. Bildguiden för 2.7 stöder en styrande ljudkälla tillsammans med dessa bildrutekombinationer. Förbered ändpunkter som delar scen och avsett motiv, och beskriv övergången i stället för att be modellen tolka båda bilderna som orelaterade stilreferenser. Utdata närmar sig den första bildens proportioner; guiden behandlar upplösning som en nivå för pixelantal och avrundar de kodade dimensionerna på lämpligt sätt.

Videofortsättning börjar med ett källklipp och kan även använda en slutbild. Den begärda längden är hela den returnerade videon, inklusive originalavsnittet. Guidens exempel kombinerar en källa på två sekunder med tio sekunder nytt innehåll till ett resultat på tolv sekunder. Förbered källans avslutande handling och ange vad som händer därefter, så att kamera och motiv fortsätter i en sammanhängande riktning. Granska skarven för utseende, rörelse, ljus och ljud i stället för att bara bedöma det nygenererade slutet.

Tillverkarens nuvarande separata referensprofil använder bilder eller video för att styra karaktärer, föremål eller en scen. Guiden tillåter sammanlagt upp till fem referensbilder och videor och använder typspecifika etiketter som Image 1 och Video 1. Beskriv varje materials roll och den avsedda interaktionen. En referensstyrd scen kan visa karaktären från en referens bära föremålet från en annan genom en angiven plats. Referensutsnitt skiljer sig från generering med första bildruta: instruktionen kan fastställa en ny komposition i stället för att kräva att videon öppnar med en inskickad stillbild.

För eget ljud i textgenerering dokumenteras WAV och MP3, en längd på två till trettio sekunder och högst 15 MB. Den valda videolängden avgör vilken del som används: längre ljud klipps till den längden, medan ljud som är kortare än videon lämnar resten tyst. Förbered det exakta ljudavsnitt som hör till tagningen och lämna utrymme för den avsedda visuella handlingen. Utan en inskickad ljudfil beskriver tillverkaren generering av bakgrundsmusik eller effekter som passar scenen; granska det faktiska ljudet och eventuellt begärt tal tillsammans med bilden.

Den nuvarande modellmatrisen anger MP4 i 720p eller 1080p med 30 bilder per sekund och utdata på två till femton sekunder för text och bild. Den separata referensprofilen är begränsad till två till tio sekunder. Textgenerering erbjuder bildförhållandena 16:9, 9:16, 1:1, 4:3 och 3:4. Bildstyrda uppgifter använder egna regler för ungefärliga källproportioner, så förbered indatans beskärning för avsedd destination. En regel för längd eller bildförhållande från referensprofilen ska inte ersätta reglerna för bildrute- eller fortsättningsflödet.

Det dokumenterade tillverkarflödet är asynkront: ett uppgifts-ID följer bearbetningen och ett lyckat resultat anger videons plats. Resultat dokumenteras med tjugofyra timmars länkgiltighet, så behåll själva klippet och det kreativa materialet för redigeringsgranskning. Alternativ för promptomskrivning, vattenstämpel och seed hör till det valda gränssnittet. Tillverkaren säger att ett fast seed kan förbättra reproducerbarheten men inte garanterar ett identiskt resultat. Jämför den returnerade leveransen med instruktionen i stället för att anta att inställningarna ensamma bevarar varje detalj.

Jämfört med Wan 2.6 lägger bildguiden för 2.7 uttryckligen till kontroll med första/sista bildruta och videofortsättning genom multimodala medieindata. Wan 3.0 introducerar en annan samlad struktur och större längdutrymme vid generering. Denna profil för 2.7 behåller sina uppgiftsspecifika kontroller och begränsningar. Granska hela scenen för motivkontinuitet, förankrande bildrutor, referensidentitet, dialog, rörelse och skarvar, och gör nästa korrigering specifik för det faktiska problemet.