Alibaba: Wan 2.7

Alibaba Wan 2.7 er en familie til videogenerering med særskilt navngivne profiler til tekst-til-video, billede-til-video og referencestyret generering. Producenten dokumenterer scener med synkroniseret lyd og fortællinger med flere optagelser, mens billedarbejdsgangen tilføjer generering fra første og sidste billede samt fortsættelse af en indledende video. Det nyttige resultat er et kort klip med lyd, eksempelvis en produktovergang, en kompakt fortælling eller en fortsættelse, der passer til en eksisterende optagelse. Vælg tilstand ud fra kildematerialet og det nødvendige niveau af kontrol over begyndelsen eller slutningen.

Til tekst-til-video skal du beskrive motiv, miljø, handling, kamera, stil og lyd. Et storyboard kan angive hver optagelse og dens tidsinterval, mens en beskrivelse af én optagelse bør angive, at handlingen forløber kontinuerligt. Wan 2.7-promptvejledningen lader modellen fortolke optagelsesstrukturen ud fra den skrevne beskrivelse i stedet for at bruge 2.6-udgavens shot_type-kontrol. Det aktuelle tekst-API accepterer kinesiske eller engelske prompts på op til 5.000 tegn med en separat negativ prompt på 500 tegn; overskydende tekst afkortes. Hold den væsentlige handling og begrænsningerne tydelige inden for denne ramme.

Billede-til-video fra et første billede animerer et medsendt åbningsbillede. Generering fra første og sidste billede fastlægger også slutpunktet og bevægelsen, der forbinder dem. Billedvejledningen til 2.7 understøtter en styrende lydkilde sammen med disse billedkombinationer. Forbered start- og slutbilleder med samme scene og det tilsigtede motiv, og beskriv overgangen i stedet for at bede modellen om at genfortolke begge billeder som uafhængige stilreferencer. Output følger omtrent det første billedes proportioner; vejledningen behandler opløsning som et niveau for pixelantal og afrunder de kodede dimensioner passende.

Videofortsættelse begynder med et kildeklip og kan også bruge et afsluttende billede. Den ønskede varighed er den samlede returnerede video inklusive det oprindelige segment. Vejledningens eksempel kombinerer en kilde på to sekunder med ti sekunders nyt indhold til et resultat på tolv sekunder. Forbered kildens afsluttende handling, og angiv, hvad der sker bagefter, så kamera og motiv fortsætter i en sammenhængende retning. Gennemgå samlingen for udseende, bevægelse, lys og lyd frem for kun at vurdere den nygenererede slutning.

Producentens aktuelle separate referenceprofil bruger billeder eller video til at styre figurer, genstande eller en scene. Vejledningen tillader op til fem referencebilleder og -videoer i alt og bruger typespecifikke betegnelser som Image 1 og Video 1. Beskriv hvert materiales rolle og det ønskede samspil. I en referencestyret scene kan du vise en figur fra én reference, som bærer genstanden fra en anden gennem et bestemt sted. Indramning med referencer adskiller sig fra generering fra et første billede: beskrivelsen kan fastlægge en ny komposition i stedet for at kræve, at videoen åbner med ét medsendt stillbillede.

Ved brugerdefineret lyd i tekstgenerering er de dokumenterede formater WAV og MP3 med en varighed på to til tredive sekunder og højst 15 MB. Den valgte videovarighed bestemmer, hvilken del der bruges: længere lyd afkortes til denne varighed, mens lyd, der er kortere end videoen, efterlader resten lydløs. Forbered præcis den lydpassage, der hører til optagelsen, og giv plads til den ønskede visuelle handling. Uden en medsendt lydfil beskriver producenten generering af baggrundsmusik eller effekter, der passer til scenen; kontrollér den faktiske lyd og eventuel ønsket tale sammen med billedet.

Den aktuelle modeloversigt angiver 720p- eller 1080p-MP4 ved 30 fps med tekst- og billedoutput på to til femten sekunder. Den separate referenceprofil er begrænset til to til ti sekunder. Tekstgenerering tilbyder billedformaterne 16:9, 9:16, 1:1, 4:3 og 3:4. Billedbetingede opgaver bruger deres egne regler for omtrentlige kildeproportioner, så forbered inputbeskæringen til den ønskede anvendelse. En regel om varighed eller billedformat fra referenceprofilen bør ikke bruges som erstatning i arbejdsgangen med billeder eller fortsættelse.

Producentens dokumenterede forløb er asynkront: et opgave-id følger behandlingen, og et vellykket resultat angiver videoens placering. Resultaterne er dokumenteret med fireogtyve timers linkgyldighed, så gem selve klippet og de kreative materialer til redigeringsgennemgangen. Valg for omskrivning af prompts, vandmærke og seed hører til den valgte grænseflade. Producenten siger, at et fast seed kan forbedre reproducerbarheden, men ikke garanterer et identisk resultat. Sammenlign det returnerede produkt med beskrivelsen frem for at antage, at indstillingerne alene bevarer alle detaljer.

Sammenlignet med Wan 2.6 tilføjer billedvejledningen til 2.7 specifikt kontrol med første og sidste billede samt videofortsættelse gennem multimodale medieinput. Wan 3.0 indfører en anden samlet struktur og en længere tilladt genereringsvarighed. Denne 2.7-profil bevarer sine opgavespecifikke kontroller og grænser. Gennemgå hele scenen for motivkontinuitet, forankring i start- og slutbilleder, referenceidentitet, dialog, bevægelse og samlinger, og lad den næste rettelse være specifik for det faktisk fundne problem.