Alibaba: Wan 3.0 Prime

Alibaba Wan 3.0 Prime er den hurtigere udgave af Wan 3.0-videofamilien. Udvikleren kalder den wan3.0-video-prime og dokumenterer de samme alt-i-én-opgavekategorier som standardudgaven af Wan 3.0 med hastighed som udgavens særlige fokus. En skriftlig beskrivelse, et startbillede, visuelle referencer eller lydreferencer eller kildevideo kan vejlede et klip med tilhørende lyd. Nyttige resultater omfatter en produktscene, en kort fortællende sekvens, et animeret stillbillede eller en instrueret revision af en eksisterende optagelse.

Ved tekst-til-video beskrives motiv, scene, bevægelse, kamera, visuel udformning og lyd. 3.0-vejledningen understøtter enkelte optagelser eller et storyboard med optagelsesmærkninger og tidsintervaller og anbefaler omtrent fire til seks sekunder pr. optagelse. Ved et produktklip bevæges kameraet fra et stabilt totalbillede af en taske på et bord til en nærmere materialedetalje, hvorefter en afsluttende komposition holdes, mens en kort replik siges. Giv sekvensen ét tydeligt formål, og vurder, om kamera, tempo og produktidentitet forbliver sammenhængende.

Ved generering fra første billede fastlægger det givne billede åbningen, og prompten beskriver bevægelse og kameraarbejde. Generering med første og sidste billede giver begge endepunkter og beder om overgangen mellem dem. Forbered endepunkter, der hører til samme scene, og et ønsket billedformat, der passer til det tilsigtede output. Udvikleren anbefaler adaptiv indramning til billedbaserede opgaver. Endepunktstilstanden og de separate referencetilstande har forskellige regler for kombination af materiale: første eller sidste billeder blandes ikke med referencebilleder, referencevideo eller referencelyd i samme anmodning.

Referencetilstand accepterer op til ti billeder, fem videoklip og fem lydklip inden for i alt tyve multimodale referencematerialer. De dokumenterede grænser pr. fil er 20 MB for et referencebillede, 100 MB for video og 15 MB for lyd. Referencevideoklip må tilsammen indeholde højst femten sekunder; referencelydklip har deres egen samlede grænse på femten sekunder. Angiv hvert materiales rolle, og brug dets typespecifikke indeks, såsom Image 1, Video 1 eller Audio 1. En person, et produkt, en kamerabevægelse og en stemme må ikke efterlades som udskiftelige referencer.

Udvikleren understøtter også ét dokument eller én offentlig websidereference, som kan ledsage andre referencematerialer. En fil og et weblink udelukker hinanden, og kilden skal kunne tilgås uden login. En dokumentbaseret scene kan bruge det relevante produkt- eller historieindhold som kontekst, mens en visuel reference definerer udseendet. Forbered det materiale, som faktisk skal præge klippet, og angiv de relevante elementer. Kontroller faktuelle visuelle detaljer og tekst i den genererede scene mod kilden frem for at acceptere en attraktiv, men ændret gengivelse.

Talt dialog, atmosfærelyd, lydeffekter og baggrundsmusik genereres sammen med billedet. Beskriv de talte ord, talerens identitet, fremførelsen og lydens plads i scenen. Vejledningen dokumenterer lyd slået til som standard og en indstilling til lydløs video. Giv talere i en dialog unikke visuelle kendetegn og stemmekendetegn, og lad der være nok tid til udvekslingen. Lyt til resultatet efter den faktiske ordlyd, hvem der siger hvad, og forholdet mellem en effekt og den synlige handling. Integreret lyd er en del af scenen og kræver derfor samme gennemgang som billedet.

Udviklerens alt-i-én-vejledning dokumenterer også redigering og forlængelse fra referencevideo. En redigeringsbeskrivelse skal angive det element, der skal tilføjes, fjernes eller erstattes, og de egenskaber, som skal bevares. En forlængelsesbeskrivelse skal beskrive indhold før, efter eller omkring det eksisterende klip. Brug adaptiv indramning og intelligent varighed til disse forløb. Når videoinput gives, må den dokumenterede samlede varighed af input- og outputvideo ikke overstige 30 sekunder. Forbered kildeuddraget og den tilsigtede ændring tydeligt; vurder overgangen, det bevarede motiv og lyden frem for kun ét tiltalende billede.

Det dokumenterede output er MP4 ved 30 fps med opløsning på 480p, 720p eller 1080p og varighed på to til tredive sekunder for nye genereringer. Intelligent varighed lader modellen vælge en passende længde. Kvadratisk, liggende og stående indramning er tilgængelig, og adaptiv indramning følger det givne materiale. Udvikleren behandler generering som et job og returnerer placeringen af den færdige video; vejledningen angiver, at resultatplaceringen er gyldig i fireogtyve timer. Gem det faktiske klip og den kreative beskrivelse, når en redigering eller sekvens forberedes, og gennemgå hele resultatet, før det bruges.

Prime og standardudgaven af Wan 3.0 deler de dokumenterede tilstande og forberedelsesstrukturen. Prime er valget optimeret til hastighed uden garanti for en fast færdiggørelsestid. Tidligere Wan 2.7- og 2.6-tilstande har deres egne regler for varighed, referencer og output; disse grænser definerer ikke denne 3.0-udgave. Ved en nyttig gennemgang kontrolleres objekt- og figurkontinuitet, indramning af endepunkter, ønskede redigeringer, dialog og kildeafhængige detaljer. Hold næste rettelse specifik, så vellykkede elementer i scenen forbliver stabile, mens det identificerede problem revideres.