ByteDance: Seedance 2.0

Seedance 2.0 er ByteDance Seeds standardmodel til multimodal lyd-video-produktion. Den kombinerer tekst, billeder, videoer og lyd i en fælles genereringsarkitektur med særskilte kreative arbejdsgange for referencedrevne scener, videoredigering og videoforlængelse. Den er nyttig, når briefen kræver både en sammenhængende præstation og bestemte visuelle oplysninger eller lydoplysninger fra forberedte materialer.

Multimodal reference og instruktørkontrol

Billeder kan definere motivets udseende, den visuelle stil og kompositionen. Videoreferencer kan styre handling, kamerabevægelse og effekter. Lyd kan styre stemmeklang, musik eller dialog. Definer hvert materiales rolle, og beskriv derefter den scene, der skal være resultatet. Producenten lægger vægt på kontrol over præstation, lys, skygger og kamerasprog.

Til en produktfortælling skal du forberede et produktbillede, en reference til kamerabevægelsen og en lydmarkør. En brief kan være: »Bevar den blå glasvase fra Image 1. Brug den langsomme sidelæns trackingbevægelse fra Video 1. Vasen står på en solbeskinnet hylde med blød instrumentalmusik baseret på Audio 1.« Det tilsigtede output er en nyiscenesat scene, der kombinerer udvalgt referenceinformation.

Referenceinput kan kombinere billede og lyd, billede og video, video og lyd eller alle tre. Input med kun lyd og tekst plus lyd uden billede eller video understøttes ikke. Traditionel tekst-til-video, generering med første billede og generering med første og sidste billede er også dokumenteret. Hvis faste åbnings- og slutkompositioner er vigtige, skal den dedikerede endepunktsarbejdsgang bruges: at navngive et referencebillede som endepunkt i en omni-reference-prompt er kun en indirekte styring.

Redigering af optagelser

Modellen kan erstatte et motiv, tilføje eller fjerne objekter, ændre elementer og gentegne eller reparere dele af en video. Beskriv den konkrete ændring, og identificer kildeoptagelserne. Ved tilføjelse skal synlighedstid og position medtages; ved fjernelse eller erstatning skal objektet angives præcist, og det, der skal blive, navngives.

For eksempel: »Erstat skrivebordslampen i Video 1 med messinglampen i Image 1. Bevar kamerabevægelsen, skrivebordsopstillingen og lysretningen.« Det ønskede resultat er en redigeret version af scenen med den tilsigtede udskiftning. Undersøg både de uændrede områder og det nye objekt, især under tildækning, bevægelse og indstillingsskift.

Forlængelse og sammenkobling af en sekvens

Seedance 2.0 kan forlænge en video fremad eller bagud og forbinde op til tre leverede klip med genererede overgange. Angiv tidsretningen og den nye begivenhed. Til en bro skal klippene ordnes, og overgangen mellem hvert par beskrives, for eksempel at et kamera går ind gennem en dør i én indstilling og ankommer til de næste omgivelser.

En enkel forlængelse returnerer typisk fortsættelsen udviklet omkring kildeoptagelserne; medtag en tydelig instruktion, hvis slutresultatet også skal gentage originalsegmentet. Når en forbindelse mellem to eller tre klip færdiggøres, kan den dokumenterede arbejdsgang omfatte både originalmateriale og nyt overgangsindhold. Det er nyttigt til at udvikle en begyndelse eller afslutning eller forbinde forberedte scener uden at lade den forbindende handling stå uspecificeret.

Standardudgavens output og 4K

Standardudgaven dokumenterer MP4 ved 24 fps og varigheder fra 4 til 15 sekunder. Outputniveauerne er 480p, 720p og 1080p med 8-bit-farvedybde samt 4K med 10-bit-farvedybde. De understøttede billedformater er 21:9, 16:9, 4:3, 1:1, 3:4 og 9:16. Adaptiv indramning og automatisk varighedsvalg er også dokumenteret. Fast-udgaven har sin egen smallere outputspecifikation på 480p/720p.

4K-outputtet bruger H.265/HEVC-kodning. Ti-bit-kodning bevarer flere tonegraderinger og jævnere farveovergange, hvilket betyder noget for materiale med subtile lys- eller farvegradienter. Kontrollér, at det tilsigtede afspilnings- og redigeringsmiljø kan afkode formatet; nogle browsere og enheder afspiller det ikke direkte. En kompatibel container sikrer ikke i sig selv kompatibel videoafkodning.

Modellen kan generere synkroniseret lyd eller en lydløs video og kan returnere det sidste genererede billede til en efterfølgende scene. Genereret lyd er mono. 2.0-familien understøtter ikke den særskilte Draft-forhåndsvisning i to trin, så denne forhåndsvisningsfunktion må ikke udledes fra en anden Seedance-udgave.

Referenceforberedelse og væsentlige grænser

Den dokumenterede referencekapacitet er op til ni billeder, tre videoer og tre lydklip. Direkte uploads af referencebilleder eller videoer med virkelige menneskeansigter accepteres ikke i denne dokumenterede producentprofil; portrætarbejde bruger den understøttede arbejdsgang for portrætaktiver. Hvert video- og lydklip skal være 2–15 sekunder langt. Alle videoreferencer skal tilsammen være inden for 15 sekunder, og alle lydreferencer har deres egen samlede grænse på 15 sekunder. Videofiler bruger MP4 eller MOV ved 24–60 fps og er op til 200 MB hver; lydfiler bruger WAV eller MP3 og er op til 15 MB hver. De angivne billedformater er JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC og HEIF. Billeder skal være mindre end 30 MB hver, og anmodningens body må ikke overstige 64 MB. I den dokumenterede referenceinputprofil skal billedbredde og -højde hver være strengt mellem 300 og 6.000 pixels med et bredde-højde-forhold strengt mellem 0.4 og 2.5. Referencevideoer tillader 300–6.000 pixels i hver dimension og forhold på 0.4–2.5 inklusive grænserne med i alt 407.696–8.295.044 pixels. MP4- eller MOV-videoer bruger H.264/AVC- eller H.265/HEVC-video og AAC- eller MP3-lyd.

Ordn filerne bevidst, og henvis til hver med dens medietype og nummer: Image 1, Video 1 og Audio 1. Nummeret følger rækkefølgen blandt filer af den type. Forklar, hvilke træk der skal overføres, og hvilket kildeindhold der ikke skal definere den nye scene. Dokumenterede promptsprog omfatter engelsk, spansk, indonesisk, portugisisk og japansk. Hold det talte sprog ensartet i en dialog; vejledningen fraråder at blande sprog bortset fra egennavne. Til stemmestyret arbejde skal taler, præcis replik og fremførelsesanvisning adskilles.

Forbered første og sidste billede med kompatibel indramning. Et mismatch mellem inputbilledet og outputdimensionerne kan give beskæring eller en brat visuel ændring; matchende dimensioner og adaptiv indramning er dokumenterede løsninger. Hold beskrivelsen koncentreret om begivenheden og referencernes roller. Producenten advarer om, at lange prompts kan sprede information, så detaljer ignoreres. Gennemgå den resulterende bevægelse, referencekontinuitet, lydpræstation og samlinger mellem scener som særskilte dele af det kreative resultat.

Indstillingsplanlægning og tekstinstruktion

Til en kompleks scene skal briefen organiseres som Shot 1, Shot 2 og Shot 3 med kamera, motivets handling, position og lyd angivet i rækkefølge. Vejledningen anbefaler én kamerabevægelse pr. indstilling og prioritering af langsomme, sammenhængende handlinger. Præcise tidsstempler for hver indstilling er ustabile, så et begivenhedsforløb er bedre styring end at tvinge flere præcise tidsvinduer igennem.

Modellen genererer også almindelig tekst, herunder slogans, undertekster og talebobler. Du kan styre tekstens farve, visuelle behandling, placering og indgang. Brug almindelige tegn frem for sjældne tegn eller specialsymboler, og gennemgå ordlyden, mens den bevæger sig. Til motivreferencer skal hvert aktiv tydeligt bindes til den tilsigtede figur eller genstand. Produktvinkler kan levere forskellig visuel information; figursammenstillinger fra flere vinkler kan forvirre ansigtsidentiteten. Et særskilt tydeligt portrætbillede og et helkropsbillede er den dokumenterede anbefaling til figurreferencer.

Adfærd, der skal undersøges før redigering

Vejledningen dokumenterer uønskede undertekster, logoer, duplikerede figurer og stilafvigelser. Rent kildemateriale, ensartede betegnelser og eksplicitte begrænsninger reducerer disse risici, men garanterer ikke, at uønsket tekst eller duplikerede figurer forsvinder. Mere end fire referencepersoner rapporteres som en stabilitetsrisiko, adskilt fra det antal filer, modellen accepterer.

Videoforlængelse kan give et hop eller tilbagespring ved samlingen, og gentagne fortsættelser kan forstærke forringelsen af billedkvalitet. Undersøg grænsebillederne, og begræns stablede forlængelser. En refereret stemme kan afvige fra kildens klang; fortælling kan slutte med et klik eller en brat afskæring, hvor en lydudtoning er en dokumenteret løsning. Kinesiske tegn med flere mulige udtaler samt usædvanlige eller visuelt lignende tegn kan udtales forkert. Til en præcis animeret effekt som en nedtælling er en bevægelsesreference mere informativ end en verbal anmodning alene. Det er konkrete grunde til at kontrollere identitet, tekst, bevægelse og lyd særskilt, når klippet vælges.