ByteDance: Seedance 2.0

Seedance 2.0 er ByteDance Seeds standardmodell for multimodal lyd- og videoproduksjon. Den kombinerer tekst, bilder, videoer og lyd i en felles genereringsarkitektur, med separate kreative arbeidsflyter for referansestyrte scener, videoredigering og videoforlengelse. Den er nyttig når beskrivelsen krever både en sammenhengende fremføring og bestemt visuell eller lydlig informasjon fra forberedt materiale.

Multimodal referanse og regikontroll

Bilder kan definere motivets utseende, visuell stil og komposisjon. Videoreferanser kan veilede handling, kamerabevegelse og effekter. Lyd kan veilede stemmeklang, musikk eller dialog. Definer rollen til hvert materiale og beskriv deretter scenen som skal bli resultatet. Produsenten fremhever kontroll over fremføring, belysning, skygger og kameraspråk.

Til en produkthistorie forbereder du et produktbilde, en referanse til kamerabevegelsen og et lydsignal. En beskrivelse kan være: «Bevar den blå glassvasen fra Image 1. Bruk den langsomme sideveis kamerakjøringen fra Video 1. Vasen står på en solbelyst hylle, med myk instrumentalmusikk basert på Audio 1.» De tiltenkte utdataene er en nyiscenesatt scene som kombinerer utvalgt referanseinformasjon.

Referanseinndata kan kombinere bilde og lyd, bilde og video, video og lyd eller alle tre. Inndata med bare lyd og tekst pluss lyd uten bilde eller video støttes ikke. Tradisjonell tekst-til-video, generering fra førstebilde og generering fra første- og sistebilde er også dokumentert. Hvis faste åpnings- og avslutningskomposisjoner er viktige, bruker du den dedikerte endepunktarbeidsflyten: å navngi et referansebilde som et endepunkt i en omni-reference-prompt er bare en indirekte måte å styre det på.

Redigering av opptak

Modellen kan erstatte et motiv, legge til eller fjerne objekter, endre elementer og tegne om eller reparere deler av en video. Beskriv den konkrete endringen og identifiser kildeopptaket. Ved tilføyelser inkluderer du visningstid og posisjon; ved fjerning eller erstatning angir du objektet presist og navngir det som skal beholdes.

For eksempel: «Erstatt skrivebordslampen i Video 1 med messinglampen i Image 1. Behold kamerabevegelsen, skrivebordsoppsettet og lysretningen.» Det ønskede resultatet er en redigert versjon av scenen med den tiltenkte utskiftingen. Undersøk uendrede områder og det nye objektet, særlig gjennom tildekking, bevegelse og innstillingsskifter.

Forlengelse og sammenkobling av en sekvens

Seedance 2.0 kan forlenge en video fremover eller bakover og forbinde opptil tre oppgitte klipp med genererte overganger. Spesifiser tidsretningen og den nye hendelsen. Til en bro ordner du klippene og beskriver overgangen mellom hvert par, for eksempel et kamera som går gjennom en døråpning i én innstilling og kommer frem i det neste miljøet.

En enkel forlengelse returnerer vanligvis videreføringen utviklet rundt kildeopptaket; inkluder en tydelig instruksjon hvis sluttresultatet også skal gjenta originalsegmentet. Ved fullføring av en forbindelse mellom to eller tre klipp kan den dokumenterte arbeidsflyten inkludere både originalmateriale og nytt overgangsinnhold. Dette er nyttig for å utvikle en åpning eller avslutning eller forbinde forberedte scener uten å la den sammenbindende handlingen være uspesifisert.

Standardutgavens utdata og 4K

Standardutgaven dokumenterer MP4 ved 24 fps og varigheter fra 4 til 15 sekunder. Utdatanivåene er 480p, 720p og 1080p med 8-bits fargedybde, samt 4K med 10-bits fargedybde. Støttede sideforhold er 21:9, 16:9, 4:3, 1:1, 3:4 og 9:16. Tilpasset utsnitt og automatisk varighetsvalg er også dokumentert. Fast-utgaven har sin egen smalere utdataspesifikasjon på 480p/720p.

4K-utdata bruker H.265/HEVC-koding. Tibitskoding bevarer flere tonenyanser og jevnere fargeoverganger, noe som betyr noe i materiale med subtile lys- eller fargegradienter. Kontroller at det tiltenkte avspillings- og redigeringsmiljøet kan dekode formatet; enkelte nettlesere og enheter spiller det ikke direkte. En kompatibel container sikrer ikke i seg selv kompatibel videodekoding.

Modellen kan generere synkronisert lyd eller en lydløs video, og den kan returnere siste genererte bilde til en påfølgende scene. Generert lyd er mono. 2.0-familien støtter ikke den separate tostegs Draft-forhåndsvisningsmodusen, så denne forhåndsvisningsfunksjonen skal ikke utledes fra en annen Seedance-utgave.

Referanseforberedelse og vesentlige begrensninger

Den dokumenterte referansekapasiteten er opptil ni bilder, tre videoer og tre lydklipp. Direkte referansebilde- eller videoopplastinger med virkelige menneskeansikter godtas ikke i denne dokumenterte produsentprofilen; portrettarbeid bruker den støttede arbeidsflyten for portrettressurser. Hvert video- og lydklipp må vare 2–15 sekunder. Alle videoreferanser må samlet holde seg innenfor 15 sekunder, og alle lydreferanser har sitt eget samletak på 15 sekunder. Videofiler bruker MP4 eller MOV ved 24–60 fps, opptil 200 MB hver; lydfiler bruker WAV eller MP3, opptil 15 MB hver. Oppførte bildeformater er JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC og HEIF. Bilder må være mindre enn 30 MB hver, og forespørselskroppen må ikke overstige 64 MB. I den dokumenterte referanseinndataprofilen må bildebredde og -høyde hver være strengt mellom 300 og 6 000 piksler, med et bredde–høyde-forhold strengt mellom 0,4 og 2,5. Referansevideoer tillater 300–6 000 piksler i hver dimensjon og sideforhold på 0,4–2,5, inklusive grensene, med 407 696–8 295 044 piksler totalt. MP4- eller MOV-videoer bruker H.264/AVC- eller H.265/HEVC-video og AAC- eller MP3-lyd.

Ordne filene bevisst og henvis til hver med medietype og nummer: Image 1, Video 1 og Audio 1. Nummeret følger rekkefølgen blant filer av samme type. Forklar hvilke trekk som skal overføres og hvilket kildeinnhold som ikke skal definere den nye scenen. Dokumenterte promptspråk omfatter engelsk, spansk, indonesisk, portugisisk og japansk. Hold talespråket konsistent i en dialog; veiledningen fraråder språkblanding bortsett fra egennavn. Til stemmestyrt arbeid skiller du taler, nøyaktig replikk og fremføringsinstruksjon.

Forbered første- og sistebilder med kompatibelt utsnitt. Et avvik mellom inndatabildet og utdatadimensjonene kan føre til beskjæring eller en brå visuell endring; samsvarende dimensjoner og tilpasset utsnitt er dokumenterte løsninger. Hold beskrivelsen konsentrert om hendelsen og referanserollene. Produsenten advarer om at lange prompter kan spre informasjon og gjøre at detaljer ignoreres. Gjennomgå bevegelsen, referansekontinuiteten, lydfremføringen og skjøter mellom scener som separate deler av det kreative resultatet.

Innstillingsplanlegging og tekstregi

Til en kompleks scene organiserer du beskrivelsen som Shot 1, Shot 2 og Shot 3 og spesifiserer kamera, motivets handling, posisjon og lyd i rekkefølge. Veiledningen anbefaler én kamerabevegelse per innstilling og prioritering av langsomme, sammenhengende handlinger. Presise tidsstempler per innstilling er ustabile, så et hendelsesforløp gir bedre kontroll enn å tvinge frem flere eksakte tidsvinduer.

Modellen genererer også vanlig tekst, inkludert slagord, undertekster og snakkebobler. Du kan styre tekstens farge, visuelle behandling, plassering og hvordan teksten kommer inn. Bruk vanlige tegn fremfor sjeldne tegn eller spesialsymboler, og gjennomgå ordlyden mens den beveger seg. Knytt hver motivreferanse tydelig til den tiltenkte karakteren eller gjenstanden. Produktvinkler kan gi ulik visuell informasjon; kollasjer med karakteren fra flere vinkler kan forvirre ansiktsidentiteten. Et separat tydelig portrett og helkroppsbilde er den dokumenterte anbefalingen for karakterreferanser.

Atferd som bør undersøkes før redigering

Veiledningen dokumenterer uønskede undertekster, logoer, dupliserte karakterer og stildrift. Rent kildemateriale, konsistente betegnelser og eksplisitte begrensninger reduserer risikoen, men garanterer ikke at uønsket tekst eller dupliserte figurer forsvinner. Mer enn fire referansepersoner er rapportert som en stabilitetsrisiko, adskilt fra antallet filer modellen godtar.

Videoforlengelse kan gi et hopp eller en tilbakerulling ved skjøten, og gjentatte videreføringer kan forsterke forringelsen av bildekvalitet. Undersøk grensebildene og begrens stablede forlengelser. En referert stemme kan avvike fra kildens klang; fortellerlyd kan ende med et klikk eller et brått kutt, der lydnedtoning er en dokumentert løsning. Kinesiske polyfone, uvanlige eller formlike tegn kan uttales feil. Til en presis animert effekt, for eksempel en nedtelling, er en bevegelsesreferanse mer informativ enn bare en muntlig beskrivelse. Dette er konkrete grunner til å kontrollere identitet, tekst, bevegelse og lyd separat når klippet velges.