ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro er ByteDance Seeds modell for innebygd felles generering av lyd og video. Den modellerer visuell handling, tale og rytme sammen, slik at en scene kan inneholde en karakters fremføring, synkronisert dialog og et utformet lydbilde. Den sentrale forskjellen fra en videobeskrivelse med bare visuelt innhold er at lyd blir en del av scenebeskrivelsen: hvem som snakker, hvordan replikken fremføres og hva publikum hører rundt handlingen.

Felles audiovisuell generering

Det dokumenterte lydspennet omfatter miljølyder, handlingseffekter, syntetiserte lyder, instrumenter, bakgrunnsmusikk og vokal. Modellen skal knytte lyd til det som skjer på skjermen: en gjenstand som treffer et bord, en dør som åpnes eller en karakter som snakker. Bruk dette til et kort dramatisk øyeblikk, en produktreklame med tale eller en scene der stemningen avhenger av både fremføring og lyd.

Start prompten med motiv og bevegelse og legg deretter til omgivelser, kamera, visuell stil og lyd. En kort scene kan være: «En kokk løfter lokket av en liten gryte, smiler og sier: ‘Det er ferdig.’ En myk dampsky slipper ut, fulgt av den stille klirringen fra lokket som legges på benken.» Dette gir replikken og effektene en synlig årsak.

Dialog og voiceover

Modellen støtter monologer og samtaler med flere talere, med leppebevegelser tilpasset karakterene. Veiledningen dokumenterer mandarin, kinesiske dialekter som kantonesisk, shaanxi og sichuan, samt muntlig engelsk, japansk, koreansk, spansk og indonesisk. De dokumenterte promptspråkene er kinesisk og engelsk; promptens språk og språket som ønskes i en replikk, er separate valg.

Identifiser hver taler med et konsistent synlig trekk og skriv replikkene i anførselstegn. Ta med fremføringsinstruksjoner som rolig stemme, nølende svar eller raskere tempo, og gjør turvekslingen eksplisitt. Til to talere beskriver du hvem som snakker først og hvem sin reaksjon kameraet viser. En kort utveksling som passer til det valgte klippet, gir modellen et tydeligere fremføringsmål enn et langt avsnitt med uspesifiserte talere.

Voiceover kan regisseres gjennom klang, følelse, intonasjon og talehastighet. Det er nyttig når stemmen skal forklare et produkt mens kameraet blir på produktet, eller når en forteller setter stemningen uten en taler på skjermen. Veiledningen beskriver bevaring av gjenkjennelig klang samtidig som fremføringen endres; gjennomgå faktisk ordlyd, uttale og fremføring sammen med bildet.

Lydeffekter og bakgrunnsmusikk

Beskriv effekter som hendelser knyttet til handlingen: skritt når en karakter kommer inn, regn som blir sterkere utenfor et vindu eller stoff som beveger seg når en frakk tas på. Bakgrunnsmusikk genereres som standard for å passe til prompten. Spesifiser stemning, stil og rytme når de betyr noe, og angi når musikken skal begynne eller tones ned i forhold til scenen.

Til en rolig demonstrasjon ber du om dempet musikk og fremhever produktets håndteringslyder. Til en animert scene beskriver du handlingsøyeblikket som skal falle sammen med musikkrytmen. Det genererte lydsporet er mono. Den dokumenterte lydkontrollen tillater også en lydløs video når prosjektet trenger et separat forberedt lydspor.

Overganger mellom innstillinger og kameraregi

Modellen støtter innstillingsskifter med konsistent visuell behandling, motinnstillinger til samtaler og instruksjoner om overgangstiming. En nyttig dialogsekvens kan etablere to talere i et halvnært bilde, klippe til den svarende taleren og vende tilbake til den første talerens reaksjon. Angi hver persons identitet når innstillingen skifter.

Veiledningen dekker høye, lave og øyehøye vinkler, over-skulderen- og subjektive synsvinkler, samt vide, middels og nære utsnitt. Beskriv en kamerabevegelse gjennom startkomposisjon, retning, utslag og sluttkomposisjon. En langsom kamerakjøring innover kan for eksempel avsluttes på talerens uttrykk når replikken slutter. Knytt bevegelsen til historien i stedet for å liste flere kamerateknikker uten formål.

Moduser, utdata og forhåndsvisning

De dokumenterte inndatamodusene er tekst-til-video, bilde-til-video med førstebilde og bilde-til-video med første- og sistebilde. Et forberedt førstebilde etablerer startkomposisjonen; et sluttbilde kan definere ønsket endepunkt. Utdataspesifikasjonene oppgir MP4 ved 24 fps, 480p, 720p eller 1080p og varighetsinnstillinger på 4–12 sekunder. Modellen kan også velge en lengde i hele sekunder innenfor det støttede området. Dokumenterte sideforhold er 21:9, 16:9, 4:3, 1:1, 3:4 og 9:16, med støtte for tilpasset utsnitt.

Produsenten dokumenterer en tostegs Draft-arbeidsflyt: en 480p-forhåndsvisning for å undersøke scenestruktur, innstillingsvalg, bevegelse og promptens hensikt, fulgt av en endelig generering som gjenbruker de kreative inndataene. Dette lar deg vurdere en planlagt fremføring før du velger endelig oppløsning. Selve forhåndsvisningen er begrenset til 480p og støtter ikke retur av siste bilde. Produsentens Draft-oppgave-ID er gyldig i sju dager etter opprettelse; generer den endelige videoen fra den innenfor dette tidsrommet.

Til bildestyrt arbeid forbereder du kildebildet til ønsket utsnitt: endring av utdatasideforhold kan beskjære bildet. En gjentatt seed gir lignende bilder, ikke garantert identiske, og en instruksjon om fast kamera er ikke en perfekt låsegaranti. Fremfor alt vurderer du et dialogklipp som én audiovisuell fremføring: riktig taler, hørbar replikk, ansiktsreaksjon og kamerabetoning må alle støtte samme hendelse.