ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro er ByteDance Seeds model til indbygget fælles generering af lyd og video. Den modellerer den visuelle handling, tale og rytme sammen, så en scene kan omfatte en figurs præstation, synkroniseret dialog og et designet lydlandskab. Den centrale forskel fra en rent visuel videobrief er, at lyd bliver en del af scenebeskrivelsen: hvem der taler, hvordan replikken fremføres, og hvad publikum hører omkring handlingen.

Fælles audiovisuel generering

Det dokumenterede lydområde omfatter miljølyde, handlingseffekter, syntetiserede lyde, instrumenter, baggrundsmusik og sang. Modellen er beregnet til at forbinde lyd med det, der sker på skærmen: et objekt, der rammer et bord, en dør, der åbner, eller en figur, der taler. Brug den til et kort dramatisk øjeblik, en produktreklame med tale eller en scene, hvis stemning afhænger af både præstation og lyd.

Start prompten med motivet og bevægelsen, og tilføj derefter miljø, kamera, visuel stil og lyd. En kort scene kan være: »En kok løfter låget fra en lille gryde, smiler og siger: 'Det er klart.' Et blødt pust af damp slipper ud, efterfulgt af et stille klir fra låget, der lægges på køkkenbordet.« Det giver replikken og effekterne en synlig årsag.

Dialog og voiceover

Modellen understøtter monologer og samtaler med flere talere med læbebevægelser, der passer til figurerne. Vejledningen dokumenterer mandarin, kinesiske dialekter inklusive kantonesisk, Shaanxi og Sichuan samt talt engelsk, japansk, koreansk, spansk og indonesisk. De dokumenterede promptsprog er kinesisk og engelsk; promptens sprog og det sprog, der ønskes til en talt replik, er særskilte valg.

Identificer hver taler med et ensartet synligt kendetegn, og skriv replikker i anførselstegn. Medtag fremførelsesanvisninger som en rolig stemme, et tøvende svar eller hurtigere tempo, og gør replikskift eksplicitte. Til to talere skal du beskrive, hvem der taler først, og hvis reaktion kameraet viser. En kort udveksling, der passer til det valgte klip, giver modellen et tydeligere præstationsmål end en lang passage med uspecificerede talere.

Voiceover kan styres gennem klang, følelse, intonation og talehastighed. Den er nyttig, når stemmen skal forklare et produkt, mens kameraet bliver på produktet, eller når en fortæller sætter stemningen uden en synlig taler. Vejledningen beskriver bevarelse af en genkendelig klang, mens fremførelsen ændres; gennemgå faktisk ordlyd, udtale og præstation sammen med billedet.

Lydeffekter og baggrundsmusik

Beskriv effekter som begivenheder knyttet til handlingen: fodtrin, når en figur kommer ind, regn, der tiltager uden for et vindue, eller stof, der bevæger sig, når en frakke tages på. Baggrundsmusik genereres som standard, så den passer til prompten. Angiv stemning, stil og rytme, når de er vigtige, og sig, hvornår musikken skal begynde eller fade i forhold til scenen.

Til en stille demonstration skal du bede om afdæmpet musik og fremhæve lydene fra håndteringen af produktet. Til en animeret scene skal du beskrive det handlingsøjeblik, der skal falde sammen med musikrytmen. Det genererede lydspor er mono. Den dokumenterede lydkontrol tillader også en lydløs video, når projektet kræver et særskilt forberedt lydspor.

Indstillingsovergange og kamerainstruktion

Modellen understøtter indstillingsskift med ensartet visuel behandling, modbilleder til samtale og instruktioner om overgangens timing. En nyttig dialogsekvens kan etablere to talere i en halvtotal, klippe til den svarende taler og vende tilbage til den første talers reaktion. Angiv hver persons identitet, når indstillingen skifter.

Vejledningen dækker høje, lave og øjenhøje vinkler; over-skulderen- og subjektive synspunkter; samt total, halvtotal og nærbilleder. Beskriv en kamerabevægelse gennem dens startkomposition, retning, amplitude og slutkomposition. For eksempel kan en langsom dolly-in slutte på talerens udtryk, når en replik afsluttes. Forbind bevægelsen med fortællingen frem for at opremse flere kamerateknikker uden formål.

Tilstande, output og forhåndsvisning

De dokumenterede inputtilstande er tekst-til-video, billede-til-video med første billede og billede-til-video med første og sidste billede. Et forberedt første billede etablerer startkompositionen; et sidste billede kan definere det ønskede endepunkt. Outputspecifikationerne angiver MP4 ved 24 fps, 480p, 720p eller 1080p og varighedsindstillinger på 4–12 sekunder. Modellen kan også vælge en længde i hele sekunder inden for det understøttede interval. De dokumenterede billedformater er 21:9, 16:9, 4:3, 1:1, 3:4 og 9:16 med understøttelse af adaptiv indramning.

Producenten dokumenterer en Draft-arbejdsgang i to trin: en forhåndsvisning i 480p til at undersøge scenestruktur, indstillingsvalg, bevægelse og promptens hensigt, efterfulgt af en endelig generering, som genbruger de kreative input. Det er en måde at vurdere en planlagt præstation på, før den endelige opløsning vælges. Selve forhåndsvisningen er begrænset til 480p og understøtter ikke returnering af det sidste billede. Producentens Draft-opgave-ID er gyldigt i syv dage efter oprettelsen; generer den færdige video ud fra det inden for dette vindue.

Til billedstyret arbejde skal kildebilledet forberedes til den tilsigtede indramning: ændring af outputformatet kan beskære billedet. Et gentaget seed giver lignende frem for garanteret identiske billeder, og en instruktion om fast kamera er ikke en garanti for perfekt låsning. Vurder først og fremmest et dialogklip som én audiovisuel præstation: korrekt taler, hørbar replik, ansigtsreaktion og kamerabetoning skal alle understøtte den samme begivenhed.