ByteDance: Seedance 1.5 Pro

Seedance 1.5 Pro är ByteDance Seeds modell för inbyggd gemensam ljud- och videogenerering. Den modellerar visuell handling, tal och rytm tillsammans så att en scen kan innehålla en karaktärs framförande, synkroniserad dialog och en utformad ljudmiljö. Den centrala skillnaden mot ett rent visuellt videouppdrag är att ljud blir en del av scenbeskrivningen: vem som talar, hur repliken framförs och vad publiken hör runt handlingen.

Gemensam audiovisuell generering

Det dokumenterade ljudomfånget omfattar miljöljud, handlingseffekter, syntetiserade ljud, instrument, bakgrundsmusik och sång. Modellen är avsedd att koppla ljud till det som sker på skärmen: ett objekt som slår i ett bord, en dörr som öppnas eller en karaktär som talar. Använd den för ett kort dramatiskt moment, en produktannons med röst eller en scen vars stämning beror på både framförande och ljud.

Börja prompten med motivet och rörelsen och lägg sedan till miljö, kamera, visuell stil och ljud. En kortfattad scen kan vara: ”En kock lyfter locket från en liten kastrull, ler och säger: ’Det är klart.’ En mjuk puff av ånga slipper ut, följd av det stilla klirret när locket vilar på bänken.” Det ger den talade repliken och effekterna en synlig orsak.

Dialog och voice-over

Modellen stöder monologer och samtal med flera talare, med läpprörelser som matchar karaktärerna. Guiden dokumenterar mandarin, kinesiska dialekter inklusive kantonesiska, shaanxi och sichuan samt talad engelska, japanska, koreanska, spanska och indonesiska. Dokumenterade promptspråk är kinesiska och engelska; promptens språk och det språk som begärs för en talad replik är separata val.

Identifiera varje talare med en konsekvent synlig egenskap och skriv replikerna inom citattecken. Inkludera framförandeinstruktioner som lugn röst, ett tveksamt svar eller snabbare tempo och gör turordningen uttrycklig. Beskriv vem som talar först och vems reaktion kameran visar för två talare. Ett kort samtal som ryms i det valda klippet ger modellen ett tydligare mål för framförandet än ett långt avsnitt med ospecificerade talare.

Voice-over kan styras genom klang, känsla, intonation och talhastighet. Det är användbart när rösten ska förklara en produkt medan kameran stannar på produkten, eller när en berättare sätter stämningen utan talare på skärmen. Guiden beskriver hur en igenkännbar klang behålls medan framförandet ändras; granska faktisk ordalydelse, uttal och framförande tillsammans med bilden.

Ljudeffekter och bakgrundsmusik

Beskriv effekter som händelser kopplade till handlingen: fotsteg när en karaktär kommer in, regn som tilltar utanför ett fönster eller tyg som rör sig när en kappa tas på. Bakgrundsmusik genereras som standard för att matcha prompten. Ange stämning, stil och rytm när de är viktiga och ange när musiken ska börja eller tonas ut i förhållande till scenen.

Begär återhållsam musik för en stillsam demonstration och betona ljuden från produkthanteringen. Beskriv det handlingsmoment som ska sammanfalla med musikens rytm för en animerad scen. Det genererade ljudspåret är mono. Den dokumenterade ljudkontrollen tillåter också en tyst video när projektet behöver ett separat förberett ljudspår.

Tagningsövergångar och kameraregi

Modellen stöder tagningsbyten med konsekvent visuell behandling, motbilder för samtal och instruktioner om övergångstiming. En användbar dialogsekvens kan etablera två talare i en halvbild, klippa till talaren som svarar och återvända till den första talarens reaktion. Ange varje persons identitet när tagningen ändras.

Guiden omfattar höga och låga vinklar samt vinklar i ögonhöjd; perspektiv över axeln och subjektiva perspektiv samt vida, medelvida och nära bildutsnitt. Beskriv en kamerarörelse genom startkomposition, riktning, omfattning och slutkomposition. En långsam dolly-in kan till exempel sluta på talarens ansiktsuttryck när en replik avslutas. Koppla rörelsen till berättelsen i stället för att lista flera kameratekniker utan syfte.

Lägen, utdata och förhandsvisning

Dokumenterade indatalägen är text-till-video, bild-till-video med första bildrutan och bild-till-video med första och sista bildrutan. En förberedd första bild fastställer startkompositionen; en slutbild kan definiera den avsedda slutpunkten. Utdataspecifikationerna listar MP4 vid 24 fps, 480p, 720p eller 1080p och längdinställningar på 4–12 sekunder. Modellen kan också välja en längd i hela sekunder inom sitt stödda intervall. De dokumenterade bildförhållandena är 21:9, 16:9, 4:3, 1:1, 3:4 och 9:16, med stöd för anpassningsbart bildutsnitt.

Tillverkaren dokumenterar ett Draft-arbetsflöde i två steg: en förhandsvisning i 480p för att granska scenstruktur, tagningsval, rörelse och promptens avsikt, följt av en slutgenerering som återanvänder de kreativa indata. Det är ett sätt att bedöma ett planerat framförande innan slutlig upplösning väljs. Själva förhandsvisningen är begränsad till 480p och stöder inte returnering av sista bildrutan. Producentens Draft-task-ID förblir giltigt i sju dagar efter skapandet; generera slutvideon från det inom detta fönster.

Förbered källbilden för avsett bildutsnitt vid bildstyrt arbete: ändrat utdataförhållande kan beskära bilden. Ett upprepat seed ger liknande bildrutor snarare än garanterat identiska, och en instruktion om fast kamera är ingen garanti för perfekt låsning. Bedöm framför allt ett dialogklipp som ett enda audiovisuellt framförande: rätt talare, hörbar replik, ansiktsreaktion och kamerabetoning måste alla stödja samma händelse.