ByteDance: Seedance 2.0

Seedance 2.0 är ByteDance Seeds standardmodell för multimodalt ljud- och videoskapande. Den kombinerar text, bilder, video och ljud i en gemensam genereringsarkitektur, med separata kreativa arbetsflöden för referensstyrda scener, videoredigering och videoförlängning. Den är användbar när uppdraget behöver både ett sammanhängande framförande och specifik visuell eller ljudmässig information från förberett material.

Multimodal referens och regikontroll

Bilder kan definiera motivets utseende, visuell stil och komposition. Videoreferenser kan styra handling, kamerarörelse och effekter. Ljud kan styra röstklang, musik eller dialog. Definiera varje materials roll och beskriv sedan scenen som ska bli resultatet. Tillverkaren betonar kontroll över framförande, ljussättning, skuggor och kameraspråk.

Förbered en produktbild, en referens för kamerarörelsen och en ljudsignal för en produktberättelse. Ett uppdrag kan vara: ”Bevara den blå glasvasen från Image 1. Använd den långsamma sidledes åkningen från Video 1. Vasen står på en solbelyst hylla med mjuk instrumentalmusik baserad på Audio 1.” Avsedda utdata är en nyiscensatt scen som kombinerar utvald referensinformation.

Referensindata kan kombinera bild och ljud, bild och video, video och ljud eller alla tre. Enbart ljudindata och text plus ljud utan bild eller video stöds inte. Traditionell text-till-video, generering med första bildrutan och generering med första och sista bildrutan dokumenteras också. Använd det särskilda arbetsflödet för slutpunkter om fasta öppnings- och slutkompositioner är viktiga: att namnge en referensbild som slutpunkt i en omni-referensprompt är bara ett indirekt sätt att styra den.

Redigera material

Modellen kan ersätta ett motiv, lägga till eller ta bort objekt, ändra element och rita om eller reparera delar av en video. Beskriv den specifika förändringen och identifiera källmaterialet. Inkludera tidpunkten då objektet ska visas och dess position vid ett tillägg; ange objektet exakt vid borttagning eller ersättning och namnge vad som ska vara kvar.

Till exempel: ”Ersätt skrivbordslampan i Video 1 med mässingslampan i Image 1. Behåll kamerarörelsen, skrivbordsarrangemanget och ljusriktningen.” Det önskade resultatet är en redigerad version av scenen med den avsedda ersättningen. Granska oförändrade områden liksom det nya objektet, särskilt när objekt skyms, vid rörelse och vid byte av tagning.

Förläng och koppla ihop en sekvens

Seedance 2.0 kan förlänga en video framåt eller bakåt och koppla ihop upp till tre angivna klipp med genererade övergångar. Ange tidsriktning och den nya händelsen. Ordna klippen för en brygga och beskriv övergången mellan varje par, till exempel att kameran går in genom en dörröppning i en tagning och kommer fram i nästa miljö.

En enkel förlängning returnerar vanligtvis fortsättningen som utvecklats runt källmaterialet; inkludera en tydlig instruktion om slutresultatet också ska upprepa originalsegmentet. När en koppling mellan två eller tre klipp slutförs kan det dokumenterade arbetsflödet inkludera både originalmaterial och nytt övergångsinnehåll. Det är användbart för att utveckla en öppning eller ett avslut eller koppla ihop förberedda scener utan att lämna den förenande handlingen ospecificerad.

Standardversionens utdata och 4K

Standardversionen dokumenterar MP4 vid 24 fps och längder från 4 till 15 sekunder. Utdatanivåerna är 480p, 720p och 1080p med 8-bitars färgdjup samt 4K med 10-bitars färgdjup. Bildförhållandena som stöds är 21:9, 16:9, 4:3, 1:1, 3:4 och 9:16. Anpassningsbart bildutsnitt och automatiskt längdval dokumenteras också. Fast-versionen har en egen snävare utdataspecifikation för 480p/720p.

4K-utdata använder H.265/HEVC-kodning. Tiobitarskodning bevarar fler tonnyanser och jämnare färgövergångar, vilket är viktigt för material med subtila ljus- eller färggradienter. Kontrollera att avsedd uppspelnings- och redigeringsmiljö kan avkoda formatet; vissa webbläsare och enheter spelar inte upp det direkt. En kompatibel behållare garanterar inte i sig kompatibel videoavkodning.

Modellen kan generera synkroniserat ljud eller en tyst video, och den kan returnera den sista genererade bildrutan för en efterföljande scen. Genererat ljud är mono. Familjen 2.0 stöder inte det separata Draft-förhandsvisningsläget i två steg, så funktionen ska inte härledas från en annan Seedance-version.

Referensförberedelse och väsentliga begränsningar

Dokumenterad referenskapacitet är upp till nio bilder, tre videor och tre ljudklipp. Direktuppladdningar av referensbilder eller videor med verkliga mänskliga ansikten accepteras inte i den dokumenterade producentprofilen; porträttarbete använder dess stödda arbetsflöde för porträttresurser. Varje video- och ljudklipp måste vara 2–15 sekunder långt. Alla videoreferenser tillsammans måste rymmas inom 15 sekunder och alla ljudreferenser tillsammans har ett eget totalvärde på 15 sekunder. Videofiler använder MP4 eller MOV vid 24–60 fps, upp till 200 MB vardera; ljudfiler använder WAV eller MP3, upp till 15 MB vardera. De listade bildformaten är JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC och HEIF. Bilder måste vara mindre än 30 MB vardera och begärans meddelandekropp får inte överstiga 64 MB. I den dokumenterade referensindataprofilen måste bildbredd och höjd vardera vara strikt mellan 300 och 6 000 pixlar, med ett bredd-höjd-förhållande strikt mellan 0,4 och 2,5. Referensvideor tillåter 300–6 000 pixlar i varje dimension och förhållanden på 0,4–2,5 inklusive gränserna, med totalt 407 696–8 295 044 pixlar. MP4- eller MOV-videor använder H.264/AVC- eller H.265/HEVC-video och AAC- eller MP3-ljud.

Ordna filerna medvetet och hänvisa till varje fil med medietyp och nummer: Image 1, Video 1 och Audio 1. Numret följer ordningen mellan filer av samma typ. Förklara vilka egenskaper som ska överföras och vilket källinnehåll som inte ska definiera den nya scenen. Dokumenterade promptspråk omfattar engelska, spanska, indonesiska, portugisiska och japanska. Håll det talade språket konsekvent inom en dialog; guiden avråder från att blanda språk utom för egennamn. Skilj på talaren, den exakta repliken och framförandeanvisningen för röststyrt arbete.

Förbered första och sista bild med kompatibelt bildutsnitt. En avvikelse mellan indatabilden och utdatadimensionerna kan orsaka beskärning eller en abrupt visuell ändring; matchande dimensioner och anpassningsbart bildutsnitt är dokumenterade lösningar. Håll beskrivningen koncentrerad på händelsen och referensrollerna. Tillverkaren varnar för att långa promptar kan sprida information och göra att detaljer ignoreras. Granska resulterande rörelse, referenskontinuitet, ljudframförande och skarvar mellan scener som separata delar av det kreativa resultatet.

Tagningsplanering och textregi

Organisera uppdraget för en komplex scen som Shot 1, Shot 2 och Shot 3 och ange kamera, motivets handling, position och ljud i ordning. Guiden rekommenderar en kamerarörelse per tagning och prioritering av långsamma, sammanhängande handlingar. Exakta tidsstämplar per tagning är instabila, så ett händelseförlopp är bättre kontroll än att tvinga fram flera exakta tidsfönster.

Modellen genererar också vanlig text, inklusive slagord, undertexter och pratbubblor. Du kan styra textens färg, visuella behandling, plats och entré. Använd vanliga tecken i stället för sällsynta tecken eller specialsymboler och granska ordalydelsen under rörelsen. Koppla tydligt varje resurs till avsedd karaktär eller objekt för motivreferenser. Produktvinklar kan tillhandahålla olika visuell information; kollage med karaktären från flera vinklar kan förvirra ansiktsidentiteten. En separat tydlig porträttbild och helkroppsbild är den dokumenterade rekommendationen för karaktärsreferenser.

Beteenden att granska före en redigering

Guiden dokumenterar oönskade undertexter, logotyper, dubblerade karaktärer och stilglidning. Rent källmaterial, konsekventa etiketter och uttryckliga begränsningar minskar riskerna men garanterar inte att oönskad text eller dubbla figurer försvinner. Fler än fyra referenspersoner rapporteras som en stabilitetsrisk, skild från antalet filer modellen tar emot.

Videoförlängning kan skapa ett hopp eller en tillbakagång i skarven, och upprepade fortsättningar kan förstärka försämringen av bildkvaliteten. Granska gränsbildrutorna och begränsa staplade förlängningar. En refererad röst kan avvika från källans klang; berättarröst kan sluta med ett klick eller abrupt avbrott, där ljuduttoning är en dokumenterad lösning. Kinesiska polyfona, ovanliga eller likformiga tecken kan uttalas fel. För en exakt animerad effekt, till exempel en nedräkning, är en rörelsereferens mer informativ än enbart en verbal begäran. Det är konkreta skäl att kontrollera identitet, text, rörelse och ljud separat när klippet väljs.