ByteDance: Seedance 2.0

Seedance 2.0 is het standaardmodel van ByteDance Seed voor multimodale audio-videocreatie. Het combineert tekst, beelden, video's en audio in een architectuur voor gezamenlijke generatie, met afzonderlijke creatieve workflows voor referentiegestuurde scènes, videobewerking en videoverlenging. Het is nuttig wanneer de briefing zowel een samenhangende uitvoering als specifieke visuele of geluidsinformatie uit voorbereid materiaal vereist.

Multimodale referentie en regie

Beelden kunnen het uiterlijk van het onderwerp, de visuele stijl en de compositie bepalen. Videoreferenties kunnen actie, camerabeweging en effecten sturen. Audio kan stemtimbre, muziek of dialoog sturen. Definieer de rol van elk materiaal en beschrijf daarna de scène die eruit moet ontstaan. De fabrikant benadrukt controle over spel, belichting, schaduwen en camerataal.

Bereid voor een productverhaal een productbeeld, een referentie voor de camerabeweging en een audioaanwijzing voor. Een briefing kan luiden: “Behoud de blauwe glazen vaas uit Image 1. Gebruik de langzame zijwaartse trackingbeweging uit Video 1. De vaas staat op een zonovergoten plank, met zachte instrumentale muziek op basis van Audio 1.” De bedoelde uitvoer is een nieuw geënsceneerde scène die geselecteerde referentie-informatie combineert.

Referentie-invoer kan beeld en audio, beeld en video, video en audio of alle drie combineren. Invoer met uitsluitend audio en tekst plus audio zonder beeld of video worden niet ondersteund. Traditionele tekst-naar-video, generatie met een eerste frame en generatie met een eerste en laatste frame zijn eveneens gedocumenteerd. Gebruik de specifieke eindpuntworkflow wanneer vaste openings- en afsluitende composities belangrijk zijn: een referentiebeeld binnen een omni-referentieprompt als eindpunt benoemen is slechts een indirecte manier om het te sturen.

Beeldmateriaal bewerken

Het model kan een onderwerp vervangen, objecten toevoegen of verwijderen, elementen veranderen en delen van een video opnieuw tekenen of herstellen. Beschrijf de specifieke wijziging en identificeer het bronmateriaal. Vermeld bij een toevoeging het tijdstip waarop en de positie waar deze verschijnt; benoem bij verwijdering of vervanging het object precies en geef aan wat moet blijven.

Bijvoorbeeld: “Vervang de bureaulamp in Video 1 door de messing lamp uit Image 1. Behoud de camerabeweging, de opstelling op het bureau en de lichtrichting.” Het gewenste resultaat is een bewerkte versie van de scène met de bedoelde vervanging. Controleer zowel de ongewijzigde gebieden als het nieuwe object, vooral wanneer iets aan het zicht wordt onttrokken, tijdens beweging en bij shotwisselingen.

Een reeks verlengen en verbinden

Seedance 2.0 kan een video voorwaarts of achterwaarts verlengen en maximaal drie aangeleverde clips met gegenereerde overgangen verbinden. Specificeer de tijdsrichting en de nieuwe gebeurtenis. Orden voor een verbinding de clips en beschrijf de overgang tussen elk paar, zoals een camera die in het ene shot door een deuropening gaat en in de volgende omgeving aankomt.

Een eenvoudige verlenging geeft doorgaans de voortzetting terug die rond het bronmateriaal is ontwikkeld; voeg een duidelijke instructie toe als het uiteindelijke resultaat ook het oorspronkelijke segment moet herhalen. Bij het voltooien van een verbinding tussen twee of drie clips kan de gedocumenteerde workflow zowel oorspronkelijk materiaal als nieuwe overgangsinhoud bevatten. Dat is nuttig om een opening of einde uit te werken of voorbereide scènes te verbinden zonder de verbindende actie ongespecificeerd te laten.

Uitvoer van de standaardversie en 4K

De standaardversie beschrijft MP4 met 24 fps en een duur van 4 tot 15 seconden. De uitvoerniveaus zijn 480p, 720p en 1080p met 8-bits kleurdiepte, plus 4K met 10-bits kleurdiepte. De ondersteunde verhoudingen zijn 21:9, 16:9, 4:3, 1:1, 3:4 en 9:16. Adaptieve kadrering en automatische duurselectie zijn eveneens gedocumenteerd. De Fast-versie heeft een eigen, beperktere uitvoerspecificatie van 480p/720p.

De 4K-uitvoer gebruikt H.265/HEVC-codering. Tienbitscodering behoudt extra toongradaties en vloeiendere kleurovergangen, wat van belang is voor materiaal met subtiele licht- of kleurverlopen. Controleer of de bedoelde afspeel- en montageomgeving dat formaat kan decoderen; sommige browsers en apparaten spelen het niet rechtstreeks af. Een compatibele container garandeert op zichzelf geen compatibele videodecodering.

Het model kan gesynchroniseerd geluid of een stille video genereren en kan het laatste gegenereerde frame teruggeven voor een volgende scène. Gegenereerde audio is mono. De 2.0-familie ondersteunt niet de afzonderlijke Draft-previewmodus in twee fasen, dus die previewfunctie mag niet uit een andere Seedance-versie worden afgeleid.

Referentievoorbereiding en inhoudelijke grenzen

De gedocumenteerde referentiecapaciteit is maximaal negen beelden, drie video's en drie audioclips. Rechtstreeks geüploade referentiebeelden of video's met echte menselijke gezichten worden in dit gedocumenteerde profiel van de producent niet geaccepteerd; portretwerk gebruikt de ondersteunde workflow voor portretmateriaal. Elke video- en audioclip moet 2–15 seconden duren. Alle videoreferenties samen moeten binnen 15 seconden passen en alle audioreferenties samen hebben een eigen totaal van 15 seconden. Videobestanden gebruiken MP4 of MOV met 24–60 fps, tot 200 MB per bestand; audiobestanden gebruiken WAV of MP3, tot 15 MB per bestand. De vermelde beeldformaten zijn JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC en HEIF. Elk beeld moet kleiner zijn dan 30 MB en de request-body mag niet groter zijn dan 64 MB. In het gedocumenteerde profiel voor referentie-invoer moeten beeldbreedte en -hoogte elk strikt tussen 300 en 6.000 pixels liggen, met een breedte-hoogteverhouding strikt tussen 0.4 en 2.5. Referentievideo's staan 300–6.000 pixels in elke dimensie en verhoudingen van 0.4–2.5 toe, inclusief de grenswaarden, met in totaal 407.696–8.295.044 pixels. MP4- of MOV-video's gebruiken H.264/AVC- of H.265/HEVC-video en AAC- of MP3-audio.

Orden de bestanden doelbewust en verwijs naar elk bestand met mediatype en nummer: Image 1, Video 1 en Audio 1. Het nummer volgt de volgorde van de bestanden van dat type. Leg uit welke eigenschappen moeten worden overgedragen en welke broninhoud de nieuwe scène niet mag bepalen. Gedocumenteerde prompttalen omvatten Engels, Spaans, Indonesisch, Portugees en Japans. Houd de gesproken taal binnen een dialoog consistent; de gids raadt het mengen van talen af, behalve voor eigennamen. Scheid voor stemgestuurd werk de spreker, de exacte regel en de voordrachtaanwijzing.

Bereid eerste en laatste beelden met compatibele kadrering voor. Een afwijking tussen het invoerbeeld en de uitvoerafmetingen kan bijsnijden of een abrupte visuele verandering veroorzaken; overeenkomende afmetingen en adaptieve kadrering zijn gedocumenteerde oplossingen. Houd de beschrijving gericht op de gebeurtenis en de referentierollen. De fabrikant waarschuwt dat lange prompts informatie kunnen versnipperen, waardoor details worden genegeerd. Controleer de resulterende beweging, referentiecontinuïteit, audio-uitvoering en aansluitingen tussen scènes als afzonderlijke onderdelen van het creatieve resultaat.

Shotplanning en tekstregie

Structureer voor een complexe scène de briefing als Shot 1, Shot 2 en Shot 3 en specificeer camera, onderwerpactie, positie en geluid in volgorde. De gids beveelt één camerabeweging per shot aan en geeft de voorkeur aan langzame, samenhangende acties. Exacte tijdsaanduidingen per shot zijn instabiel, dus een reeks gebeurtenissen is een betere sturing dan het afdwingen van meerdere exacte tijdvensters.

Het model genereert ook gangbare tekst, waaronder slogans, ondertitels en tekstballonnen. U kunt kleur, visuele behandeling, plaats en verschijnen van de tekst sturen. Gebruik gangbare tekens in plaats van zeldzame tekens of speciale symbolen en controleer de formulering terwijl deze beweegt. Koppel bij onderwerpreferenties elk bestand duidelijk aan het bedoelde personage of object. Productaanzichten kunnen verschillende visuele informatie leveren; collages met personageaanzichten kunnen gezichtsidentiteit verwarren. Een afzonderlijk duidelijk hoofdportret en een beeld van het volledige lichaam vormen de gedocumenteerde aanbeveling voor personagereferenties.

Gedrag dat vóór een bewerking moet worden gecontroleerd

De gids beschrijft ongewenste ondertitels, logo's, dubbele personages en stijlverschuiving. Schoon bronmateriaal, consistente labels en expliciete beperkingen verminderen die risico's, maar garanderen niet dat ongewenste tekst of dubbele figuren verdwijnen. Meer dan vier referentiepersonen wordt genoemd als risico voor stabiliteit, los van het aantal bestanden dat het model accepteert.

Videoverlenging kan een sprong of terugsprong bij de aansluiting veroorzaken en herhaalde voortzettingen kunnen het verlies van beeldkwaliteit versterken. Controleer de grensframes en beperk gestapelde verlengingen. Een referentiestem kan afwijken van het brontimbre; vertelspraak kan met een klik of abrupte afbreking eindigen, waarvoor een audiofade een gedocumenteerde oplossing is. Chinese tekens met meerdere uitspraken, ongebruikelijke tekens of tekens met een vergelijkbare vorm kunnen verkeerd worden uitgesproken. Voor een precies geanimeerd effect, zoals aftellen, is een bewegingsreferentie informatiever dan alleen een verzoek in woorden. Dit zijn concrete redenen om identiteit, tekst, beweging en geluid afzonderlijk te controleren bij het selecteren van de clip.