ByteDance: Seedance 2.0

Seedance 2.0 ist das Standardmodell von ByteDance Seed für multimodale Audio-Video-Gestaltung. Es verbindet Text, Bilder, Videos und Audio in einer Architektur zur gemeinsamen Generierung mit separaten kreativen Workflows für referenzgestützte Szenen, Videobearbeitung und Videoerweiterung. Es ist nützlich, wenn das Briefing sowohl eine zusammenhängende Darbietung als auch bestimmte visuelle oder klangliche Informationen aus vorbereitetem Material verlangt.

Multimodale Referenz und Regiesteuerung

Bilder können das Aussehen des Motivs, den visuellen Stil und die Komposition definieren. Videoreferenzen können Handlung, Kamerabewegung und Effekte steuern. Audio kann Stimmtimbre, Musik oder Dialog steuern. Definieren Sie die Rolle jedes Materials und beschreiben Sie anschliessend die gewünschte Szene. Der Hersteller betont die Kontrolle über Darbietung, Beleuchtung, Schatten und Kamerasprache.

Bereiten Sie für eine Produktgeschichte ein Produktbild, eine Referenz für die Kamerabewegung und einen Audiohinweis vor. Ein Briefing könnte lauten: «Bewahre die blaue Glasvase aus Image 1. Verwende die langsame seitliche Kamerafahrt aus Video 1. Die Vase steht auf einem sonnigen Regal, mit leiser Instrumentalmusik auf Basis von Audio 1.» Die vorgesehene Ausgabe ist eine neu inszenierte Szene, die ausgewählte Referenzinformationen verbindet.

Referenzeingaben können Bild und Audio, Bild und Video, Video und Audio oder alle drei kombinieren. Reine Audioeingabe und Text plus Audio ohne Bild oder Video werden nicht unterstützt. Traditionelles Text-zu-Video, Generierung mit erstem Bild und Generierung mit erstem und letztem Bild sind ebenfalls dokumentiert. Verwenden Sie bei wichtigen festen Anfangs- und Abschlusskompositionen den dafür vorgesehenen Endpunktworkflow: Ein Referenzbild in einem Omni-Referenz-Prompt als Endpunkt zu benennen, ist lediglich indirekte Steuerung.

Filmmaterial bearbeiten

Das Modell kann ein Motiv ersetzen, Gegenstände hinzufügen oder entfernen, Elemente verändern und Teile eines Videos neu zeichnen oder reparieren. Beschreiben Sie die konkrete Änderung und benennen Sie das Quellmaterial. Geben Sie bei einer Ergänzung Erscheinungszeitpunkt und Position an; benennen Sie bei Entfernung oder Ersetzung das Objekt genau und die zu bewahrenden Elemente.

Zum Beispiel: «Ersetze die Schreibtischlampe in Video 1 durch die Messinglampe aus Image 1. Bewahre Kamerabewegung, Schreibtischanordnung und Lichtrichtung.» Das gewünschte Ergebnis ist eine bearbeitete Fassung der Szene mit dem vorgesehenen Austausch. Prüfen Sie die unveränderten Bereiche ebenso wie das neue Objekt, insbesondere bei Verdeckungen, Bewegung und Einstellungswechseln.

Eine Abfolge erweitern und verbinden

Seedance 2.0 kann ein Video vorwärts oder rückwärts erweitern und bis zu drei bereitgestellte Clips durch erzeugte Übergänge verbinden. Geben Sie die zeitliche Richtung und das neue Ereignis an. Ordnen Sie für eine Verbindung die Clips und beschreiben Sie den Übergang zwischen jedem Paar, etwa eine Kamera, die in einer Einstellung durch eine Tür geht und in der nächsten Umgebung ankommt.

Eine einfache Erweiterung liefert gewöhnlich die rund um das Quellmaterial entwickelte Fortsetzung; geben Sie eine klare Anweisung, wenn das Endergebnis auch das ursprüngliche Segment wiederholen soll. Beim Vervollständigen einer Verbindung zwischen zwei oder drei Clips kann der dokumentierte Workflow ursprüngliches Material und neue Übergangsinhalte enthalten. Das ist nützlich, um einen Anfang oder Abschluss zu entwickeln oder vorbereitete Szenen zu verbinden, ohne die verbindende Handlung offenzulassen.

Ausgabe der Standardversion und 4K

Die Standardversion dokumentiert MP4 mit 24 fps und Dauern von 4 bis 15 Sekunden. Die Ausgabestufen sind 480p, 720p und 1080p mit 8-Bit-Farbtiefe sowie 4K mit 10-Bit-Farbtiefe. Unterstützte Seitenverhältnisse sind 21:9, 16:9, 4:3, 1:1, 3:4 und 9:16. Adaptive Bildausschnitte und automatische Dauerauswahl sind ebenfalls dokumentiert. Die Fast-Version hat eine eigene engere Ausgabespezifikation von 480p/720p.

Die 4K-Ausgabe verwendet H.265/HEVC-Kodierung. Zehn-Bit-Kodierung bewahrt zusätzliche Tonwertabstufungen und weichere Farbübergänge, was bei Material mit feinen Licht- oder Farbverläufen wichtig ist. Prüfen Sie, ob die vorgesehene Wiedergabe- und Bearbeitungsumgebung dieses Format dekodieren kann; manche Browser und Geräte spielen es nicht direkt ab. Ein kompatibler Container gewährleistet für sich genommen keine kompatible Videodekodierung.

Das Modell kann synchronisierten Ton oder ein stummes Video erzeugen und das letzte generierte Bild für eine folgende Szene zurückgeben. Erzeugtes Audio ist mono. Die 2.0-Familie unterstützt den separaten zweistufigen Draft-Vorschaumodus nicht; diese Vorschaufunktion sollte deshalb nicht aus einer anderen Seedance-Modellversion abgeleitet werden.

Referenzvorbereitung und inhaltliche Grenzen

Die dokumentierte Referenzkapazität beträgt bis zu neun Bilder, drei Videos und drei Audioclips. Direkte Referenzbild- oder Videouploads mit echten menschlichen Gesichtern werden in diesem dokumentierten Herstellerprofil nicht akzeptiert; Porträtarbeit verwendet dessen unterstützten Workflow für Porträtmaterial. Jeder Video- und Audioclip muss 2–15 Sekunden lang sein. Alle Videoreferenzen zusammen müssen innerhalb von 15 Sekunden liegen; alle Audioreferenzen zusammen haben eine eigene Gesamtdauer von 15 Sekunden. Videodateien verwenden MP4 oder MOV mit 24–60 fps und bis zu 200 MB pro Datei; Audiodateien verwenden WAV oder MP3 mit bis zu 15 MB pro Datei. Die aufgeführten Bildformate sind JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC und HEIF. Bilder müssen jeweils kleiner als 30 MB sein, und der Request-Body darf 64 MB nicht überschreiten. Im dokumentierten Referenzeingabeprofil müssen Bildbreite und -höhe jeweils strikt zwischen 300 und 6’000 Pixeln liegen, mit einem Breiten-Höhen-Verhältnis strikt zwischen 0,4 und 2,5. Referenzvideos erlauben 300–6’000 Pixel in jeder Dimension und Seitenverhältnisse von 0,4–2,5 einschliesslich der Grenzen, mit insgesamt 407’696–8’295’044 Pixeln. MP4- oder MOV-Videos verwenden H.264/AVC- oder H.265/HEVC-Video und AAC- oder MP3-Audio.

Ordnen Sie die Dateien bewusst und verweisen Sie auf jede mit Medientyp und Nummer: Image 1, Video 1 und Audio 1. Die Nummer folgt der Reihenfolge innerhalb dieses Dateityps. Erklären Sie, welche Eigenschaften übernommen werden sollen und welche Quellinhalte die neue Szene nicht bestimmen sollen. Zu den dokumentierten Promptsprachen gehören Englisch, Spanisch, Indonesisch, Portugiesisch und Japanisch. Halten Sie die gesprochene Sprache innerhalb eines Dialogs konsistent; der Leitfaden rät mit Ausnahme von Eigennamen vom Mischen von Sprachen ab. Trennen Sie bei stimmgeführter Arbeit Sprecher, genaue Zeile und Sprechregie.

Bereiten Sie Anfangs- und Endbilder mit kompatiblen Bildausschnitten vor. Eine Abweichung zwischen Eingabebild und Ausgabeabmessungen kann einen Beschnitt oder abrupten visuellen Wechsel verursachen; übereinstimmende Abmessungen und adaptive Bildausschnitte sind dokumentierte Gegenmassnahmen. Konzentrieren Sie die Beschreibung auf das Ereignis und die Referenzrollen. Der Hersteller warnt, dass lange Prompts Informationen zerstreuen können, wodurch Details ignoriert werden. Prüfen Sie entstehende Bewegung, Referenzkontinuität, Audiodarbietung und Szenenübergänge als getrennte Teile des kreativen Ergebnisses.

Einstellungsplanung und Textregie

Gliedern Sie für eine komplexe Szene das Briefing als Shot 1, Shot 2 und Shot 3 und geben Sie Kamera, Motivhandlung, Position und Ton in Reihenfolge an. Der Leitfaden empfiehlt eine Kamerabewegung pro Einstellung und Vorrang für langsame, zusammenhängende Handlungen. Genaue Zeitstempel je Einstellung sind instabil; eine Ereignisfolge ist deshalb eine bessere Steuerung, als mehrere exakte Zeitfenster zu erzwingen.

Das Modell erzeugt ausserdem gängige Texte wie Slogans, Untertitel und Sprechblasen. Sie können Farbe, visuelle Gestaltung, Platzierung und Einblendung des Textes steuern. Verwenden Sie gängige Zeichen statt seltener Zeichen oder Sonderzeichen und prüfen Sie den Wortlaut in Bewegung. Ordnen Sie bei Motivreferenzen jede Datei eindeutig der vorgesehenen Figur oder dem Objekt zu. Produktansichten können unterschiedliche visuelle Informationen liefern; Collagen mit mehreren Figurenansichten können die Gesichtsidentität verwirren. Eine separate klare Kopfaufnahme und ein Ganzkörperbild sind die dokumentierte Empfehlung für Figurenreferenzen.

Vor dem Schnitt zu prüfendes Verhalten

Der Leitfaden dokumentiert unerwünschte Untertitel, Logos, doppelte Figuren und Stilabweichungen. Sauberes Quellmaterial, konsistente Bezeichnungen und ausdrückliche Vorgaben reduzieren diese Risiken, garantieren aber nicht das Verschwinden unerwünschten Textes oder doppelter Figuren. Mehr als vier Referenzpersonen werden als Stabilitätsrisiko genannt, getrennt von der Zahl der Dateien, die das Modell akzeptiert.

Videoerweiterung kann am Übergang einen Sprung oder Rücksprung erzeugen; wiederholte Fortsetzungen können Bildqualitätsverluste verstärken. Prüfen Sie die Grenzbilder und begrenzen Sie gestapelte Erweiterungen. Eine Referenzstimme kann vom Quelltimbre abweichen; eine Sprecheraufnahme kann mit einem Klick oder abrupten Abbruch enden, wofür eine Audioblende als Gegenmassnahme dokumentiert ist. Chinesische Zeichen mit mehreren Lesungen, ungewöhnliche oder ähnlich aussehende Zeichen können falsch ausgesprochen werden. Für einen präzisen Animationseffekt wie einen Countdown ist eine Bewegungsreferenz informativer als eine rein verbale Aufforderung. Dies sind konkrete Gründe, bei der Clipauswahl Identität, Text, Bewegung und Ton getrennt zu prüfen.