ByteDance: Seedance 2.0

Seedance 2.0 adalah model standar ByteDance Seed untuk kreasi audio-video multimodal. Model ini menggabungkan teks, gambar, video, dan audio dalam arsitektur generasi bersama, dengan alur kerja kreatif terpisah untuk adegan berbasis referensi, penyuntingan video, serta perpanjangan video. Model ini berguna ketika arahan memerlukan penampilan yang koheren sekaligus informasi visual atau bunyi tertentu dari materi yang disiapkan.

Referensi multimodal dan kendali penyutradaraan

Gambar dapat menentukan penampilan subjek, gaya visual, dan komposisi. Referensi video dapat memandu tindakan, gerak kamera, dan efek. Audio dapat memandu timbre suara, musik, atau dialog. Tentukan peran setiap materi, lalu jelaskan adegan yang harus dihasilkan. Produsen menekankan kendali atas penampilan, pencahayaan, bayangan, dan bahasa kamera.

Untuk cerita produk, siapkan gambar produk, referensi gerak kamera, dan isyarat audio. Contoh arahan: “Pertahankan vas kaca biru dari Image 1. Gunakan gerak tracking menyamping yang lambat dari Video 1. Vas berada di rak yang diterangi matahari, dengan musik instrumental lembut berdasarkan Audio 1.” Keluaran yang dimaksud adalah adegan dengan penataan baru yang menggabungkan informasi referensi terpilih.

Masukan referensi dapat menggabungkan gambar dan audio, gambar dan video, video dan audio, atau ketiganya. Masukan hanya audio dan teks ditambah audio tanpa gambar atau video tidak didukung. Teks ke video tradisional, generasi bingkai pertama, dan generasi bingkai pertama serta terakhir juga didokumentasikan. Jika komposisi pembuka dan penutup tetap penting, gunakan alur kerja titik akhir khusus: menyebut gambar referensi sebagai titik akhir dalam prompt omni-reference hanya cara tidak langsung untuk memandunya.

Menyunting rekaman

Model dapat mengganti subjek, menambahkan atau menghapus objek, mengubah unsur, serta menggambar ulang atau memperbaiki bagian video. Jelaskan perubahan tertentu dan identifikasi rekaman sumber. Untuk penambahan, sertakan waktu kemunculan dan posisi; untuk penghapusan atau penggantian, nyatakan objek secara tepat dan sebutkan apa yang harus tetap ada.

Contohnya: “Ganti lampu meja dalam Video 1 dengan lampu kuningan dalam Image 1. Pertahankan gerak kamera, susunan meja, dan arah pencahayaan.” Hasil yang diinginkan adalah versi adegan yang disunting dengan penggantian tersebut. Periksa area yang tidak berubah maupun objek baru, terutama ketika tertutup objek lain, bergerak, dan melewati perubahan shot.

Memperpanjang dan menghubungkan urutan

Seedance 2.0 dapat memperpanjang video ke depan atau belakang dan menghubungkan hingga tiga klip yang diberikan melalui transisi hasil generasi. Tentukan arah waktu dan peristiwa baru. Untuk penghubung, urutkan klip dan jelaskan transisi antara setiap pasangan, seperti kamera memasuki pintu dalam satu shot lalu tiba di lingkungan berikutnya.

Perpanjangan sederhana biasanya mengembalikan kelanjutan yang dikembangkan di sekitar rekaman sumber; sertakan instruksi jelas jika hasil akhir juga harus mengulangi segmen asli. Ketika menyelesaikan penghubungan dua atau tiga klip, alur kerja yang didokumentasikan dapat mencakup materi asli maupun konten transisi baru. Ini berguna untuk mengembangkan pembukaan atau penutup, atau menghubungkan adegan yang disiapkan tanpa membiarkan tindakan penyambung tidak terjelaskan.

Keluaran edisi standar dan 4K

Edisi standar mendokumentasikan MP4 pada 24 fps dan durasi dari 4 hingga 15 detik. Tingkat keluaran adalah 480p, 720p, dan 1080p dengan kedalaman warna 8-bit, ditambah 4K dengan kedalaman warna 10-bit. Rasio yang didukung adalah 21:9, 16:9, 4:3, 1:1, 3:4, dan 9:16. Pembingkaian adaptif dan pemilihan durasi otomatis juga didokumentasikan. Edisi Fast memiliki spesifikasi keluaran 480p/720p tersendiri yang lebih sempit.

Keluaran 4K menggunakan pengodean H.265/HEVC. Pengodean sepuluh bit mempertahankan gradasi tonal tambahan dan transisi warna lebih halus, yang penting untuk materi dengan gradasi cahaya atau warna lembut. Periksa bahwa lingkungan pemutaran serta penyuntingan yang dituju dapat mendekode format itu; beberapa peramban dan perangkat tidak dapat memutarnya langsung. Kontainer yang kompatibel tidak dengan sendirinya menjamin dekode video yang kompatibel.

Model dapat menghasilkan bunyi tersinkron atau video senyap dan dapat mengembalikan bingkai terakhir yang dihasilkan untuk adegan berikutnya. Audio hasil generasi bersifat mono. Keluarga 2.0 tidak mendukung mode pratinjau Draft dua tahap yang terpisah, sehingga fitur pratinjau tersebut tidak boleh disimpulkan dari edisi Seedance lain.

Persiapan referensi dan batas substantif

Kapasitas referensi yang didokumentasikan adalah hingga sembilan gambar, tiga video, dan tiga klip audio. Unggahan langsung gambar atau video referensi yang memuat wajah manusia nyata tidak diterima dalam profil produsen yang didokumentasikan ini; pekerjaan potret menggunakan alur kerja aset potret yang didukung. Setiap klip video dan audio harus berdurasi 2–15 detik. Seluruh referensi video bersama harus sesuai dalam 15 detik, dan seluruh referensi audio bersama memiliki total 15 detik tersendiri. Berkas video menggunakan MP4 atau MOV pada 24–60 fps, masing-masing hingga 200 MB; berkas audio menggunakan WAV atau MP3, masing-masing hingga 15 MB. Format gambar yang tercantum adalah JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC, dan HEIF. Setiap gambar harus lebih kecil dari 30 MB, dan badan permintaan tidak boleh melebihi 64 MB. Dalam profil masukan referensi yang didokumentasikan, lebar dan tinggi gambar masing-masing harus secara ketat di antara 300 dan 6.000 piksel, dengan rasio lebar terhadap tinggi secara ketat di antara 0,4 dan 2,5. Video referensi mengizinkan 300–6.000 piksel pada setiap dimensi dan rasio 0,4–2,5, termasuk kedua batas, dengan total 407.696–8.295.044 piksel. Video MP4 atau MOV menggunakan video H.264/AVC atau H.265/HEVC dan audio AAC atau MP3.

Urutkan berkas secara sengaja dan rujuk setiap berkas menurut jenis media serta nomornya: Image 1, Video 1, dan Audio 1. Nomor mengikuti urutan di antara berkas sejenis. Jelaskan sifat yang ditransfer dan konten sumber yang tidak boleh menentukan adegan baru. Bahasa prompt yang didokumentasikan mencakup Inggris, Spanyol, Indonesia, Portugis, dan Jepang. Pertahankan konsistensi bahasa lisan dalam dialog; panduan menyarankan menghindari pencampuran bahasa kecuali nama diri. Untuk karya dengan panduan suara, pisahkan penutur, kalimat persis, dan arahan penyampaian.

Siapkan gambar pertama dan terakhir dengan pembingkaian yang kompatibel. Ketidakcocokan gambar masukan dengan dimensi keluaran dapat menyebabkan pemangkasan atau perubahan visual mendadak; dimensi yang cocok dan pembingkaian adaptif merupakan solusi yang didokumentasikan. Fokuskan deskripsi pada peristiwa dan peran referensi. Produsen memperingatkan bahwa prompt panjang dapat menyebarkan informasi sehingga detail diabaikan. Tinjau gerak hasilnya, kesinambungan referensi, penampilan audio, dan sambungan antaradegan sebagai bagian berbeda dari hasil kreatif.

Perencanaan shot dan arahan teks

Untuk adegan kompleks, susun arahan sebagai Shot 1, Shot 2, dan Shot 3, dengan menentukan kamera, tindakan subjek, posisi, serta bunyi secara berurutan. Panduan menyarankan satu gerak kamera per shot dan mengutamakan tindakan lambat yang terhubung. Penanda waktu presisi per shot tidak stabil, sehingga urutan peristiwa merupakan kendali yang lebih baik daripada memaksakan beberapa jendela waktu tepat.

Model juga menghasilkan teks umum, termasuk slogan, subtitel, dan balon percakapan. Anda dapat mengarahkan warna teks, perlakuan visual, lokasi, serta kemunculannya. Gunakan karakter umum alih-alih karakter langka atau simbol khusus, dan tinjau susunan kata saat bergerak. Untuk referensi subjek, kaitkan setiap aset secara jelas dengan karakter atau objek yang dimaksud. Sudut pandang produk dapat memberikan informasi visual berbeda; kolase berbagai sudut karakter dapat membingungkan identitas wajah. Foto kepala yang jelas dan gambar seluruh tubuh terpisah merupakan rekomendasi referensi karakter yang didokumentasikan.

Perilaku yang perlu diperiksa sebelum penyuntingan

Panduan mendokumentasikan subtitel, logo, karakter duplikat, dan penyimpangan gaya yang tidak diinginkan. Materi sumber bersih, label konsisten, dan batasan eksplisit mengurangi risiko tersebut, tetapi tidak menjamin teks yang tidak diinginkan atau figur duplikat akan hilang. Lebih dari empat orang referensi dilaporkan sebagai risiko kestabilan, terpisah dari jumlah berkas yang diterima model.

Perpanjangan video dapat menghasilkan lompatan atau gerak mundur pada sambungan, dan kelanjutan berulang dapat memperparah penurunan kualitas gambar. Periksa bingkai batas dan batasi perpanjangan bertumpuk. Suara referensi dapat berbeda dari timbre sumber; narasi dapat berakhir dengan klik atau pemotongan mendadak, dengan fade audio sebagai solusi yang didokumentasikan. Karakter Tionghoa berpelafalan ganda, tidak umum, atau berbentuk mirip dapat dilafalkan keliru. Untuk efek animasi presisi, seperti hitung mundur, referensi gerak lebih informatif daripada deskripsi dengan kata-kata saja. Ini merupakan alasan konkret untuk memeriksa identitas, teks, gerak, dan bunyi secara terpisah ketika memilih klip.