ByteDance: Seedance 2.0

Seedance 2.0 ialah model standard ByteDance Seed untuk penciptaan audio-video multimodal. Ia menggabungkan teks, imej, video dan audio dalam seni bina penjanaan bersama, dengan aliran kerja kreatif berasingan untuk adegan berpandukan rujukan, penyuntingan video dan pemanjangan video. Ia berguna apabila taklimat memerlukan persembahan koheren serta maklumat visual atau bunyi tertentu daripada bahan yang disediakan.

Rujukan multimodal dan kawalan pengarahan

Imej boleh menentukan rupa subjek, gaya visual dan komposisi. Rujukan video boleh membimbing tindakan, gerak kamera dan kesan. Audio boleh membimbing timbre suara, muzik atau dialog. Tentukan peranan setiap bahan, kemudian terangkan adegan yang patut terhasil. Pengeluar menekankan kawalan persembahan, pencahayaan, bayang-bayang dan bahasa kamera.

Untuk cerita produk, sediakan gambar produk, rujukan gerak kamera dan petunjuk audio. Taklimat boleh berbunyi: “Kekalkan pasu kaca biru daripada Image 1. Gunakan gerakan penjejakan sisi perlahan daripada Video 1. Pasu berada di rak yang disinari matahari, dengan muzik instrumental lembut berasaskan Audio 1.” Output yang dimaksudkan ialah adegan yang dipentaskan semula dan menggabungkan maklumat rujukan terpilih.

Input rujukan boleh menggabungkan imej dengan audio, imej dengan video, video dengan audio atau ketiga-tiganya. Input audio sahaja dan teks bersama audio tanpa imej atau video tidak disokong. Teks-ke-video tradisional, penjanaan bingkai pertama dan penjanaan bingkai pertama serta terakhir turut didokumentasikan. Jika komposisi pembukaan dan penutup tetap penting, gunakan aliran kerja titik akhir khusus: menamakan imej rujukan sebagai titik akhir dalam prompt omni-reference hanyalah cara tidak langsung untuk membimbingnya.

Menyunting rakaman

Model boleh menggantikan subjek, menambah atau membuang objek, mengubah unsur serta melukis semula atau membaiki bahagian video. Terangkan perubahan khusus dan kenal pasti rakaman sumber. Untuk penambahan, sertakan masa kemunculan dan kedudukan; untuk pembuangan atau penggantian, nyatakan objek dengan tepat dan namakan perkara yang patut kekal.

Contohnya: “Gantikan lampu meja dalam Video 1 dengan lampu loyang dalam Image 1. Kekalkan gerak kamera, susunan meja dan arah pencahayaan.” Hasil yang dikehendaki ialah versi suntingan adegan dengan penggantian yang dimaksudkan. Periksa kawasan yang tidak berubah serta objek baharu, khususnya semasa terlindung, bergerak dan bertukar syot.

Memanjangkan dan menghubungkan urutan

Seedance 2.0 boleh memanjangkan video ke hadapan atau ke belakang, serta menghubungkan sehingga tiga klip yang dibekalkan dengan peralihan janaan. Nyatakan arah masa dan peristiwa baharu. Untuk penghubung, susun klip dan terangkan peralihan antara setiap pasangan, seperti kamera memasuki pintu dalam satu syot dan tiba di persekitaran seterusnya.

Pemanjangan mudah biasanya memulangkan sambungan yang dibangunkan di sekitar rakaman sumber; sertakan arahan jelas jika hasil akhir patut mengulang segmen asal juga. Apabila melengkapkan penghubungan antara dua atau tiga klip, aliran kerja yang didokumentasikan boleh merangkumi bahan asal serta kandungan peralihan baharu. Ini berguna untuk mengembangkan pembukaan atau penutup, atau menghubungkan adegan yang disediakan tanpa membiarkan tindakan penyambung tidak ditentukan.

Output edisi standard dan 4K

Edisi standard mendokumentasikan MP4 pada 24 fps dan tempoh daripada 4 hingga 15 saat. Tahap output ialah 480p, 720p dan 1080p dengan kedalaman warna 8-bit, serta 4K dengan kedalaman warna 10-bit. Nisbah yang disokong ialah 21:9, 16:9, 4:3, 1:1, 3:4 dan 9:16. Pembingkaian adaptif dan pemilihan tempoh automatik turut didokumentasikan. Edisi Fast mempunyai spesifikasi output 480p/720p sendiri yang lebih terhad.

Output 4K menggunakan pengekodan H.265/HEVC. Pengekodan sepuluh bit mengekalkan lebih banyak gradasi tona dan peralihan warna lebih licin, yang penting untuk bahan dengan gradien cahaya atau warna halus. Periksa bahawa persekitaran main balik dan penyuntingan sasaran boleh menyahkod format tersebut; sesetengah pelayar dan peranti tidak memainkannya secara terus. Bekas fail yang serasi tidak semestinya memastikan penyahkodan video yang serasi.

Model boleh menjana bunyi terselaras atau video senyap, dan boleh memulangkan bingkai terakhir yang dijana untuk adegan berikutnya. Audio janaan ialah mono. Keluarga 2.0 tidak menyokong mod pratonton Draft dua peringkat yang berasingan, jadi ciri pratonton itu tidak patut disimpulkan daripada edisi Seedance lain.

Persediaan rujukan dan batas penting

Kapasiti rujukan yang didokumentasikan ialah sehingga sembilan imej, tiga video dan tiga klip audio. Muat naik terus imej atau video rujukan yang mengandungi wajah manusia sebenar tidak diterima dalam profil pengeluar yang didokumentasikan ini; kerja potret menggunakan aliran kerja aset potret yang disokongnya. Setiap klip video dan audio mesti sepanjang 2–15 saat. Semua rujukan video bersama mesti muat dalam 15 saat, manakala semua rujukan audio bersama mempunyai jumlah 15 saatnya sendiri. Fail video menggunakan MP4 atau MOV pada 24–60 fps, sehingga 200 MB setiap satu; fail audio menggunakan WAV atau MP3, sehingga 15 MB setiap satu. Format imej yang disenaraikan ialah JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC dan HEIF. Setiap imej mesti lebih kecil daripada 30 MB, dan badan permintaan tidak boleh melebihi 64 MB. Dalam profil input rujukan yang didokumentasikan, lebar dan tinggi imej masing-masing mesti melebihi 300 dan kurang daripada 6,000 piksel, dengan nisbah lebar kepada tinggi melebihi 0.4 dan kurang daripada 2.5. Video rujukan membenarkan 300–6,000 piksel bagi setiap dimensi dan nisbah 0.4–2.5, termasuk nilai sempadan, dengan jumlah 407,696–8,295,044 piksel. Video MP4 atau MOV menggunakan video H.264/AVC atau H.265/HEVC dan audio AAC atau MP3.

Susun fail dengan sengaja dan rujuk setiap satunya melalui jenis media dan nombor: Image 1, Video 1 dan Audio 1. Nombor mengikut susunan antara fail daripada jenis itu. Jelaskan ciri yang perlu dipindahkan dan kandungan sumber yang tidak patut menentukan adegan baharu. Bahasa prompt yang didokumentasikan merangkumi bahasa Inggeris, Sepanyol, Indonesia, Portugis dan Jepun. Kekalkan bahasa pertuturan yang konsisten dalam dialog; panduan menasihatkan supaya tidak mencampurkan bahasa kecuali nama khas. Untuk kerja berpandukan suara, asingkan penutur, baris yang tepat dan arahan penyampaian.

Sediakan imej pertama dan terakhir dengan pembingkaian yang serasi. Ketidakpadanan antara gambar input dengan dimensi output boleh menyebabkan pemangkasan atau perubahan visual mendadak; dimensi sepadan dan pembingkaian adaptif ialah penyelesaian yang didokumentasikan. Tumpukan penerangan pada peristiwa dan peranan rujukan. Pengeluar memberi amaran bahawa prompt panjang boleh menyebarkan maklumat sehingga butiran diabaikan. Semak gerakan yang terhasil, kesinambungan rujukan, persembahan audio dan titik sambungan antara adegan sebagai bahagian berbeza hasil kreatif.

Perancangan syot dan pengarahan teks

Untuk adegan kompleks, susun taklimat sebagai Shot 1, Shot 2 dan Shot 3, dengan menetapkan kamera, tindakan subjek, kedudukan dan bunyi mengikut urutan. Panduan mengesyorkan satu gerak kamera bagi setiap syot dan mengutamakan tindakan perlahan yang bersambung. Cap masa tepat bagi setiap syot tidak stabil, maka urutan peristiwa ialah kawalan yang lebih baik daripada memaksa beberapa tetingkap masa tepat.

Model turut menjana teks lazim, termasuk slogan, sari kata dan gelembung pertuturan. Anda boleh mengarahkan warna, olahan visual, lokasi dan kemunculan teks. Gunakan aksara lazim, bukannya aksara jarang atau simbol khas, dan semak perkataannya semasa bergerak. Untuk rujukan subjek, kaitkan setiap aset dengan jelas kepada watak atau objek yang dimaksudkan. Sudut pandangan produk boleh membekalkan maklumat visual berbeza; kolaj watak dari pelbagai sudut boleh mengelirukan identiti wajah. Potret kepala jelas dan imej seluruh badan yang berasingan ialah cadangan rujukan watak yang didokumentasikan.

Tingkah laku untuk diperiksa sebelum suntingan

Panduan mendokumentasikan sari kata, logo, watak pendua dan penyimpangan gaya yang tidak dikehendaki. Bahan sumber bersih, label konsisten dan kekangan jelas mengurangkan risiko itu, tetapi tidak menjamin teks atau figura pendua yang tidak dikehendaki hilang. Lebih daripada empat orang rujukan dilaporkan sebagai risiko kestabilan, yang berbeza daripada bilangan fail yang diterima model.

Pemanjangan video boleh menghasilkan lompatan atau pengunduran pada titik sambungan, dan sambungan berulang boleh menggandakan kemerosotan kualiti imej. Periksa bingkai sempadan dan hadkan pemanjangan bertindan. Suara rujukan boleh berbeza daripada timbre sumber; narasi mungkin berakhir dengan bunyi klik atau terputus secara mendadak, yang boleh diatasi dengan pemudaran audio seperti didokumentasikan. Aksara Cina polifonik, jarang atau berbentuk serupa boleh disebut secara salah. Untuk kesan animasi tepat, seperti kira detik, rujukan gerakan lebih bermaklumat daripada permintaan lisan sahaja. Ini ialah sebab konkrit untuk memeriksa identiti, teks, gerakan dan bunyi secara berasingan apabila memilih klip.