ByteDance: Seedance 2.0

Seedance 2.0 là mô hình tiêu chuẩn của ByteDance Seed cho sáng tạo âm thanh–video đa phương thức. Mô hình kết hợp văn bản, ảnh, video và âm thanh trong kiến trúc tạo chung, với các quy trình sáng tạo riêng cho cảnh dựa trên tham chiếu, chỉnh sửa và kéo dài video. Mô hình hữu ích khi yêu cầu cần cả diễn xuất mạch lạc lẫn thông tin hình ảnh hoặc âm thanh cụ thể từ tư liệu đã chuẩn bị.

Tham chiếu đa phương thức và điều khiển đạo diễn

Ảnh có thể xác định diện mạo chủ thể, phong cách hình ảnh và bố cục. Video tham chiếu có thể hướng dẫn hành động, chuyển động máy quay và hiệu ứng. Âm thanh có thể hướng dẫn âm sắc giọng, nhạc hoặc hội thoại. Xác định vai trò của từng tư liệu rồi mô tả cảnh cần thu được. Nhà sản xuất nhấn mạnh khả năng điều khiển diễn xuất, ánh sáng, bóng và ngôn ngữ máy quay.

Với câu chuyện sản phẩm, chuẩn bị ảnh sản phẩm, tham chiếu chuyển động máy quay và chỉ dẫn âm thanh. Yêu cầu có thể là: “Giữ bình thủy tinh xanh trong Image 1. Dùng chuyển động máy quay ngang chậm của Video 1. Bình đặt trên kệ có nắng, với nhạc không lời nhẹ dựa trên Audio 1.” Đầu ra dự kiến là cảnh được dàn dựng mới kết hợp thông tin tham chiếu đã chọn.

Đầu vào tham chiếu có thể kết hợp ảnh và âm thanh, ảnh và video, video và âm thanh hoặc cả ba. Chỉ âm thanh và văn bản cộng âm thanh mà không có ảnh hay video không được hỗ trợ. Chuyển văn bản thành video truyền thống, tạo từ khung đầu và tạo từ khung đầu–cuối cũng được mô tả. Nếu bố cục mở đầu và kết thúc cố định quan trọng, dùng quy trình biên chuyên biệt: gọi ảnh tham chiếu là điểm biên trong lời nhắc omni chỉ hướng dẫn gián tiếp.

Chỉnh sửa cảnh quay

Mô hình có thể thay chủ thể, thêm hoặc xóa vật, đổi yếu tố và vẽ lại hoặc sửa chữa các phần video. Mô tả thay đổi cụ thể và xác định cảnh nguồn. Với bổ sung, gồm thời điểm và vị trí xuất hiện; với xóa hoặc thay, nêu chính xác vật và nội dung cần giữ.

Ví dụ: “Thay đèn bàn trong Video 1 bằng đèn đồng thau trong Image 1. Giữ chuyển động máy quay, cách sắp xếp bàn và hướng ánh sáng.” Kết quả mong muốn là bản chỉnh sửa cảnh với sự thay thế dự kiến. Kiểm tra cả những vùng không thay đổi lẫn vật mới, đặc biệt qua che khuất, chuyển động và đổi cú máy.

Kéo dài và kết nối một chuỗi

Seedance 2.0 có thể kéo dài video về trước hoặc sau theo thời gian và nối đến ba đoạn được cung cấp bằng chuyển cảnh được tạo. Chỉ định hướng thời gian và sự kiện mới. Với đoạn nối, sắp xếp các đoạn và mô tả chuyển cảnh giữa từng cặp, chẳng hạn máy quay đi qua cửa trong một cú rồi đến môi trường tiếp theo.

Kéo dài đơn giản thường trả phần tiếp nối phát triển quanh cảnh nguồn; thêm chỉ dẫn rõ nếu kết quả cuối cũng cần lặp đoạn gốc. Khi hoàn tất kết nối giữa hai hoặc ba đoạn, quy trình được mô tả có thể gồm cả tư liệu gốc và nội dung chuyển cảnh mới. Cách này hữu ích để phát triển mở đầu hoặc kết thúc, hay nối các cảnh đã chuẩn bị mà không bỏ ngỏ hành động nối.

Đầu ra phiên bản tiêu chuẩn và 4K

Phiên bản tiêu chuẩn mô tả MP4 ở 24 fps và thời lượng từ 4 đến 15 giây. Các mức đầu ra là 480p, 720p và 1080p với độ sâu màu 8-bit, cùng 4K với độ sâu màu 10-bit. Các tỷ lệ hỗ trợ là 21:9, 16:9, 4:3, 1:1, 3:4 và 9:16. Điều chỉnh bố cục thích ứng và tự động chọn thời lượng cũng được mô tả. Phiên bản Fast có đặc tả đầu ra hẹp hơn riêng ở 480p/720p.

Đầu ra 4K dùng mã hóa H.265/HEVC. Mã hóa mười bit giữ thêm các cấp độ sắc và chuyển màu mượt hơn, hữu ích cho tư liệu có ánh sáng tinh tế hoặc chuyển sắc màu. Kiểm tra môi trường phát và biên tập dự kiến có thể giải mã định dạng đó; một số trình duyệt và thiết bị không phát trực tiếp. Định dạng chứa tương thích tự nó không bảo đảm giải mã video tương thích.

Mô hình có thể tạo âm thanh đồng bộ hoặc video im lặng, và có thể trả khung cuối đã tạo cho cảnh tiếp theo. Âm thanh được tạo là đơn âm. Họ 2.0 không hỗ trợ chế độ xem trước Draft hai giai đoạn riêng, vì vậy không suy ra tính năng xem trước đó từ phiên bản Seedance khác.

Chuẩn bị tham chiếu và giới hạn thực chất

Sức chứa tham chiếu được mô tả là đến chín ảnh, ba video và ba đoạn âm thanh. Tải trực tiếp ảnh hoặc video tham chiếu chứa khuôn mặt người thật không được chấp nhận trong cấu hình nhà sản xuất này; nội dung chân dung dùng quy trình tài sản chân dung được hỗ trợ. Mỗi video và đoạn âm thanh phải dài 2–15 giây. Tất cả video tham chiếu phải nằm trong 15 giây, và tất cả âm thanh tham chiếu có tổng riêng 15 giây. Video dùng MP4 hoặc MOV ở 24–60 fps, tối đa 200 MB mỗi tệp; âm thanh dùng WAV hoặc MP3, tối đa 15 MB mỗi tệp. Các định dạng ảnh liệt kê là JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC và HEIF. Mỗi ảnh phải nhỏ hơn 30 MB và thân yêu cầu không vượt 64 MB. Trong cấu hình đầu vào tham chiếu được mô tả, chiều rộng và cao ảnh đều phải lớn hơn 300, nhỏ hơn 6,000 pixel, với tỷ lệ rộng/cao lớn hơn 0.4, nhỏ hơn 2.5. Video tham chiếu cho phép 300–6,000 pixel mỗi chiều và tỷ lệ 0.4–2.5, tính cả biên, với tổng 407,696–8,295,044 pixel. Video MP4 hoặc MOV dùng video H.264/AVC hoặc H.265/HEVC và âm thanh AAC hoặc MP3.

Sắp xếp tệp có chủ đích và tham chiếu từng tệp bằng loại phương tiện và số: Image 1, Video 1 và Audio 1. Số theo thứ tự trong các tệp cùng loại. Giải thích đặc tính cần chuyển và nội dung nguồn không nên quyết định cảnh mới. Ngôn ngữ lời nhắc được mô tả gồm tiếng Anh, Tây Ban Nha, Indonesia, Bồ Đào Nha và Nhật. Giữ ngôn ngữ nói nhất quán trong hội thoại; hướng dẫn khuyên không trộn ngôn ngữ trừ tên riêng. Với nội dung hướng dẫn bằng giọng, tách người nói, câu chính xác và chỉ dẫn cách thể hiện.

Chuẩn bị ảnh đầu và cuối có bố cục tương thích. Không khớp giữa ảnh đầu vào và kích thước đầu ra có thể gây cắt ảnh hoặc thay đổi hình ảnh đột ngột; khớp kích thước và bố cục thích ứng là biện pháp được mô tả. Tập trung mô tả vào sự kiện và vai trò tham chiếu. Nhà sản xuất cảnh báo lời nhắc dài có thể làm thông tin phân tán khiến chi tiết bị bỏ qua. Xem xét chuyển động, tính liên tục tham chiếu, diễn xuất âm thanh và mối nối giữa cảnh là các phần riêng của kết quả sáng tạo.

Lên kế hoạch cú máy và chỉ dẫn văn bản

Với cảnh phức tạp, tổ chức yêu cầu thành Shot 1, Shot 2 và Shot 3, chỉ định máy quay, hành động chủ thể, vị trí và âm thanh theo thứ tự. Hướng dẫn khuyến nghị một chuyển động máy quay mỗi cú và ưu tiên hành động chậm, liên kết. Mốc thời gian chính xác theo từng cú không ổn định, vì vậy chuỗi sự kiện là cách điều khiển tốt hơn ép nhiều cửa sổ thời gian chính xác.

Mô hình còn tạo văn bản thông dụng, gồm khẩu hiệu, phụ đề và bong bóng lời thoại. Có thể chỉ đạo màu, cách thể hiện, vị trí và cách xuất hiện của chữ. Dùng ký tự thông dụng thay vì ký tự hiếm hoặc ký hiệu đặc biệt và xem xét câu chữ khi chuyển động. Với tham chiếu chủ thể, gắn rõ từng tài sản với nhân vật hoặc vật dự kiến. Các góc nhìn sản phẩm có thể cung cấp thông tin hình ảnh khác nhau; ảnh ghép xoay nhân vật có thể gây nhầm danh tính khuôn mặt. Ảnh chân dung đầu rõ và ảnh toàn thân riêng là khuyến nghị tham chiếu nhân vật được mô tả.

Hành vi cần kiểm tra trước khi biên tập

Hướng dẫn mô tả phụ đề, logo ngoài ý muốn, nhân vật trùng lặp và phong cách trôi lệch. Tư liệu nguồn sạch, nhãn nhất quán và ràng buộc tường minh giảm các rủi ro đó nhưng không bảo đảm chữ ngoài ý muốn hoặc hình người trùng biến mất. Hơn bốn người tham chiếu được báo cáo là rủi ro ổn định, khác với số tệp mô hình chấp nhận.

Kéo dài video có thể tạo bước nhảy hoặc lùi lại ở mối nối, và tiếp nối lặp lại có thể cộng dồn suy giảm chất lượng hình ảnh. Kiểm tra khung biên và hạn chế kéo dài chồng nhiều lần. Giọng tham chiếu có thể khác âm sắc nguồn; thuyết minh có thể kết thúc bằng click hoặc cắt đột ngột, với làm nhỏ dần âm thanh là biện pháp được mô tả. Chữ Hán đa âm, ít gặp hoặc có hình gần giống có thể được phát âm sai. Với hiệu ứng hoạt hình chính xác như đếm ngược, tham chiếu chuyển động cung cấp thông tin hơn yêu cầu bằng lời đơn thuần. Đây là lý do cụ thể để kiểm tra riêng danh tính, chữ, chuyển động và âm thanh khi chọn đoạn video.