ByteDance: Seedance 2.5

Seedance 2.5 là mô hình tạo kết hợp âm thanh và video của ByteDance Seed. Mô hình phát triển từ Seedance 2.0 với khả năng kể chuyện dài hơn, tham chiếu đa phương thức phong phú hơn và chỉnh sửa chính xác hơn. Một bản mô tả bằng văn bản có thể xác định cảnh, trong khi hình ảnh, video và âm thanh truyền đạt diện mạo, chuyển động, ngôn ngữ máy quay và âm thanh. Kết quả là cảnh quay có hình và tiếng cho ý tưởng phim, câu chuyện sản phẩm, video âm nhạc, tiền kỳ trực quan hoặc truyện ngắn.

Một cảnh hoàn chỉnh trong một lần tạo Nhà sản xuất nâng trần tạo trong một lần từ 15 giây trước đây lên đến 30 giây. Nhờ đó, bản mô tả có đủ chỗ cho mở đầu, phát triển và kết thúc, với nhiều cú máy liên kết hoặc một chuyển động máy quay liên tục. Ví dụ biểu diễn sân khấu của nhà sản xuất theo chân ca sĩ từ phòng thay đồ qua hành lang lên sân khấu, thay vì chỉ thể hiện lúc xuất hiện. Mô tả chuỗi hành động và đường đi của máy quay theo đúng thứ tự dự kiến. Với câu chuyện sản phẩm, lên kế hoạch hé lộ, trình diễn và bố cục kết thúc để mỗi nhịp đều bổ sung điều nhìn thấy được.

Tiếp nối cảnh quay có sẵn Seedance 2.5 có thể kéo dài đoạn video về phía sau hoặc phía trước theo thời gian, dùng nhân vật, môi trường, chuyển động và hướng máy quay đã xác lập làm dấu hiệu duy trì tính liên tục. Tiếp nối về sau mô tả điều xảy ra sau khoảnh khắc cuối; tiếp nối về trước mô tả phần dẫn vào đoạn mở đầu. Cung cấp cảnh quay có sẵn và giải thích hành động mới, thay đổi bối cảnh hoặc chuyển động máy quay. Xem xét cả mối nối và đoạn mới, gồm diện mạo chủ thể, âm thanh và hướng chuyển động. Bài ra mắt của nhà sản xuất đề cập kéo dài nhiều lần, trong khi trang mô hình mô tả hai bước kéo dài; số lần kéo dài dùng được thuộc quy trình cụ thể thay vì lời hứa phổ quát về video không giới hạn.

Tham chiếu hình ảnh, video và âm thanh Số lượng tham chiếu được công bố là đến 50 tài sản trong một lần tạo: 30 hình ảnh, 10 đoạn video và 10 đoạn âm thanh. Hình ảnh có thể xác lập nhân vật, sản phẩm, địa điểm, đạo cụ hoặc phong cách. Video có thể truyền đạt diễn xuất, nhịp và chuyển động máy quay. Âm thanh có thể cung cấp hội thoại, nhạc, không khí hoặc tiết tấu. Gán cho mỗi tài sản một vai trò rõ ràng: một tham chiếu cho chủ thể, một tham chiếu khác cho môi trường, video cho chuyển động máy quay và đoạn âm thanh cho thời điểm. Các tư liệu này hướng dẫn cách diễn giải; chúng không bảo đảm mọi chi tiết được tái hiện chính xác.

Hướng dẫn bằng bản dựng clay và dàn dựng diễn xuất Một cảnh 3D không có chất liệu có thể xác định bố cục không gian, tư thế, đường chuyển động và góc máy trước khi dựng diện mạo cuối cùng. Nhà sản xuất minh họa việc dùng cấu trúc bản dựng clay này cùng một hình ảnh riêng cho thiết kế nhân vật, chất liệu, màu sắc và không khí. Cách này hữu ích cho hoạt hình hoặc hình ảnh lắp ráp mà việc dàn cảnh quan trọng hơn tham chiếu phong cách chung chung. Nêu rõ nguồn nào điều khiển dàn dựng và nguồn nào điều khiển diện mạo. Mô hình còn dùng dấu hiệu không gian để hướng dẫn chiều ánh sáng, nhiệt độ màu, cường độ và vị trí bóng đổ.

Chỉnh sửa theo mốc thời gian và điều khiển máy quay Seedance 2.5 hỗ trợ nhắm một khoảng thời gian trong lúc tạo và sửa nhân vật, hành động hoặc yếu tố câu chuyện trong đoạn video có sẵn. Chỉnh sửa theo mốc thời gian có thể tác động cả âm thanh và hình ảnh; xác định khoảng thời gian và yếu tố cần sửa. Nhà sản xuất minh họa thay phông xanh, chỉnh sửa theo tham chiếu và đổi chuyển động máy quay trong khi giữ hành động và phong cách của cảnh. Bản yêu cầu chỉnh sửa nên xác định đoạn nguồn, khoảng thời gian, yếu tố cần thay đổi và tính liên tục cần giữ. Ví dụ, mô tả thay đổi ánh sáng hoặc hậu cảnh trong một đoạn thay vì yêu cầu thiết kế lại cả bộ phim. Sau chỉnh sửa, kiểm tra các khoảnh khắc trước và sau khoảng đó cùng nội dung đã sửa.

Đầu ra có hình và tiếng, sáng tạo đa ngôn ngữ Đặc tả sản phẩm của nhà sản xuất mô tả việc tạo 4–30 giây ở 480p, 720p hoặc 1080p, 24 FPS, với đầu ra MP4 hoặc MOV. Phần giới thiệu chính thức mô tả hỗ trợ trực tiếp hơn 10 ngôn ngữ và sáng tạo lấy hội thoại làm trung tâm. Đây là năng lực và lựa chọn định dạng của nhà sản xuất; chúng không xác định hợp đồng về tệp đầu vào, thời lượng hoặc định dạng đầu ra của Ailoot. Với nội dung dựa trên hội thoại, chỉ định lời nói dự kiến và quan hệ với hành động, rồi nhờ người thông thạo ngôn ngữ xem xét câu chữ và phát âm trước khi dùng phiên bản bản địa hóa.

Ứng dụng và giới hạn thực chất Mô hình hữu ích cho ý tưởng chiến dịch, trình diễn sản phẩm, truyện có nhân vật làm trung tâm và xem trước chân thực từ cảnh quay tham chiếu hoặc dàn dựng 3D đơn giản. Nhà sản xuất còn minh họa giải thích giáo dục và hình ảnh sản xuất hoặc lắp ráp. Cảnh hướng dẫn hoặc mô phỏng được tạo vẫn cần được đối chiếu với quy trình thực tế đang minh họa. Bản phát hành nêu rõ vật lý của chuyển động phức tạp và tương tác ổn định giữa nhiều chủ thể là những mặt cần cải thiện thêm. Kiểm tra tiếp xúc giữa tay và vật, tương tác nhóm, đường chuyển động, tính nhất quán nhân vật và thời điểm khớp âm thanh với hình ảnh trên toàn bộ đoạn video. Khung hình mở đầu tốt không xác lập rằng toàn bộ chuỗi tuân theo bản mô tả.