ByteDance: Seedance 2.0 Mini

Seedance 2.0 Mini là một mô hình có tên riêng trong họ âm thanh–video Seedance 2.0 của ByteDance. Nhà sản xuất mô tả chuyển văn bản thành video, chuyển ảnh thành video với khung đầu hoặc khung đầu và cuối, tạo theo tham chiếu đa phương thức, chỉnh sửa và kéo dài video. Âm thanh có thể được tạo cùng hình ảnh. Chọn chế độ theo tư liệu đã có: bản mô tả viết, hình mở đầu cố định, hai khung biên hoặc đoạn video cần chỉnh sửa hay tiếp nối.

Mini có cấu hình đầu ra riêng. Nhà sản xuất liệt kê video 480p và 720p với màu 8-bit, 24 khung hình mỗi giây và đầu ra MP4. Các tỷ lệ khung hình được hỗ trợ là 21:9, 16:9, 4:3, 1:1, 3:4 và 9:16; thời lượng tạo được mô tả là 4–15 giây. Điều khiển thời lượng của nhà sản xuất còn cho phép tự động chọn trong phạm vi đó. Các lựa chọn 1080p và 4K của mô hình Seedance 2.0 đầy đủ là riêng biệt; chúng không phải thiết lập Mini. Bảng năng lực của họ mô hình liệt kê việc trả lại khung hình cuối được tạo, còn chế độ Draft không được hỗ trợ.

Tham chiếu omni tạo cảnh mới bằng thông tin đã chọn từ tư liệu cung cấp. Hình ảnh có thể xác định diện mạo chủ thể, bố cục hoặc cách thể hiện hình ảnh. Video có thể xác lập hành động, chuyển động máy quay hoặc hiệu ứng; tham chiếu âm thanh có thể xác lập âm sắc giọng, giai điệu hoặc lời nói. Nói rõ cần lấy gì từ mỗi tham chiếu thay vì yêu cầu sao chép mọi thuộc tính. Ví dụ, dùng ảnh sản phẩm cho hình dạng và màu sắc, đoạn chuyển động máy quay ngắn cho cách tiếp cận và tham chiếu âm thanh cho không khí.

Quy trình của họ mô hình cho phép đến chín ảnh tham chiếu, ba đoạn video và ba đoạn âm thanh. Mỗi video tham chiếu dài 2–15 giây, tổng không quá 15 giây; tham chiếu âm thanh dùng cùng giới hạn cho từng đoạn và tổng thời lượng. Chỉ âm thanh và văn bản cộng âm thanh không có tham chiếu hình ảnh không phải các tổ hợp được hỗ trợ. Tạo chỉ từ văn bản là chế độ được hỗ trợ riêng. Với một chuỗi, cung cấp tài sản theo thứ tự dự kiến và tham chiếu nhất quán bằng Image 1, Video 1 hoặc Audio 1, theo thứ tự trong từng loại phương tiện. Không thay tham chiếu có số trong lời nhắc viết bằng mã định danh tài sản.

Ảnh khung đầu xác định phần mở đầu của cú máy dựa trên ảnh. Chế độ khung đầu và cuối xác định cả hai biên. Nếu những ảnh biên chính xác đó quan trọng, chọn chế độ chuyên biệt thay vì mô tả tham chiếu là mở đầu và kết thúc trong lời nhắc omni. Cách sau là hiệu ứng được chỉ dẫn bằng lời nhắc, không tương đương lựa chọn khung biên nghiêm ngặt. Chuẩn bị ảnh cho bố cục đầu ra và nêu hành động nối tình huống bắt đầu với kết thúc.

Chỉnh sửa video thay đổi đoạn có sẵn thay vì chỉ dùng nó làm cảm hứng. Xác định video cần sửa, vật hoặc vùng cần đổi, thời điểm xuất hiện và vị trí, cùng chi tiết cần giữ. Một bản yêu cầu hữu ích là “Trong Video 1, thay chiếc cốc bằng vật đựng trong Image 1; giữ chuyển động tay, bố cục khung hình, ánh sáng và cách sắp xếp trên bàn.” Với việc xóa, nêu vật không mong muốn và các yếu tố xung quanh phải giữ lại. Nhà sản xuất khuyên tham chiếu trực tiếp video đích khi chỉnh sửa hoặc kéo dài; gọi nó là tham chiếu có thể lại truyền đạt yêu cầu tạo cảnh mới.

Kéo dài video bổ sung sự kiện trước hoặc sau đoạn có sẵn. Mô tả chiều tiếp nối và điều xảy ra tiếp theo hoặc trước đó. Quy trình được mô tả còn có thể nối hai hoặc ba đoạn bằng chuyển cảnh được tạo; cả ba video đầu vào vẫn phải nằm trong tổng tham chiếu 15 giây. Hướng dẫn phân biệt tiếp nối chủ yếu gồm phần cảnh ở biên của đoạn gốc với yêu cầu giữ rõ ràng nội dung gốc. Nêu thành phần kết quả mong muốn: chỉ phần tiếp nối, hoặc cảnh chứa đoạn được cung cấp cùng hành động mới.

Để chỉ đạo rõ ràng, tách mô tả cảnh ổn định khỏi chuỗi sự kiện. Xác định mỗi chủ thể bằng hai hoặc ba đặc điểm hình ảnh phân biệt và nhãn nhất quán. Sau đó mô tả hành động, bối cảnh, ánh sáng, chuyển động máy quay, phong cách hình ảnh và ràng buộc. Trong hội thoại, gắn từng câu với người nói và hành động liên quan. Dùng nhãn cú máy có thứ tự thay vì coi mốc thời gian chính xác là điều khiển đáng tin: nhà sản xuất lưu ý thời điểm chính xác có thể không ổn định. Bản mô tả sản phẩm được dàn dựng có thể là: “Image 1 xác định Product A. Shot 1: từ từ tiến tới Product A trên quầy. Shot 2: một bàn tay xoay sản phẩm về phía ánh sáng. Shot 3: dừng ở nhãn phía trước. Âm nền căn phòng nhẹ; giữ chữ in.”

Chuẩn bị tham chiếu theo quy tắc đầu vào của họ mô hình được mô tả. Các định dạng ảnh được hỗ trợ gồm JPEG, PNG, WebP, BMP, TIFF, GIF, HEIC và HEIF; mỗi ảnh nhỏ hơn 30 MB. Hướng dẫn quy định chiều rộng và cao của ảnh đều lớn hơn 300 và nhỏ hơn 6,000 pixel, tỷ lệ khung hình lớn hơn 0.4 và nhỏ hơn 2.5. Video tham chiếu dùng MP4 hoặc MOV với video H.264 hoặc H.265 và âm thanh AAC hoặc MP3, mỗi tệp tối đa 200 MB và có 24–60 khung hình mỗi giây. Chiều rộng và cao là 300–6,000 pixel, tỷ lệ 0.4–2.5 và tổng số pixel 407,696–8,295,044. Âm thanh tham chiếu dùng WAV hoặc MP3, tối đa 15 MB mỗi tệp. Đây là đặc tả chuẩn bị đầu vào của nhà sản xuất, tách biệt với điều khiển tải lên của ứng dụng cụ thể.

Quy trình chân dung của nhà sản xuất đòi hỏi chuẩn bị riêng cho ảnh hoặc video chứa khuôn mặt người thật: tải tham chiếu trực tiếp không phải quy trình tiêu chuẩn được hỗ trợ. Tài liệu mô tả đầu ra mô hình đáng tin, nhân vật số cài sẵn và quy trình tài sản người thật được cho phép là các giải pháp riêng. Khớp giọng, phát âm và âm thanh tại biên đoạn video cũng cần kiểm tra. Hướng dẫn lời nhắc khuyên mô tả đặc tính giọng mong muốn và giữ phong cách hội thoại gần tham chiếu âm thanh. Xem xét sản phẩm cuối về tính nhất quán chủ thể, lời nói chính xác, thời điểm hành động, chuyển khung và âm thanh kết thúc; tinh chỉnh yếu tố cụ thể khác với bản mô tả.