ByteDance Seed: Seed Audio 1.0

ByteDance Seed Audio 1.0 là mô hình tạo âm thanh tổ chức quanh cảnh âm thanh. Lời nói, hiệu ứng và không khí nền có thể cùng được định hình qua bản yêu cầu văn bản. Điều này hữu ích cho truyện có giọng, cuộc chạm trán trong trò chơi, trao đổi kịch ngắn hoặc cảnh đi kèm video đã dựng. Với công việc chỉ giọng, mô tả người nói và cách diễn; với cảnh đầy đủ hơn, còn mô tả môi trường âm học và quan hệ giữa hội thoại với âm thanh xung quanh.

Chuẩn bị bản yêu cầu theo thứ tự người nghe cần trải nghiệm cảnh. Xác định nhân vật, trạng thái cảm xúc mong muốn và lời họ cần nói. Sau đó mô tả không gian, tín hiệu âm thanh quan trọng, cách khoảnh khắc phát triển. Bản yêu cầu sản xuất cần phân biệt hội thoại chính xác với mô tả cảnh để kiểm tra kết quả theo cả hai. Nêu yếu tố nào thiết yếu cho hiểu nội dung, yếu tố nào phải ở nền. Phòng yên, ga đông và sân mở cần thiết kế âm thanh khác nhau ngay cả khi câu nói giống hệt.

Ví dụ cụ thể là nhân vật trò chơi trấn an bạn đồng hành trong cảnh trú ngắn: giọng tiết chế nói “Chúng ta có thể đợi ở đây,” với nền mưa nhỏ và một tiếng bước chân tiến lại sau câu. Kiểm tra nghe hữu ích là lời còn rõ không, giọng có truyền trấn an không, tín hiệu đến tại điểm hợp lý trong cảnh không. Bản yêu cầu khác có thể đề nghị người dẫn rõ giọng giới thiệu sản phẩm, không có không khí xung quanh. Đây là cách minh họa để xác định ý định, không phải bản ghi âm thanh đã tạo hoặc cam kết về bản phối hoàn chỉnh.

Nhà phát triển ghi nhận điều khiển thời gian ở cấp lời nhắc cho hội thoại nhân vật theo khoảng 100 ms. Dùng điều khiển đó mô tả lúc câu cần vào trong chuỗi có kịch bản hoặc lên kế hoạch lời nói theo bản dựng hiện có. Giữ thời gian hội thoại riêng với vị trí hiệu ứng, không khí nền: bản phát hành xác định hội thoại nhân vật là trọng tâm điều khiển thời gian chính. Kiểm tra thời điểm bắt đầu, khoảng dừng, chồng lấn thực tế theo cảnh dự kiến. Khoảng thời gian mô tả độ mịn điều khiển của mô hình, không loại nhu cầu nghe phần diễn cuối.

Giọng có thể được xác định bằng mô tả văn bản, mẫu tham chiếu được cho phép hoặc cả hai. Nhà sản xuất trình bày đây là định hình giọng không cần huấn luyện mô hình riêng cho mỗi người nói. Mô tả đặc trưng giọng ổn định tách với cảm xúc câu hiện tại. Nhân vật lặp lại có thể cần mở đầu bình tĩnh, phản hồi gấp mà vẫn dễ nhận ra. Khi chuẩn bị thực tế, chọn tham chiếu rõ, giọng mong muốn dễ nghe, xác định điều cần chuyển sang phần diễn mới. Giữ tham chiếu và bản mô tả nhân vật nhất quán khi chuẩn bị cảnh liên quan.

Bản phát hành ghi nhận tạo âm thanh trên hơn 20 ngôn ngữ, gồm tiếng Trung, Anh, Nhật, Hàn, Tây Ban Nha, Indonesia, Đức, Pháp, Thái và Việt. Mô tả khả năng điều chỉnh giọng nhân vật dễ nhận ra theo nhịp, cách biểu đạt của ngôn ngữ khác nhau. Cung cấp hội thoại bằng ngôn ngữ cuối và kiểm tra tên, nhấn giọng, khoảng dừng, sắc thái cảm xúc với người nghe hiểu ngôn ngữ đó. Với bản đa ngôn ngữ, giữ vai nhân vật, ý định cảm xúc ổn định nhưng để mỗi kịch bản đủ chỗ diễn đạt tự nhiên. Chuẩn bị bản dịch như phần công việc kịch bản thay vì giả định bản yêu cầu cảnh âm thanh cung cấp mọi quyết định bản địa hóa.

Seed Audio 1.0 có thể tạo tối đa hai phút trong một lượt và hỗ trợ nối tiếp, theo công bố nhà phát triển. Truyện dài hưởng lợi từ ranh giới cảnh, bản mô tả nhân vật tái sử dụng. Ở mỗi lần nối, nghe thay đổi giọng, chất nền, nhịp và những từ nối các phần. Xem âm thanh trả về là tài nguyên để nghe: kiểm tra thông tin tệp thực tế khi chuẩn bị phát hoặc nhập vào trình biên tập, giữ kịch bản và yêu cầu cảnh bên cạnh để sửa. Sản phẩm ghép cần kiểm tra như cảnh liên tục, không chỉ các clip riêng.

Nhà sản xuất mô tả khung thống nhất, trong đó ý định sáng tạo ở cấp ngôn ngữ hướng bộ tạo âm học dựa trên khuếch tán. Ý nghĩa thực tế cho bản yêu cầu là có thể xem xét giọng và môi trường cùng nhau. Tập trung vài quan hệ định hình cảnh: câu nói có ở tiền cảnh không, hiệu ứng có ngắt nó không và bầu không khí hỗ trợ khoảnh khắc cảm xúc thế nào. Thêm nhiều tín hiệu không liên quan khiến khó xác định phần kết quả cần sửa. Đổi chỉ đạo cho đoạn ấy khi tín hiệu cạnh tranh với hội thoại hoặc cách diễn thiếu sắc thái mong muốn.

Tính liên tục của giọng trong tư liệu dài, phức tạp và thời gian tinh hơn giữa yếu tố âm thanh vẫn là lĩnh vực phát triển được bản phát hành xác định. Giữ kiểm tra sản xuất cụ thể: lời chính xác, danh tính người nói, ngôn ngữ, điểm vào, độ dễ hiểu và nhất quán qua các lần mở rộng. Đầu ra hữu ích là cảnh nghe được hoặc phần trình diễn lời nói. Quyết định riêng về cắt dựng, phụ đề và định dạng bàn giao có thể dựa trên kết quả thực tế đó cùng yêu cầu nơi sản xuất đích.