Microsoft AI: MAI-Voice-2.1

MAI-Voice-2.1 là mô hình chuyển văn bản thành giọng nói theo prompt của Microsoft AI cho công việc coi trọng cách thể hiện giàu biểu cảm và độ trung thực của âm thanh. Thẻ mô hình bao quát hai mươi ba ngôn ngữ và hai mươi sáu biến thể địa phương, với ngữ điệu, nhịp điệu và sắc thái cảm xúc tự nhiên. Nhà sản xuất xác định sách nói, lời dẫn truyền thông, sáng tạo nội dung và thuyết minh là các ứng dụng chính. Phiên bản này nhấn mạnh nội dung dài giàu biểu cảm; MAI-Voice-2.1-Flash là lựa chọn riêng được thiết kế cho tương tác nhạy với độ trễ.

Lời dẫn với người nói nhất quán

Thẻ mô hình công bố khả năng thể hiện nhất quán một danh tính giọng qua các ngôn ngữ được hỗ trợ. Việc tạo nội dung dài dùng chia đoạn và chuyển tiếp ngữ cảnh để tăng tính liên tục giữa các đoạn. Điều này hữu ích cho bài học, chương sách nói hoặc chuỗi phần thuyết minh liên quan cần giữ đặc trưng người dẫn. Soạn các đoạn mạch lạc với ranh giới rõ ràng và giữ cùng lựa chọn người nói suốt tác phẩm.

Đầu vào là văn bản lời nói cuối cùng, kèm tùy chọn mẫu tham chiếu người nói và các điều khiển biểu cảm SSML. Yêu cầu đọc lời dẫn nên phân biệt những gì người nghe sẽ nghe với ghi chú sản xuất. Với đoạn giải thích kỹ thuật, viết phần mở đầu rõ ràng, rồi các bước thực tế và chỉ dẫn kết thúc. Giữ tên sản phẩm và thuật ngữ lặp lại ở dạng viết nhất quán. Với lời dẫn được bản địa hóa, soạn kịch bản ngôn ngữ đích; ngôn ngữ và giọng đã chọn chi phối cách thể hiện thành lời.

Người nói, vai trò và điều khiển biểu cảm

Microsoft cung cấp thư viện giọng được tuyển chọn và công bố khả năng nhiều người nói cho đối thoại. Harper và Grant minh họa danh tính người nói với các mục cho nhiều biến thể địa phương. Cuộc trao đổi giáo dục hai người có thể giao câu hỏi và lời giải thích cho các giọng riêng, giữ nguyên phân công khi một vai trò xuất hiện lại. Gắn nhãn rõ các câu thoại để hội thoại mong muốn được thể hiện trong đầu vào tổng hợp.

Sắc thái và cách thể hiện có thể được định hình ở cấp lượt hoặc câu thông qua SSML. Phong cách phụ thuộc người nói: danh mục được quản lý liệt kê các phong cách đọc dẫn hoặc giáo dục theo nhiệm vụ cho giọng phù hợp, cùng lựa chọn cảm xúc như vui mừng hoặc nhẹ nhõm cho các giọng khác. Mục Harper Mỹ hỗ trợ hai phong cách cảm xúc đó. Chọn người nói cùng phong cách thể hiện đã được công bố cho họ thay vì chuyển phong cách từ giọng khác.

Với câu chuyện hoặc bài thuyết trình, mức biểu cảm có thể phân biệt lời giải thích sự kiện, đoạn suy ngẫm và câu trích dẫn sinh động. Một câu thực tế là: “Lần thử đầu tiên cho chúng tôi bức tranh chưa hoàn chỉnh. Nhìn vào toàn bộ chuỗi đã làm rõ bước còn thiếu.” Xác định nơi ý nghĩa thay đổi và soạn các đơn vị lời nói tương ứng. Nghe các điểm chuyển để cách thể hiện đi theo câu chuyện thay vì nhấn mạnh mọi câu như nhau.

Giọng tham chiếu và kết quả âm thanh

Khi chọn chế độ giọng tùy chỉnh, mô hình khớp giọng người nói đã đồng ý dựa trên mẫu âm thanh dài năm đến sáu mươi giây mà không cần tinh chỉnh mô hình. Microsoft khuyến nghị cách nói chuyện tự nhiên và năng lượng vừa phải trong mẫu đó, vì mẫu ảnh hưởng đến giọng được tạo. Quy trình giọng tùy chỉnh yêu cầu phê duyệt của nhà sản xuất và lời xác nhận đồng ý được ghi âm. Thư viện tạo sẵn là cách chọn giọng riêng.

Nhà sản xuất cho phép chọn định dạng đầu ra, và ví dụ tổng hợp được công bố lưu MP3 mono ở 24 kHz và 160 kbit/s. Các thiết lập này mô tả một quy trình đầu ra. Chọn cách biểu diễn âm thanh cho bước chỉnh sửa hoặc phát tiếp theo, đồng thời giữ kịch bản, người nói và thứ tự các phần gắn với bản ghi. Một chương hoặc bài học hoàn chỉnh có thể chứa nhiều đoạn được tạo mà vẫn là một trải nghiệm nghe mạch lạc.

Sử dụng kết quả nội dung dài

MAI-Voice-2.1 hướng đến tính tự nhiên và biểu cảm khi thời gian phản hồi tức thì ít quan trọng hơn cách thể hiện lời nói. Với tác phẩm dài, kiểm tra tên lặp lại, ranh giới phần, giọng được phân công cho đối thoại và thay đổi sắc thái cảm xúc. Tài liệu xác lập khả năng tạo nội dung dài và cơ chế nhất quán mà không chỉ định kịch bản không giới hạn hoặc thời lượng ghi âm tối đa được bảo đảm. Sản phẩm thực tế là âm thanh giàu biểu cảm có người dẫn, câu chữ và diễn tiến khớp với tài liệu đã chuẩn bị.