Fish Audio: S2.1 Pro

S2.1 Pro là mô hình chuyển văn bản thành giọng nói đời sau thuộc thế hệ S2 của Fish Audio, dành cho thuyết minh giàu biểu cảm và ứng dụng giọng nói hội thoại. Nó cải thiện chất lượng giọng nói, độ trễ và thông lượng so với S2 Pro, đồng thời giữ điều khiển cách thể hiện bằng ngôn ngữ tự nhiên và hội thoại nhiều người nói tích hợp sẵn. S2.1 Pro và S2.1 Pro Free chia sẻ mô hình giọng nói nền.

Với lời giải thích có thuyết minh, cung cấp lời văn hoàn chỉnh, giọng mong muốn và những thời điểm cần đổi nhịp hoặc nhấn mạnh. Với ứng dụng hội thoại, tổng hợp câu trả lời do ứng dụng chọn và tách nội dung thông tin khỏi chỉ dẫn thể hiện. Với cuộc trao đổi có kịch bản, xác định người nói và giọng của họ trước khi viết từng lượt. Kết quả hữu ích là đoạn âm thanh hoàn chỉnh hoặc luồng có thể phát, với lời nói, cách thể hiện và vai trò người nói khớp yêu cầu.

Viết những lời thực sự cần được đọc thành tiếng, rồi đặt chỉ dẫn ngay trước đoạn cần thay đổi cách thể hiện. Chỉ dẫn trong ngoặc vuông có thể diễn tả tiếng thì thầm, khoảng dừng, phản ứng, sự nhấn mạnh hoặc một phong cách nói tự do. Đặt thay đổi giữa câu đúng tại vị trí cần đổi cách thể hiện, và luôn có lời thoại thực tế theo sau chỉ dẫn mô tả. Một yêu cầu thuyết minh hữu ích tách nội dung thông tin khỏi sự ấm áp, tốc độ hoặc mức nhấn mạnh mong muốn dành cho người nghe.

Với một người nói, chọn mã giọng đã lưu hoặc cung cấp bản ghi âm tham chiếu kèm bản chép lời. Hướng dẫn giọng nói của nhà sản xuất khuyến nghị mẫu sạch dài 10–30 giây để điều kiện hóa giọng tức thời. Chọn mẫu có sắc thái và chất lượng thu âm phù hợp với kịch bản, đồng thời giữ nguyên mẫu đó ở những đoạn liên quan. Mẫu giọng xác định âm sắc của người nói; văn bản và chỉ dẫn nội tuyến xác định nội dung cùng cách thể hiện.

Tổng hợp nhiều người nói tích hợp sẵn sử dụng các dấu như <|speaker:0|> và <|speaker:1|> cùng mảng mã giọng có thứ tự hoặc các nhóm tham chiếu riêng. Giữ nhãn số của người nói khớp với thứ tự đó. Trong một cuộc trao đổi hướng dẫn, viết lời của từng người và đặt chỉ dẫn thể hiện sau dấu người nói tại vị trí thích hợp. Cách này tạo hội thoại trong một yêu cầu; quy trình khác với việc tạo các đoạn đơn giọng riêng bằng S1 rồi ghép lại.

Quy trình của nhà sản xuất cung cấp đầu ra MP3, WAV, PCM thô và Opus, mặc định là MP3. MP3 hỗ trợ 64, 128 và 192 kbps; WAV và PCM sử dụng định dạng mẫu mono 16 bit được tài liệu quy định, còn Opus dùng 48 kHz. Chọn định dạng phù hợp với tệp thuyết minh cần lưu, phát trực tuyến hoặc quy trình xử lý âm thanh phía sau. Giữ toàn bộ kịch bản và lựa chọn giọng cùng âm thanh để lần chỉnh sửa sau có thể sửa một câu mà vẫn giữ cách thể hiện mong muốn.

Có thể điều chỉnh tốc độ từ 0,5 đến 2,0 cùng các tùy chọn âm lượng. Chuẩn hóa văn bản khai triển số tiếng Anh và tiếng Trung để đọc tự nhiên. Chuẩn hóa độ lớn đầu ra mặc định là true và áp dụng cho họ S2; chính trường này không có tác dụng với S1. repetition_penalty của S1 không làm thay đổi âm thanh S2.1 Pro, vì vậy không nên coi thiết lập cũ là một điều khiển hữu hiệu cho mô hình này. Kiểm tra trực tiếp âm và từ bị lặp, thay vì dựa vào tham số được mang sang để xác nhận kết quả.

Kịch bản dài hơn được xử lý theo từng đoạn. Độ dài đoạn được tài liệu quy định nằm trong khoảng 100–300, còn max_new_tokens là ngân sách token âm thanh cho mỗi đoạn, không phải cam kết tổng thời lượng. Điều kiện hóa từ đoạn trước có thể chuyển tiếp ngữ cảnh giọng. Quy trình cung cấp kết quả của nhà sản xuất mô tả âm thanh hoàn chỉnh, các đoạn âm thanh tăng dần và truyền văn bản trực tiếp khi kịch bản đến từng phần. Chọn cách tiếp nhận phù hợp với ứng dụng và giữ đủ ngữ cảnh kịch bản cho phát âm cùng sắc thái của đoạn kế tiếp.

Để có sản phẩm cuối hữu ích, nghe kiểm tra từ bị bỏ hoặc lặp, cách đọc số, chuyển người nói, khoảng dừng và cường độ của chỉ dẫn. Các mẫu giọng khác nhau có thể thể hiện cùng một chỉ dẫn với mức độ khác nhau, nên bắt đầu bằng một câu có chỉ dẫn đơn giản trước khi thêm các thẻ cạnh tranh. Khi làm nội dung đa ngôn ngữ, cung cấp kịch bản bằng ngôn ngữ đích thay vì yêu cầu mô hình giọng nói tự sáng tác hoặc dịch nội dung. Một lần sửa có trọng tâm thay đổi câu, chỉ dẫn hoặc mẫu tham chiếu gây sai lệch, đồng thời giữ những phần thể hiện đã phù hợp với yêu cầu.