Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free là phiên bản hướng tới nhà phát triển của mô hình chuyển văn bản thành giọng nói S2.1 từ Fish Audio. Nó chia sẻ mô hình nền và các khả năng tổng hợp cốt lõi với S2.1 Pro: giọng nói đa ngôn ngữ giàu biểu cảm, chỉ dẫn thể hiện bằng ngôn ngữ tự nhiên và hội thoại nhiều người nói tích hợp sẵn. Vai trò của phiên bản này là kiểm thử, tạo nguyên mẫu, phát triển và các quy trình ứng dụng quy mô nhỏ hơn.

Với nguyên mẫu trợ lý giọng nói, bắt đầu bằng một câu trả lời mẫu hoàn chỉnh và đánh giá âm thanh trước khi thử văn bản đến dần. Với sản phẩm học tập, chuẩn bị lời giải thích ngắn có đúng thuật ngữ và cách đọc số người nghe cần. Với nguyên mẫu hội thoại, xác định người nói và mẫu giọng tham chiếu trước khi thêm chỉ dẫn thể hiện. Những bước này xây dựng sản phẩm âm thanh và luồng ứng dụng bao quanh nó, thay vì giao cho một yêu cầu tổng hợp trách nhiệm xử lý toàn bộ cuộc hội thoại.

Viết những lời thực sự cần được đọc thành tiếng, rồi đặt chỉ dẫn ngay trước đoạn cần thay đổi cách thể hiện. Chỉ dẫn trong ngoặc vuông có thể diễn tả tiếng thì thầm, khoảng dừng, phản ứng, sự nhấn mạnh hoặc một phong cách nói tự do. Đặt thay đổi giữa câu đúng tại vị trí cần đổi cách thể hiện, và luôn có lời thoại thực tế theo sau chỉ dẫn mô tả. Một yêu cầu thuyết minh hữu ích tách nội dung thông tin khỏi sự ấm áp, tốc độ hoặc mức nhấn mạnh mong muốn dành cho người nghe.

Với một người nói, chọn mã giọng đã lưu hoặc cung cấp bản ghi âm tham chiếu kèm bản chép lời. Hướng dẫn giọng nói của nhà sản xuất khuyến nghị mẫu sạch dài 10–30 giây để điều kiện hóa giọng tức thời. Chọn mẫu có sắc thái và chất lượng thu âm phù hợp với kịch bản, đồng thời giữ nguyên mẫu đó ở những đoạn liên quan. Mẫu giọng xác định âm sắc của người nói; văn bản và chỉ dẫn nội tuyến xác định nội dung cùng cách thể hiện.

Tổng hợp nhiều người nói tích hợp sẵn sử dụng các dấu như <|speaker:0|> và <|speaker:1|> cùng mảng mã giọng có thứ tự hoặc các nhóm tham chiếu riêng. Giữ nhãn số của người nói khớp với thứ tự đó. Trong một cuộc trao đổi hướng dẫn, viết lời của từng người và đặt chỉ dẫn thể hiện sau dấu người nói tại vị trí thích hợp. Cách này tạo hội thoại trong một yêu cầu; quy trình khác với việc tạo các đoạn đơn giọng riêng bằng S1 rồi ghép lại.

Quy trình của nhà sản xuất cung cấp đầu ra MP3, WAV, PCM thô và Opus, mặc định là MP3. MP3 hỗ trợ 64, 128 và 192 kbps; WAV và PCM sử dụng định dạng mẫu mono 16 bit được tài liệu quy định, còn Opus dùng 48 kHz. Chọn định dạng phù hợp với tệp thuyết minh cần lưu, phát trực tuyến hoặc quy trình xử lý âm thanh phía sau. Giữ toàn bộ kịch bản và lựa chọn giọng cùng âm thanh để lần chỉnh sửa sau có thể sửa một câu mà vẫn giữ cách thể hiện mong muốn.

Có thể điều chỉnh tốc độ từ 0,5 đến 2,0 cùng các tùy chọn âm lượng. Chuẩn hóa văn bản khai triển số tiếng Anh và tiếng Trung để đọc tự nhiên. Chuẩn hóa độ lớn đầu ra mặc định là true và áp dụng cho họ S2; chính trường này không có tác dụng với S1. repetition_penalty của S1 không làm thay đổi âm thanh S2.1 Pro, vì vậy không nên coi thiết lập cũ là một điều khiển hữu hiệu cho mô hình này. Kiểm tra trực tiếp âm và từ bị lặp, thay vì dựa vào tham số được mang sang để xác nhận kết quả.

Kịch bản dài hơn được xử lý theo từng đoạn. Độ dài đoạn được tài liệu quy định nằm trong khoảng 100–300, còn max_new_tokens là ngân sách token âm thanh cho mỗi đoạn, không phải cam kết tổng thời lượng. Điều kiện hóa từ đoạn trước có thể chuyển tiếp ngữ cảnh giọng. Quy trình cung cấp kết quả của nhà sản xuất mô tả âm thanh hoàn chỉnh, các đoạn âm thanh tăng dần và truyền văn bản trực tiếp khi kịch bản đến từng phần. Chọn cách tiếp nhận phù hợp với ứng dụng và giữ đủ ngữ cảnh kịch bản cho phát âm cùng sắc thái của đoạn kế tiếp.

Để có sản phẩm cuối hữu ích, nghe kiểm tra từ bị bỏ hoặc lặp, cách đọc số, chuyển người nói, khoảng dừng và cường độ của chỉ dẫn. Các mẫu giọng khác nhau có thể thể hiện cùng một chỉ dẫn với mức độ khác nhau, nên bắt đầu bằng một câu có chỉ dẫn đơn giản trước khi thêm các thẻ cạnh tranh. Khi làm nội dung đa ngôn ngữ, cung cấp kịch bản bằng ngôn ngữ đích thay vì yêu cầu mô hình giọng nói tự sáng tác hoặc dịch nội dung. Một lần sửa có trọng tâm thay đổi câu, chỉ dẫn hoặc mẫu tham chiếu gây sai lệch, đồng thời giữ những phần thể hiện đã phù hợp với yêu cầu.