Fish Audio: S1

S1 là mô hình chuyển văn bản thành giọng nói thế hệ trước của Fish Audio cho lời dẫn giàu biểu cảm và đầu ra giọng của một người nói. Mô hình đọc kịch bản được cung cấp và trả về âm thanh, dùng giọng đã chọn hoặc giọng được điều kiện hóa theo mẫu tham chiếu. Mô hình S1 đầy đủ tách biệt với S1-mini, mô hình chưng cất nhỏ hơn; nhà sản xuất giới thiệu chúng lần lượt là các biến thể 4 tỷ và 0,5 tỷ tham số. Hồ sơ này bao quát mô hình có tên S1.

Với lời dẫn, soạn các từ thực sự cần được đọc và đánh dấu nơi cách thể hiện nên thay đổi. Kịch bản giải thích hữu ích nêu ý chính trước, phát triển từng ý một và dùng dấu câu tách các cụm lời cần khoảng nghỉ tự nhiên. Với chỉ dẫn ngắn, giữ câu chữ rõ khi nghe mà không có màn hình. Giữ cách đọc dự kiến của tên, chữ viết tắt và đơn vị, đồng thời kiểm tra số trong đầu ra lời nói thay vì cho rằng chuỗi dễ đọc bằng mắt chỉ có một cách phát âm.

S1 dùng tín hiệu cảm xúc và cách thể hiện trong ngoặc tròn, chẳng hạn (angry), (sad), (in a hurry) hoặc (chuckling). Đặt tín hiệu trước câu hoặc cụm lời cần tác động, với lời nói thực tế ở sau. Cách thể hiện áp dụng cho văn bản theo sau, nên thay đổi cảm xúc cần xuất hiện tại nơi phần thể hiện cần đổi. Đây là cú pháp khác với chỉ dẫn ngoặc vuông của S2; giữ kịch bản được viết cho thế hệ đã chọn thay vì coi hai dạng đánh dấu là có thể thay thế cho nhau.

Có thể chọn giọng qua mã định danh giọng đã lưu hoặc điều kiện hóa từ bản ghi tham chiếu cùng văn bản chép lời của nó. Với quy trình tham chiếu tức thì, hướng dẫn giọng nói chung khuyến nghị mẫu sạch dài 10–30 giây. Chọn mẫu có phong cách nói và chất lượng ghi âm phù hợp với kết quả dự kiến, đồng thời bảo đảm văn bản khớp các từ trong mẫu. Với người dẫn xuất hiện nhiều lần, dùng lại cùng mẫu giọng qua các đoạn để đổi chủ đề không vô tình trở thành đổi nhân vật.

Bản phát hành S1 nêu tiếng Anh, Trung, Nhật, Đức, Pháp, Tây Ban Nha, Hàn, Ả Rập, Nga, Hà Lan, Ý, Ba Lan và Bồ Đào Nha trong số các ngôn ngữ được hỗ trợ, đồng thời mô tả trộn ngôn ngữ trong một kịch bản. Cung cấp câu chữ bằng ngôn ngữ đích thay vì xem tổng hợp giọng nói là bước dịch. Với đoạn có tên mượn từ ngôn ngữ khác hoặc điểm chuyển ngôn ngữ, giữ cách viết và ngữ cảnh câu xung quanh rõ ràng, rồi kiểm tra cách giọng đã chọn xử lý điểm chuyển đó.

Giao diện của nhà sản xuất S1 hỗ trợ một người nói mỗi yêu cầu tổng hợp. Có thể soạn đối thoại thành các đoạn riêng với mẫu giọng tham chiếu tương ứng, rồi để ứng dụng ghép lại; tổng hợp nhiều người nói tích hợp của họ S2 là khả năng riêng. Giữ vai trò, giọng và văn bản gắn với từng đoạn khi soạn câu thoại nhân vật. Kết quả tổng hợp là phần thể hiện kịch bản bằng âm thanh, còn căn thời gian trao đổi hoặc kết hợp với nhạc và video là bước chỉnh sửa sau đó.

Tùy chọn đầu ra gồm MP3, WAV, PCM thô và Opus, với MP3 làm mặc định. Đầu ra được công bố là mono; WAV và PCM dùng mẫu 16 bit, và lựa chọn tần số lấy mẫu khác nhau theo định dạng. MP3 hỗ trợ 64, 128 và 192 kbps, còn Opus dùng 48 kHz. Có thể điều chỉnh tốc độ từ 0.5 đến 2.0 cùng các điều khiển âm lượng. Chọn tệp đã mã hóa cho sản phẩm thuyết minh hoặc luồng phù hợp để phát, rồi giữ giọng đã chọn và kịch bản cùng kết quả.

Nhà sản xuất xử lý văn bản dài theo đoạn, với khoảng độ dài đoạn 100–300 được công bố và ngân sách token âm thanh mỗi đoạn thay vì thời lượng ghi âm tổng thể được bảo đảm. Chuẩn hóa văn bản có thể chuyển số tiếng Anh và Trung thành cách đọc tự nhiên, còn mức phạt lặp lại của S1 có thể giảm mẫu âm thanh lặp. Chuẩn hóa độ lớn âm thanh đầu ra là thiết lập khác và không có tác dụng với S1. Kiểm tra phát âm, ranh giới cụm lời, âm lặp và chuyển biến cảm xúc dự kiến trước khi ghép đoạn hoàn chỉnh, rồi sửa đúng câu hoặc mẫu tham chiếu cần chú ý.