Fish Audio: S2 Pro

S2 Pro là mô hình chuyển văn bản thành giọng nói thế hệ thứ hai của Fish Audio, dành cho thuyết minh giàu biểu cảm, hội thoại nhân vật và đầu ra giọng nói hội thoại. Nó chuyển kịch bản viết thành âm thanh và hỗ trợ chỉ dẫn ngôn ngữ tự nhiên ở cấp từ hoặc cụm từ. Thế hệ S1 trước dùng chỉ dẫn trong ngoặc tròn, còn S2 Pro dùng trực tiếp ngoặc vuông và hỗ trợ nhiều người nói trong một yêu cầu tổng hợp. Nhà sản xuất phát hành trọng số S2 Pro và mã tinh chỉnh cho công việc tùy biến riêng; yêu cầu giọng nói thông thường sử dụng mô hình đã chọn thay vì huấn luyện mô hình mới.

Viết nội dung lời nói trước, rồi đặt chỉ dẫn thể hiện ngay trước từ hoặc cụm từ cần tác động. Chỉ dẫn có thể mô tả lời thì thầm, phản ứng, khoảng nghỉ, chuyển biến cảm xúc hoặc phong cách nói tự do. Với giải thích sản phẩm ngắn, giữ câu thông tin rõ ràng và chỉ nhấn mạnh chỗ người nghe cần nhận ra sự khác biệt. Với lời thoại nhân vật, mô tả thay đổi cảm xúc đúng khi nó xảy ra thay vì áp một tâm trạng cố định cho cả đoạn.

Các thẻ ngoặc vuông là mô tả mở, không phải danh mục lựa chọn đóng. Ví dụ gồm [whispering], [sigh], [long pause] và cụm như [speaking slowly, almost hesitant]. Thẻ có thể xuất hiện giữa câu và tác động đến lời nói phía sau. Thẻ mô tả cần có văn bản thực tế theo sau; chỉ dẫn đứng riêng có thể cho đầu ra khó đoán. Bắt đầu với một hoặc hai chỉ dẫn hữu ích trước khi thêm nhiều lớp, vì các thẻ cạnh tranh có thể làm mờ cách thể hiện mong muốn. Các mẫu giọng khác nhau có thể đáp ứng cùng chỉ dẫn với cường độ khác nhau.

Bản phát hành S2 mô tả khoảng 80 ngôn ngữ và đưa ví dụ viết chỉ dẫn thể hiện bằng cùng ngôn ngữ với kịch bản. Chuẩn bị lời văn bằng ngôn ngữ cần đọc, giữ tên, đơn vị và chữ viết tắt cần cách đọc cụ thể. Thuyết minh đa ngôn ngữ có thể giữ giọng mong muốn khi đổi ngôn ngữ kịch bản, nhưng sản phẩm cuối vẫn cần nghe kiểm tra phát âm và tính liên tục. Tổng hợp biến nội dung được cung cấp thành lời nói, không quyết định ứng dụng nên nói thông tin gì.

Với một người nói, chọn mã giọng đã lưu hoặc cung cấp âm thanh tham chiếu cùng bản chép khớp với nó. Nhà sản xuất khuyến nghị mẫu sạch dài 10–30 giây để điều kiện hóa tức thời. Với hội thoại, dùng dấu người nói như <|speaker:0|> và <|speaker:1|> cùng danh sách mã giọng có thứ tự hoặc các nhóm tham chiếu riêng cho từng người. Dấu số chọn mục giọng tương ứng; giữ thứ tự cố định khi hội thoại phát triển. Chỉ dẫn thể hiện bằng ngôn ngữ tự nhiên và lựa chọn người nói có vai trò khác nhau trong kịch bản.

Đầu ra âm thanh có thể là MP3, WAV, PCM thô hoặc Opus. MP3 mặc định 128 kbps và có lựa chọn 64 hoặc 192 kbps; Opus dùng 48 kHz, còn WAV và PCM hỗ trợ các lựa chọn tần số lấy mẫu được quy định ở dạng mono 16 bit. Chọn định dạng theo đích sử dụng thực tế: tệp lưu cho thuyết minh, hoặc các đoạn âm thanh phù hợp để phát. Quy trình giọng nói của nhà sản xuất cũng mô tả truyền văn bản trực tiếp khi kịch bản đến dần. Kết quả sinh cần luôn gắn với kịch bản đầy đủ và các giọng được chọn.

Có thể điều chỉnh tốc độ từ 0,5 đến 2,0, cùng điều khiển âm lượng và chuẩn hóa độ lớn đầu ra. Chuẩn hóa văn bản cải thiện cách đọc số tiếng Anh và tiếng Trung. Quá trình xử lý chia đoạn trong khoảng 100–300 và có ngân sách token âm thanh cho mỗi đoạn, vì vậy không nên hiểu các thiết lập này là độ dài tối đa cố định của toàn bộ bài thuyết minh. Điều kiện hóa từ đoạn trước có thể chuyển ngữ cảnh giọng sang đoạn tiếp theo. Các điều khiển lấy mẫu như temperature và top-p ảnh hưởng độ biến thiên; một câu có chỉ dẫn chủ đích vẫn cần đủ văn bản và ngữ cảnh để truyền tải âm sắc mong muốn.

Yêu cầu sản xuất hữu ích tách lời thuyết minh, hội thoại và chỉ dẫn thể hiện, rồi nêu giọng và định dạng sản phẩm cần nhận. Nghe kiểm tra từ thiếu, âm thanh lặp, cách đọc số, chuyển người nói và thời điểm phản ứng. Sửa câu hoặc mẫu giọng gây sai lệch thay vì giả định thêm thẻ sẽ cải thiện mọi đoạn. S2 Pro vẫn là mô hình S2 đời trước riêng biệt; S2.1 Pro là phiên bản sau với các cải tiến và hành vi thiết lập đặc thù.