Google: Gemini 3.1 Flash TTS Preview

Google Gemini 3.1 Flash TTS Preview là phiên bản chuyển văn bản thành giọng nói thuộc dòng Gemini 3.1 Flash Audio. Mô hình nhận văn bản và tạo âm thanh lời nói với biểu cảm được điều khiển bằng câu lệnh. Google mô tả thế hệ này là bước cải thiện về độ tự nhiên của giọng nói, khả năng điều khiển và hiệu năng đa ngôn ngữ, với hội thoại nhiều người nói được hỗ trợ ngay từ thiết kế và hơn 70 ngôn ngữ. Ứng dụng thực tế có thể là một bài học thuyết minh ngắn, cuộc trao đổi giữa các nhân vật hoặc một đoạn đọc mà cách thể hiện cũng quan trọng như câu chữ.

Chuẩn bị kịch bản hoàn chỉnh và bản yêu cầu diễn xuất. Thế hệ này sử dụng chỉ dẫn bằng ngôn ngữ tự nhiên ngay trong đầu vào văn bản để định hướng phong cách giọng, nhịp độ và cách đọc. Bản phát hành của Google giới thiệu chỉ dẫn bối cảnh để xác lập tình huống, Audio Profiles của người nói để định nghĩa nhân vật và Director’s Notes để hướng dẫn nhịp độ, sắc thái và giọng địa phương. Khi chuẩn bị câu lệnh, trình bày các phần này sao cho dễ nhận biết, để có thể xem xét riêng câu chữ cần đọc và chỉ dẫn diễn xuất. Một bản yêu cầu gọn gàng dễ chỉnh sửa hơn nhiều mô tả cạnh tranh nhau về cùng một giọng nói.

Ví dụ, một bản yêu cầu diễn tập tự soạn có thể mô tả người dẫn chuyện điềm tĩnh giới thiệu hiện vật bảo tàng, ngắt nhịp có chừng mực và chuyển sang giọng ấm áp hơn ở câu cuối. Kịch bản đi kèm cần có tên thật của hiện vật và câu chữ chính xác cần đọc. Với hội thoại, hãy tạo hồ sơ riêng biệt cho từng nhân vật và trình tự lượt nói rõ ràng. Dùng bối cảnh để giải thích liệu một người đang trấn an người kia, đặt câu hỏi thực sự hay đáp lại với vẻ ngạc nhiên có kiềm chế. Sản phẩm cần đánh giá là phần thể hiện kịch bản bằng âm thanh có thể nghe được.

Các thẻ âm thanh nội tuyến bổ sung khả năng điều khiển cục bộ trong văn bản, cho phép biểu cảm của người nói thay đổi ngay trong một câu thay vì hoàn toàn phụ thuộc vào chỉ dẫn mở đầu. Google mô tả các thẻ này là công cụ điều khiển phong cách giọng, nhịp độ và cách đọc. Dùng thẻ ở nơi phần thể hiện cần một chuyển đổi cụ thể và giữ câu chữ còn lại tự nhiên khi đọc thành tiếng. Điểm phân biệt hữu ích trong phiên bản này là giữa bản yêu cầu tổng thể về nhân vật hoặc bối cảnh và thay đổi cục bộ trong cách thể hiện. Một đoạn trung tính ngắn có thể xác lập giọng cơ sở trước khi kịch bản bổ sung chỉ dẫn giàu cảm xúc hơn.

Với công việc đa ngôn ngữ, cung cấp kịch bản bằng ngôn ngữ đích cuối cùng và nêu giọng địa phương cùng phong cách nói mong muốn trong bản yêu cầu. Thông báo của Google ghi nhận khả năng hỗ trợ hơn 70 ngôn ngữ. Khi chuẩn bị biên tập trên thực tế, hãy dùng một cách viết nhất quán cho các tên lặp lại, viết đầy đủ các chữ viết tắt dễ gây nhầm lẫn nếu cần một cách đọc xác định và kiểm tra các con số trong bản âm thanh. Chỉ ghi nhãn ngôn ngữ chưa đủ để quyết định cách phát âm tên thương hiệu hoặc từ vay mượn. Đối chiếu những đoạn có các từ này với cách đọc dự kiến trước khi chấp nhận một bản thuyết minh dài.

Trang mô hình Gemini API dành riêng cho mô hình preview này liệt kê giới hạn đầu vào là 8,192 token và giới hạn đầu ra là 16,384 token. Thẻ mô hình TTS gốc của DeepMind liệt kê riêng đầu vào văn bản tối đa 16K token và đầu ra âm thanh 32K token; các thông số trên thẻ mô hình này khác với giới hạn phục vụ của Gemini API. Khi chuẩn bị đầu vào, tính cả chỉ dẫn diễn xuất lẫn kịch bản. Hạn mức đầu ra được biểu thị bằng token âm thanh nên không bảo đảm một thời lượng bản ghi cụ thể. Chia bài học hoặc câu chuyện dài thành các phần mạch lạc, giữ nguyên bản yêu cầu nhân vật và nghe các điểm nối. Với hội thoại theo kịch bản, kiểm tra người nói và thứ tự lượt nói bên cạnh câu chữ cùng cách thể hiện cảm xúc.

Tài liệu chuyển đổi của Google xác định đầu ra mặc định của 3.1 là PCM thô không có phần đầu, với kiểu audio/l16. Khi chuẩn bị bản ghi có thể chỉnh sửa, các byte âm thanh cần thông tin phát lại hoặc vùng chứa phù hợp; chỉ thêm tên tệp WAV không tạo ra phần đầu WAV. Kiểm tra định dạng thực tế được trả về trước khi nhập kết quả. Google cũng nêu rằng âm thanh do Gemini 3.1 Flash TTS tạo ra mang dấu thủy vân SynthID không thể cảm nhận. Dấu thủy vân phục vụ nhận diện âm thanh được tạo và không thay thế bản chép lời, nhãn người nói hay việc nghe kiểm tra.

Cách chuẩn bị của 3.1 khác đáng kể so với 3.8. Gemini 3.8 chuyển các chỉ dẫn kéo dài và danh tính người nói sang siêu dữ liệu giọng nói có cấu trúc, sử dụng thẻ sự kiện tại một thời điểm đặt trong dấu ngoặc góc và đổi mặc định của yêu cầu đã hoàn thành sang WAV. Giữ câu lệnh 3.1 theo đúng dạng 3.1 thay vì trộn cấu trúc yêu cầu mới hơn vào đó. Bảng mô hình được hỗ trợ của Google liệt kê khả năng tổng hợp giọng nói một người và nhiều người cho 3.1, còn các điều khiển tạo giọng theo thiết kế và sao chép giọng thuộc các mục 3.8. Phiên bản Flash Live riêng biệt xử lý đầu vào âm thanh tương tác; phiên bản TTS này phục vụ sản xuất âm thanh từ văn bản đã chuẩn bị.

Đối chiếu bản ghi với kịch bản để kiểm tra từ bị bỏ sót hoặc lặp lại, tên riêng, thời điểm chuyển lượt và các thay đổi cảm xúc dự kiến. Nếu một câu cần nhấn khác đi, sửa chỉ dẫn cục bộ đó và kiểm tra phần chuyển tiếp bị ảnh hưởng. Quy trình này khiến bản yêu cầu diễn xuất trở nên hữu ích: nó ghi lại đặc điểm cần giữ ổn định của người nói và điểm cần thay đổi trong đoạn đó, trong khi kịch bản lưu giữ nội dung khán giả cần nghe.