Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash chuyển kịch bản được cung cấp thành giọng nói, với phiên bản Flash tập trung vào tương tác thời gian thực. Qwen xác định trợ lý giọng nói, hội thoại tương tác và dịch vụ khách hàng thông minh là các ứng dụng chính. So với phiên bản trước, nhà sản xuất mô tả khả năng hỗ trợ rộng hơn cho các ngôn ngữ ít tài nguyên và phương ngữ Trung Quốc, cách thể hiện phương ngữ chân thực hơn, cùng khả năng kiểm soát tốt hơn về cảm xúc, sắc thái, đặc tính giọng, tốc độ, âm lượng và phong cách nói. Nhà sản xuất cũng cho biết độ rõ và tính ổn định được cải thiện trong điều kiện âm học có tiếng ồn hoặc tiếng vang. Đây là tổng hợp âm thanh từ văn bản, không phải nhận dạng lời nói đầu vào hay mô hình hội thoại bằng giọng nói.

Flash ưu tiên thời điểm bắt đầu phát giọng nói trong một lượt trao đổi tương tác. Qwen công bố độ trễ gói đầu tiên không quá 200 mili giây cho tính năng tổng hợp thời gian thực của mô hình này; hướng dẫn sử dụng cũng lưu ý rằng việc thiết lập kết nối ban đầu góp phần vào độ trễ đo được của lần gửi đầu tiên. Chuẩn bị riêng nội dung cần đọc và cách thể hiện mong muốn. Với câu trả lời của trợ lý giọng nói, một yêu cầu minh họa có thể kết hợp câu trả lời ngắn gọn với chỉ dẫn đọc bình tĩnh, rõ ràng. Kết quả cần dùng là giọng nói được tạo cho văn bản đó, còn ứng dụng đảm nhiệm việc phát âm thanh và phần hội thoại bao quanh.

Danh sách giọng hệ thống của nhà sản xuất có các lựa chọn riêng cho mô hình, chẳng hạn Long An Feng Yue với cách nói tự nhiên, thân thiện và Long An Xiao Xin với cách nói thân thiện, sinh động; cả hai đều được liệt kê cho tiếng Phổ thông và tiếng Anh. Danh sách còn có các giọng tiếng Anh như loongmary mang giọng Anh và loongjohn mang giọng Mỹ bình tĩnh, thân thiện. Mỗi mô hình còn có hơn 500 giọng cơ sở. Qwen khuyến nghị bắt đầu bằng giọng hệ thống để có tính nhất quán và nghe các bản xem trước khi chọn giọng cơ sở. Giọng phải thuộc mô hình đã chọn và kịch bản phải sử dụng ngôn ngữ mà giọng đó hỗ trợ.

Các giọng nhân bản mở rộng phạm vi ngôn ngữ được nêu trong tài liệu sang tiếng Trung, Anh, Nhật, Hàn, Nga, Pháp, Đức, Bồ Đào Nha, Thái, Indonesia, Việt, Tây Ban Nha, Ý, Mã Lai, Filipino và Ả Rập. Phạm vi tiếng Trung gồm tiếng Phổ thông, Quảng Đông cùng các biến thể Trùng Khánh, Đông Bắc, Cam Túc, Quý Châu, Chiết Giang, Hà Bắc, Hà Nam, Hồ Bắc, Hồ Nam, Giang Tây, Ninh Ba, Ninh Hạ, Thanh Đảo, Thiểm Tây, Sơn Tây, Sơn Đông, Thượng Hải, Tứ Xuyên và Vân Nam; phương ngữ được chọn thông qua chỉ dẫn. Bảng thông tin mô hình hỗ trợ nhân bản giọng từ mẫu và phân biệt tính năng này với việc tạo giọng mới chỉ từ mô tả bằng văn bản, vốn không được phiên bản này hỗ trợ.

Để nhân bản giọng, nhà sản xuất khuyến nghị bản ghi dài 10–20 giây, tối đa 60 giây và dung lượng tệp không quá 10 MB. Các định dạng mẫu được hỗ trợ là WAV 16 bit, MP3 và M4A, với tần số lấy mẫu ít nhất 16 kHz. Bản ghi cần có ít nhất năm giây lời nói liên tục, rõ ràng; các khoảng dừng khác không nên dài quá hai giây. Tránh tiếng nền, giọng của người khác và tiếng hát. Âm thanh stereo được chấp nhận nhưng chỉ kênh đầu tiên được xử lý. Quy trình nhân bản trả về mã định danh giọng gắn với đúng mô hình đích, và quá trình tổng hợp sử dụng mã đó khi giọng đã sẵn sàng. Cùng một bản ghi cần tạo các giọng nhân bản riêng cho Flash và Plus.

Chỉ dẫn bằng ngôn ngữ tự nhiên điều khiển cách nói của cả giọng hệ thống lẫn giọng nhân bản. Mô tả những đặc điểm nghe được như sắc thái nhẹ nhàng, phát âm rõ hoặc nhịp nói chậm hơn một chút. Các thẻ chèn trong văn bản cung cấp một cách điều khiển khác: [empathetic] hoặc [serious] đặt phong cách cho phần văn bản tiếp theo, còn [laughing] hoặc [sighing] chèn hiệu ứng giọng tại một vị trí cụ thể. Một thẻ điều khiển có hiệu lực cho đến khi xuất hiện thẻ điều khiển khác hoặc khi hệ thống tự động phân đoạn câu. Các thẻ cảm xúc và biểu đạt này chỉ được nêu trong tài liệu cho chế độ truyền luồng một chiều, không phải chế độ nhập văn bản hai chiều. Chuẩn bị câu cần biểu đạt trong chế độ phù hợp với các điều khiển đó.

Giao diện giọng nói của nhà sản xuất hỗ trợ PCM, WAV, MP3 và Opus. Các tần số lấy mẫu được liệt kê là 8.000, 16.000, 22.050, 24.000, 44.100 và 48.000 Hz, với MP3 và 22.050 Hz là giá trị mặc định. Âm lượng có phạm vi từ 0 đến 100; tốc độ nói và cao độ đều có phạm vi từ 0,5 đến 2,0. MP3 và Opus còn có thiết lập tốc độ bit từ 6 đến 510 kbps. Chọn định dạng và tần số lấy mẫu phù hợp với trình phát hoặc quy trình xử lý dự kiến. Với ứng dụng tương tác, nhà sản xuất mô tả trong tài liệu các khung âm thanh dạng luồng và siêu dữ liệu câu; dấu thời gian ở cấp từ có trong đầu ra dạng luồng cho các giọng đủ điều kiện, bao gồm giọng nhân bản.

Giao thức văn bản WebSocket được nêu trong tài liệu chấp nhận tối đa 20.000 ký tự trong một thông điệp văn bản và tổng cộng 200.000 ký tự trong một tác vụ, với khoảng cách giữa các lần gửi không quá 23 giây. Đây là giới hạn giao thức của nhà sản xuất, không phải giới hạn phổ quát về thời lượng đầu ra của mô hình. Giao thức hỗ trợ hủy lượt tổng hợp hiện tại và bắt đầu tác vụ tiếp theo trên cùng kết nối. Giữ các đoạn văn bản đúng thứ tự cần đọc và kết thúc đầu vào khi kịch bản đã hoàn tất. Để chuẩn bị phát âm, nhà sản xuất mô tả trong tài liệu gợi ý ngôn ngữ đích, chú thích pinyin và thay thế văn bản, hữu ích khi chữ số, từ viết tắt hoặc ký hiệu được đọc không như mong muốn.

SSML là một lựa chọn đánh dấu riêng với điều kiện về giọng và chế độ tương tác: Qwen nêu trong tài liệu lựa chọn này cho giọng nhân bản, với lời gọi không truyền luồng hoặc truyền luồng một chiều, và chỉ một lần gửi văn bản khi SSML được bật. Không nên mặc định rằng mọi giọng có sẵn hoặc luồng hai chiều đều hỗ trợ SSML. Với hội thoại thông thường, hãy bắt đầu bằng giọng tương thích, kịch bản lời nói rõ ràng và chỉ dẫn cụ thể về cách thể hiện; bổ sung điều khiển phát âm hoặc biểu cảm có mục tiêu khi tác vụ yêu cầu. Cách này giữ hồ sơ Flash tập trung vào giọng nói phản hồi nhanh từ văn bản đã chuẩn bị thay vì các khả năng của những mô hình âm thanh Qwen khác.