Qwen3 Omni 30B A3B Captioner

Tổng quan: mô tả âm thanh chi tiết

Qwen3-Omni-30B-A3B-Captioner là mô hình chuyên mô tả âm thanh, được tinh chỉnh từ Qwen3-Omni-30B-A3B-Instruct. Mô hình chuyển một đoạn âm thanh thành bản mô tả chi tiết bằng văn bản về những gì nghe được. Qwen thiết kế mô hình cho nhiều loại nội dung, gồm lời nói, âm thanh môi trường, âm nhạc, hiệu ứng điện ảnh và hỗn hợp nhiều nguồn âm. Nhờ đó, mô hình hữu ích để chuẩn bị mô tả có thể tìm kiếm cho một tài sản âm thanh hoặc xem xét các lớp âm thanh trong một đoạn nội dung truyền thông ngắn.

Hiểu lời nói và âm thanh không phải lời nói

Nhà sản xuất mô tả khả năng phân tích nhiều người nói, cách diễn đạt đa ngôn ngữ, cảm xúc trong giọng nói và ý định được gợi ra qua cách nói. Các ví dụ không chỉ dừng ở bản chép lời: chúng mô tả đặc điểm giọng nói, ngôn ngữ được nói và khung cảnh âm thanh xung quanh. Với âm thanh không phải lời nói, mô hình mô tả bầu không khí môi trường, âm thanh đời thực, các lớp nhạc và chi tiết biến đổi trong phim hoặc nội dung truyền thông.

Mô tả về tâm trạng, ý định của người nói hoặc bối cảnh văn hóa là cách diễn giải nội dung nghe được. Hãy tách chúng khỏi lời nói và sự kiện âm thanh có thể kiểm tra trực tiếp. Một bản mô tả có thể giúp người xem xét nhận ra thay đổi trong sắc thái giọng hoặc một lớp âm nền; đó không phải phép đo cảm xúc riêng tư của một người hay bằng chứng về nguồn vật lý của một âm thanh mơ hồ.

Bản Captioner và quy ước đầu vào

Checkpoint này chỉ dùng một lượt. Mỗi lần suy luận, mô hình nhận đúng một đầu vào âm thanh, không có lời nhắc văn bản, và chỉ trả về văn bản. Mô hình chứa thành phần thinker để hiểu âm thanh; cấu hình công bố vô hiệu hóa đầu ra âm thanh một cách rõ ràng. Đừng gán cho Captioner các tính năng hội thoại, hình ảnh, video hoặc tạo lời nói của những bản Qwen3-Omni khác chỉ vì tên của chúng thuộc cùng một họ.

Việc không có lời nhắc văn bản có ý nghĩa thực tế. Chuẩn bị đoạn âm thanh muốn mô tả và gửi đoạn đó như toàn bộ nhiệm vụ. Đừng thêm chỉ dẫn yêu cầu bản tóm tắt tùy chỉnh, bản dịch, câu trả lời cho người nói hoặc lược đồ đầu ra. Nếu quy trình cần các phép biến đổi đó, chúng thuộc một giai đoạn riêng xử lý bản mô tả được trả về, thay vì được coi là các tùy chọn điều khiển của checkpoint mô tả âm thanh này.

Chuẩn bị âm thanh hữu ích

Qwen khuyến nghị giới hạn đoạn âm thanh không quá 30 giây để mô tả chi tiết. Đây là khuyến nghị về chất lượng: âm thanh quá dài có thể làm giảm khả năng nhận biết chi tiết. Nhà sản xuất không trình bày nó như ngưỡng từ chối cứng áp dụng phổ quát. Với bản ghi dài hơn, chọn một đoạn ngắn có ý nghĩa quanh sự kiện hoặc cảnh đang xem xét. Giữ mã định danh nguồn và thời điểm bắt đầu ở ngoài yêu cầu gửi đến mô hình để sau này có thể truy ngược bản mô tả về bản ghi gốc.

Giữ các lớp âm thanh liên quan đến câu hỏi. Đoạn trích tập trung vào giọng nói vẫn nên có âm nền khi âm nền ảnh hưởng đến mô tả mong muốn; tài sản nhạc hoặc hiệu ứng âm thanh nên giữ chuyển tiếp quan trọng thay vì bị cắt ở một ranh giới tùy ý. Xử lý riêng từng đoạn giúp giữ chi tiết cục bộ, nhưng không xác lập tính liên tục tự động hay khả năng hiểu toàn bộ bản ghi qua nhiều yêu cầu.

Kết quả văn bản hữu ích cho việc gì

Tài liệu hướng dẫn thực hành của nhà sản xuất cho thấy các bản mô tả nội dung và cách thể hiện lời nói, sau đó là khung cảnh xung quanh; những ví dụ khác mô tả âm nhạc, hiệu ứng, thay đổi cường độ và trình tự sự kiện giọng nói. Danh mục âm thanh có thể lưu văn bản trả về cùng tên tài sản và khoảng thời gian. Người xem xét nội dung truyền thông có thể dùng nó làm bản nháp nhật ký âm thanh. Biên tập viên có thể so sánh bản mô tả với đoạn âm thanh để xác định mô tả có nắm được các lớp mong muốn hay không. Đây là ví dụ ứng dụng, không phải bằng chứng mô hình đã nghe trước bất kỳ tài sản cụ thể nào của người dùng.

Đầu ra là một bản mô tả, không phải lời hứa về bản chép từng từ, bảng phân tách người nói, tệp phụ đề có mốc thời gian hay bản âm thanh được tạo. Khi cần lời nói chính xác hoặc thời gian chính xác, kiểm tra bản mô tả với âm thanh và dùng một quy trình chuyên biệt phù hợp cho sản phẩm cần có. Bản mô tả phong phú có thể chứa thông tin suy đoán về cảnh hoặc thể loại, nên giữ sự bất định khi chính âm thanh không xác định nguồn một cách rõ ràng.

Ví dụ tạo đầu ra và giới hạn

Ví dụ độc lập của nhà sản xuất đặt ngữ cảnh mô hình là 32.768 token và ngân sách tạo đầu ra là 16.384 token, dùng temperature 0,6, top_p 0,95 và top_k 20. Tài liệu hướng dẫn thực hành dùng ngân sách tạo đầu ra 8.192 token với cùng các giá trị lấy mẫu. Đây là cấu hình ví dụ, không phải độ dài mô tả tối đa được công bố riêng. Cấu hình văn bản nền tảng liệt kê 65.536 vị trí, không nên chuyển con số này thành bảo đảm về thời lượng âm thanh.

Mã tiện ích chung hoặc các trường cấu hình dùng chung với họ Omni không ghi đè quy ước rõ ràng của Captioner: một âm thanh, không có văn bản đầu vào, chỉ có văn bản đầu ra. Kết quả hữu ích là mô tả chi tiết một khung cảnh âm thanh ngắn; hãy kiểm tra trích dẫn lời nói, số người nói và nguồn âm được suy đoán trước khi dùng nó làm hồ sơ có tính xác thực.