OpenAI: Whisper Large V3

Whisper large-v3 là checkpoint nhận dạng giọng nói do OpenAI phát hành, có khoảng 1,55 tỷ tham số. Đây là mô hình mã hóa–giải mã đa ngôn ngữ: âm thanh đi vào bộ mã hóa và bộ giải mã dự đoán văn bản cùng token liên quan đến nhiệm vụ. Các nhiệm vụ chính là chép lời bằng ngôn ngữ nguồn và dịch giọng nói sang tiếng Anh. Đây là định danh mô hình có trọng số mở, tách biệt với mã định danh mô hình của dịch vụ do nhà cung cấp vận hành hoặc quy tắc tải lên, định dạng phản hồi của dịch vụ đó.

Large-v3 giữ kiến trúc của các checkpoint Whisper large trước đó với hai thay đổi được nêu: đầu vào phổ âm dùng 128 dải tần Mel thay vì 80 và bổ sung token ngôn ngữ Quảng Đông. Thẻ mô hình của nhà sản xuất mô tả quá trình huấn luyện trên một triệu giờ âm thanh gán nhãn yếu và bốn triệu giờ âm thanh gán nhãn giả được chuẩn bị bằng Whisper large-v2. Hỗn hợp này được dùng trong hai vòng huấn luyện. Bản phát hành là checkpoint large-v3 cụ thể, không phải tên chung cho mọi mô hình thuộc họ Whisper.

Quy trình suy luận được công bố mặc định thực hiện chép lời, giữ ngôn ngữ được nói trong bản ghi. Quy trình có thể tự phát hiện ngôn ngữ nguồn hoặc nhận lựa chọn ngôn ngữ đã biết. Để dịch, mô hình large đa ngôn ngữ cung cấp kết quả văn bản tiếng Anh từ lời nói không phải tiếng Anh. Chọn rõ nhiệm vụ đó: bản chép lời cùng ngôn ngữ và bản dịch tiếng Anh là các sản phẩm khác nhau. Với phỏng vấn, giữ câu chữ ngôn ngữ gốc; với tài liệu tham khảo tiếng Anh, chỉ rõ kết quả mong muốn là bản dịch nội dung được nói.

Chuẩn bị âm thanh là một phần của đường đầu vào. Bộ tải của OpenAI giải mã bản ghi thành dạng sóng mono và lấy mẫu lại ở 16 kHz. Trường tiếp nhận âm học của mô hình là 30 giây. Đây là cửa sổ xử lý, không phải độ dài tối đa của cả cuộc phỏng vấn hoặc bài giảng. Suy luận nội dung dài có thể tiến tuần tự qua cửa sổ trượt, hoặc chia bản ghi dài thành các đoạn chồng lấn rồi nối bản chép lời. Thẻ mô hình của nhà sản xuất mô tả xử lý tuần tự khi ưu tiên độ chính xác và xử lý theo đoạn khi thời gian hoàn thành một bản ghi dài quan trọng hơn.

Cấu hình được phát hành liệt kê 448 vị trí bộ giải mã cho một chuỗi giải mã riêng lẻ. Bản ghi dài hơn được xử lý bằng quy trình nội dung dài thay vì coi con số đó là giới hạn chung cho bản chép lời. Quy trình được công bố có thể trả về mốc thời gian cấp đoạn hoặc cấp từ cùng văn bản nhận dạng. Các đầu ra thời gian đó hữu ích cho việc tìm vị trí trong bản ghi và chuẩn bị phụ đề, còn bộ chứa phụ đề cuối cùng hoặc định dạng tệp chép lời là lựa chọn định dạng đầu ra riêng. Giữ thời gian của bản ghi khi chuẩn bị âm thanh nếu bản chép lời sẽ được căn chỉnh với tài liệu gốc.

Vai trò dự kiến của Whisper là nhận dạng và dịch giọng nói. Bản chép bài giảng, biên bản phỏng vấn hoặc bộ sưu tập nội dung lời nói có thể tìm kiếm là đầu ra thực tế; tóm tắt hoặc diễn giải có thể tiếp nối bằng bước khác trên văn bản. Thẻ mô hình không xác lập phân loại người nói hay phân đoạn theo người nói tự động có độ tin cậy cao là đầu ra tiêu chuẩn của checkpoint cơ sở. Nếu nhiệm vụ cần nhãn người nói, yêu cầu đó phải được xử lý riêng với việc khẳng định bản chép lời chính xác. Yêu cầu hữu ích nêu ngôn ngữ nguồn, cần chép lời hay dịch sang tiếng Anh, và có cần thông tin thời gian hay không.

Các hạn chế đáng kể gồm văn bản bịa ra chưa từng được nói và văn bản lặp lại, liên quan đến huấn luyện giám sát yếu trên dữ liệu nhiễu và thiết kế chuỗi sang chuỗi. Chất lượng nhận dạng thay đổi giữa các ngôn ngữ, chất giọng vùng miền và phương ngữ, với kết quả kém hơn nơi có ít tài liệu huấn luyện hơn. Vì vậy, mẫu dùng để đánh giá mức phù hợp nên có tiếng ồn, từ vựng chuyên môn và lời nói chồng lấn. Đối chiếu tên riêng, số lượng và phát biểu quan trọng với bản ghi, đồng thời kiểm tra đoạn không có lời nói hoặc câu lặp lại thay vì coi bản chép lời trôi chảy là bằng chứng mọi từ đều đã được nghe.

Kết quả hoàn chỉnh giữ văn bản nhận dạng, ngôn ngữ và mọi thông tin thời gian được yêu cầu, cùng tham chiếu đến bản ghi gốc. Tách chép lời khỏi chỉnh sửa sau đó: bản chép để xuất bản đã sửa có thể bỏ từ đệm, còn bản chép nhận dạng giữ những gì mô hình thực sự trả về. Định danh và khả năng dịch của large-v3 cũng cần tách biệt với phiên bản Turbo nhanh hơn. Tốc độ xử lý thực tế phụ thuộc vào ngôn ngữ, tốc độ nói, phần cứng và phương pháp suy luận; chỉ từ tên checkpoint không thể suy ra độ trễ dịch vụ, kích thước tải lên tối đa hoặc tuyến ứng dụng đã bật cụ thể nào.