OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, còn gọi là Turbo, là mô hình chép lời được OpenAI tối ưu từ Whisper large-v3. Bộ giải mã được giảm từ 32 lớp xuống bốn, còn bộ mã hóa vẫn có 32 lớp. Mô hình được phát hành có khoảng 809 triệu tham số. Mục đích của nhà sản xuất là nhận dạng lời nói nhanh hơn với đánh đổi nhỏ về độ chính xác, không phải chế độ tạo âm thanh khác. Lời nói được ghi âm là đầu vào và văn bản nhận dạng là kết quả.

Thông báo phát hành phân biệt cách chuẩn bị Turbo với một mô hình Whisper được chưng cất riêng: Turbo được tinh chỉnh thêm hai vòng huấn luyện trên dữ liệu chép lời đa ngôn ngữ, không gồm dữ liệu dịch. Sự khác biệt này quan trọng trong vận hành. Kho mã của OpenAI nêu Turbo không được huấn luyện để dịch lời nói không phải tiếng Anh sang tiếng Anh và có thể trả về ngôn ngữ gốc ngay cả khi được yêu cầu thực hiện tác vụ dịch. Dùng phiên bản này cho bản chép lời cùng ngôn ngữ; yêu cầu dịch thuộc mô hình phù hợp khác hoặc bước riêng sau chép lời.

Nhận diện ngôn ngữ nguồn và chọn ngôn ngữ rõ ràng vẫn là lựa chọn chép lời hữu ích. Nếu đã biết ngôn ngữ ghi âm, nêu trong bản giao việc; nếu chưa, quy trình được công bố có thể nhận diện. Giữ tên, số lượng và từ đã được nói trước khi yêu cầu chỉnh sửa biên tập. Biên bản cuộc họp, bản chép phỏng vấn hoặc văn bản bài giảng sau đó có thể được tìm kiếm, chú giải hoặc tóm tắt ở thao tác tiếp theo. Không nên nhầm nhiệm vụ nhận dạng của Turbo với tổng hợp giọng nói, bắt chước giọng hoặc đánh giá ngữ nghĩa về người trong bản ghi.

Bộ đọc âm thanh của OpenAI giải mã tệp đầu vào thành mẫu đơn âm ở 16 kHz, và mô hình dùng cửa sổ âm học 30 giây với 128 dải tần Mel. Bản ghi dài hơn cần suy luận âm thanh dài. Xử lý tuần tự đi qua các cửa sổ theo thứ tự; cách chia đoạn chép các phần chồng lấn và nối ranh giới của chúng. Thẻ mô hình giới thiệu cách sau hữu ích khi xử lý một tệp dài và ưu tiên chính là thời gian trả kết quả, còn xử lý tuần tự là phương án hướng đến độ chính xác. Cả cửa sổ lẫn tên mô hình đều không xác lập kích thước tệp tải lên tối đa cố định cho dịch vụ lưu trữ mô hình.

Cấu hình Turbo chính xác liệt kê 448 vị trí giải mã cho một chuỗi giải mã. Quy trình suy luận được công bố có thể kèm thời gian đoạn hoặc từ cùng bản chép lời; thông tin thời gian hỗ trợ điều hướng và định dạng phụ đề về sau. Điều đó không tự thêm định dạng tệp phụ đề hoặc nhãn người nói đáng tin cậy. Nêu cần bản chép lời thuần hay đoạn có thời gian, đồng thời giữ bản ghi gốc để kiểm tra đoạn còn tranh cãi. Xử lý âm thanh dài và mọi định dạng cuối là các phần tách biệt với định danh bản chụp mô hình.

Turbo giảm công việc giải mã, nhưng thời gian thực tế phụ thuộc phần cứng, độ dài bản ghi, ngôn ngữ, tốc độ nói và lựa chọn suy luận. Nhà sản xuất lưu ý chất lượng giảm nhiều hơn với một số ngôn ngữ, gồm tiếng Thái và tiếng Quảng Đông, thay vì hành vi đồng nhất ở mọi nơi. So sánh đoạn đại diện bằng ngôn ngữ dự kiến trước khi xem đánh đổi hướng đến tốc độ là phù hợp với mọi tài liệu. Với nhiệm vụ xử lý kho lưu trữ, đưa từ vựng khó, khoảng dừng và đoạn nhiễu hoặc lời nói chồng lấn vào mẫu xem xét, không chỉ câu mở đầu rõ ràng.

Thẻ được công bố giữ các hạn chế nhận dạng đáng kể của Whisper: văn bản dự đoán có thể gồm từ không được nói, và văn bản lặp lại có thể xuất hiện. Kết quả thay đổi theo ngôn ngữ, giọng và phương ngữ, đặc biệt nơi dữ liệu huấn luyện có độ bao phủ hạn chế. Thẻ không xác lập phân đoạn theo người nói hoặc phân loại người nói ở mô hình nền là khả năng tiêu chuẩn vững chắc. Xem xét thực tế tập trung vào độ trung thành với nguồn: tên và số quan trọng, lời nói bị bỏ sót, văn bản bất ngờ khi im lặng và đoạn lặp. Bản chép lời đọc được vẫn là kết quả để đối chiếu với bản ghi, không phải bảo đảm nhận dạng chính xác.

Sản phẩm hoàn chỉnh hữu ích là bản chép lời bằng ngôn ngữ nguồn kèm thời gian nếu được yêu cầu và liên kết rõ với bản ghi. Giữ bản nhận dạng tách biệt với bản đã biên tập để xuất bản nhằm truy vết thay đổi. Giữ tên large-v3-turbo khi so sánh phiên bản: đây không phải mô hình large-v3 đầy đủ và không nên âm thầm kế thừa nhiệm vụ dịch sang tiếng Anh của large-v3. Định danh trọng số mở này cũng không mang theo giới hạn tải lên, định dạng phản hồi hoặc cam kết truyền luồng trực tiếp của dịch vụ whisper-1 được lưu trữ. Chọn Turbo khi đánh đổi chép lời được công bố phù hợp với tài liệu thực tế và thời gian trả kết quả mong muốn.