NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 là mô hình nhận dạng giọng nói đa ngôn ngữ có 600 triệu tham số của NVIDIA. Mô hình mở rộng bản v2 chỉ hỗ trợ tiếng Anh sang 25 ngôn ngữ châu Âu và tự động phát hiện ngôn ngữ của âm thanh mà không cần lời nhắc ngôn ngữ riêng. Kết quả là bản chép lời nói có dấu câu và cách viết hoa.

Các ngôn ngữ được hỗ trợ gồm tiếng Bulgaria, Croatia, Séc, Đan Mạch, Hà Lan, Anh, Estonia, Phần Lan, Pháp, Đức, Hy Lạp, Hungary, Ý, Latvia, Litva, Malta, Ba Lan, Bồ Đào Nha, Romania, Slovakia, Slovenia, Tây Ban Nha, Thụy Điển, Nga và Ukraina. Danh sách này thuộc phiên bản v3; các loại bộ giải mã và biến thể ngôn ngữ Parakeet khác là những mô hình riêng.

Kiến trúc kết hợp bộ mã hóa FastConformer với bộ giải mã transducer dự đoán token và thời lượng. Bộ mã hóa biến tín hiệu âm học thành các biểu diễn; bộ giải mã dự đoán token văn bản cùng thời lượng cần thiết để tiến qua các khung âm thanh. Cách hoạt động TDT này phân biệt mô hình với các bộ giải mã CTC và RNN-T thông thường trong cùng dòng.

Chuẩn bị âm thanh đơn kênh có tần số lấy mẫu 16 kHz. Các định dạng đầu vào trực tiếp của nhà sản xuất là WAV và FLAC, còn ví dụ triển khai sử dụng bộ xử lý để chuẩn bị dạng sóng cho việc nhận dạng. Giữ mã định danh bản ghi và âm thanh gốc cùng với văn bản trả về để có thể kiểm tra bản chép lời hoặc căn chỉnh với nguồn.

Việc tạo dấu thời gian bổ sung thông tin thời gian cho lời nói được nhận dạng. Ví dụ NeMo của NVIDIA trả về thời gian theo ký tự, từ và đoạn khi bật chức năng tạo dấu thời gian. Ứng dụng phụ đề hoặc lưu trữ có thể dùng ranh giới đoạn để liên kết một phần lời nói với bản ghi, hoặc dùng thời gian theo từ để tìm một cụm từ cụ thể. Bản chép lời và các trường thời gian là những phần khác nhau của kết quả và cần được giữ liên kết với nhau.

Với bản ghi dài, cấu hình chú ý có vai trò quan trọng. Nhà sản xuất mô tả khả năng xử lý tối đa 24 phút với cơ chế chú ý toàn phần trên A100 80 GB và tối đa ba giờ với chú ý cục bộ. Ví dụ xử lý bản ghi dài chuyển bộ mã hóa sang chú ý cục bộ với ngữ cảnh bên trái và bên phải có giới hạn. Các thời lượng đó mô tả những cấu hình cụ thể của nhà sản xuất, không phải một giới hạn vô điều kiện áp dụng cho mọi cách triển khai.

Nhà sản xuất cũng công bố quy trình suy luận theo khối cho việc sử dụng dạng luồng. Ví dụ của họ xác định độ dài khối cùng ngữ cảnh âm thanh bên trái và bên phải quanh mỗi khối. Đây là quy trình xử lý riêng, khác với mô hình Nemotron dạng luồng có cơ chế bộ nhớ đệm gốc. Khi tổng hợp bản chép lời của một bản ghi qua nhiều phần, ứng dụng cần giữ lại quy trình đã chọn và mốc thời gian gốc.

Dữ liệu huấn luyện kết hợp 10.000 giờ lời nói được con người chép lại và 660.000 giờ dữ liệu Granary có nhãn giả, giữ nguyên dấu câu và cách viết hoa. Nhà sản xuất cũng hỗ trợ tinh chỉnh checkpoint đã phát hành này trên một tập dữ liệu giọng nói khác theo quy trình mô hình được tài liệu hướng dẫn; checkpoint đã tinh chỉnh vẫn tách biệt với mô hình v3 cơ sở. Vì vậy, đầu ra văn bản của mô hình phù hợp làm giai đoạn chuyển giọng nói thành văn bản trong một quy trình lớn hơn. Kho lưu trữ cuộc họp có thể gắn bản chép lời với bản ghi; ứng dụng tìm kiếm có thể lập chỉ mục phần lời nói được nhận dạng; công cụ phụ đề có thể dùng siêu dữ liệu thời gian trả về.

Chất lượng nhận dạng thay đổi theo ngôn ngữ, giọng địa phương, tiếng ồn và kiểu lời nói. Nhà sản xuất đặc biệt lưu ý rằng từ vựng không xuất hiện trong huấn luyện có thể bị bỏ sót, còn các từ đơn lẻ hoặc câu chưa hoàn chỉnh cung cấp ngữ cảnh yếu hơn. Giữ âm thanh gốc để kiểm tra tên và thuật ngữ chuyên ngành, thay vì biến kết quả nhận dạng chưa chắc chắn thành một sự thật đã được xác minh.

Sản phẩm hữu ích là bản chép lời kèm thông tin thời gian đã yêu cầu. Tóm tắt, dịch thuật, phân tích người nói và thực hiện hành động là những tác vụ riêng của ứng dụng, không phải tính năng được hàm ý bởi tên chuyển giọng nói thành văn bản. Giữ rõ danh tính v3 và chế độ chú ý của nhà sản xuất, phân biệt với các checkpoint khác cũng như các bản chuyển đổi hoặc lượng tử hóa.