Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 là mô hình cảm nhận âm thanh của Meta để chép lời nói, phát hiện ranh giới phát ngôn và xác định người nói cho từng lượt. Mô hình thuộc dòng Muse Spark và kết hợp nhận dạng giọng nói, phân tách người nói và phát hiện điểm kết thúc lượt nói ngay trong mô hình. Đầu ra là văn bản được nhận dạng, kèm thông tin thời gian và người nói có sẵn trong chế độ đã chọn.

Mô hình xử lý âm thanh theo từng khối 80 mili giây và quyết định tiếp tục lắng nghe hay xuất văn bản. Cơ chế độ trễ thích ứng cho phép mô hình chờ thêm âm thanh khi một từ khó xác định hơn. Nhờ đó, mô hình tạo văn bản tạm thời trong lúc lời nói tiếp tục đến, rồi trả về kết quả chép lời hoàn chỉnh. Hãy coi giả thuyết tạm thời và lượt nói hoàn chỉnh là hai giai đoạn khác nhau của trải nghiệm nghe.

Có ba chế độ để lựa chọn. Push-to-talk là chế độ mặc định cho một phát ngôn đơn lẻ có điểm bắt đầu và kết thúc do người dùng kiểm soát, chẳng hạn truy vấn bằng giọng nói hoặc một đoạn đọc chính tả ngắn. Endpointing cho phép mô hình phát hiện ranh giới lượt nói và trả về một bản chép lời hoàn chỉnh cho mỗi đoạn được phát hiện. Diarization gán nhãn người nói cho lời nói được nhận dạng và dành cho bản ghi có nhiều người nói, thay vì tối ưu cho việc luân phiên các lệnh thoại với tốc độ cao nhất.

Với một đoạn ghi âm, quy trình chép lời từ tệp trả về bản chép lời hoàn chỉnh trong một yêu cầu. Kết quả mặc định là JSON chứa bản chép lời và thời lượng âm thanh, kèm mảng turns trong các chế độ endpointing và diarization. Mỗi lượt có thể chứa mã định danh, thời điểm bắt đầu và kết thúc tính bằng mili giây cùng văn bản được nhận dạng. Nhãn người nói xuất hiện trong chế độ diarization. Push-to-talk tạo bản chép lời hoàn chỉnh mà không có các lượt được phát hiện trong mảng đó. Giao diện xử lý tệp ghi âm của nhà sản xuất cũng có thể trả về văn bản thuần hoặc một luồng sự kiện chép lời. Văn bản thuần giữ các lượt được phát hiện trên những dòng riêng và có thể bao gồm nhãn người nói; luồng sự kiện kết thúc sau sự kiện cuối cùng mà không có bản tổng hợp JSON riêng. Chế độ delta partial của luồng trả về văn bản tăng dần, còn sự kiện bản chép lời cuối cùng chứa toàn bộ câu chữ.

Chuẩn bị tệp RIFF/WAVE chứa âm thanh PCM số nguyên 16 bit, đơn kênh, ở tần số lấy mẫu 16 hoặc 24 kHz. Tần số gốc của mô hình là 24 kHz và giao diện cũng chấp nhận 16 kHz. Hãy chuyển các định dạng chứa hoặc cách mã hóa khác sang dạng WAV được hỗ trợ này trước khi cung cấp bản ghi. Cấu hình chép lời từ tệp cho phép âm thanh dài tối đa 10 phút và tổng phần thân yêu cầu tối đa 32 MB. Lưu bản ghi gốc và mọi bản chuyển đổi cùng với bản chép lời trả về để có thể nghe lại và đối chiếu sau này.

Quy trình âm thanh trực tiếp sử dụng PCM thô có dấu 16 bit, little-endian, đơn kênh, với âm thanh 16 hoặc 24 kHz được gửi ở nhịp độ xấp xỉ thời gian thực. Khoảng thời gian phiên được tài liệu quy định là 60 phút. Meta mô tả khả năng tiếp nhận âm thanh gốc dài hơn một giờ; các giới hạn được tài liệu quy định cho tệp và phiên trực tiếp vẫn là những ranh giới riêng của từng giao diện. Chọn quy trình từ tệp ghi âm hoặc quy trình trực tiếp tùy theo âm thanh đã hoàn tất hay vẫn đang được thu, đồng thời gắn kết quả của các phiên riêng với đúng đoạn đầu vào của chúng.

Muse Voice Transcribe được huấn luyện trên hơn 70 ngôn ngữ, trong khi giao diện nhận dạng được tài liệu mô tả liệt kê 25 ngôn ngữ được hỗ trợ. Trong số đó có tiếng Anh, Pháp, Đức, Tây Ban Nha, Ả Rập, Trung Quốc phổ thông, Hindi, Nhật, Hàn, Ý và Bồ Đào Nha. Mô hình nhận dạng được việc chuyển đổi ngôn ngữ trong cùng một câu hoặc giữa các câu. Gợi ý ngôn ngữ có thể nêu các ngôn ngữ dự kiến xuất hiện trong âm thanh, nhưng chỉ định hướng việc nhận dạng chứ không buộc bản chép lời về một ngôn ngữ duy nhất.

Gợi ý từ vựng giúp nhận dạng các thuật ngữ sản phẩm, từ viết tắt, tên người hoặc địa danh quan trọng trong bản ghi. Cung cấp đúng những từ và cách viết mà bạn dự kiến sẽ nghe thấy. Danh sách từ khóa định hướng nhận dạng nhưng không bảo đảm cách viết chính xác, vì vậy hãy đối chiếu các thuật ngữ mang tính quyết định với âm thanh. Gợi ý ngôn ngữ và từ khóa được chọn khi bắt đầu chép lời; hãy giữ chúng phù hợp với bản ghi đó thay vì thay đổi ý nghĩa của chúng khi phiên đang chạy.

Mô hình hỗ trợ phân tách người nói cho các cuộc hội thoại có hơn 20 người nói. Những nhãn như A và B xác định người nói trong phạm vi một lần chép lời. Chúng không phải tên đã được xác minh và không chứng minh rằng cùng một nhãn ở phiên khác chỉ cùng một người. Với một nhiệm vụ phân tích cuộc họp ban đầu, hãy yêu cầu các lượt nói có gán người nói, giữ lại bản ghi và dùng nhãn để tổ chức nội dung thảo luận trước khi gán tên người tham gia thực thông qua quy trình của ứng dụng.

Bản chép lời tạm thời trong phiên trực tiếp có thể thay đổi khi có thêm lời nói. Ở chế độ cumulative, mỗi kết quả tạm thời thay thế giả thuyết trước đó thay vì cộng thêm một bản sao. Điểm kết thúc lời nói được phát hiện đánh dấu một ranh giới, còn kết quả lượt nói hoàn chỉnh cung cấp văn bản cuối cùng và có thể khác kết quả tạm thời gần nhất. Giữ các lượt chồng lấn gắn với mã định danh của từng lượt và tiếp nhận các kết quả hoàn chỉnh trước khi coi bản chép lời là đã xong. Khi đầu vào trực tiếp kết thúc, hãy báo kết thúc đầu vào và tiếp tục nhận cho đến khi bên tạo kết quả gửi hết những kết quả còn chờ. Đóng kết nối ngay có thể làm mất các kết quả đó; một ranh giới lời nói được phát hiện chỉ kết thúc một lượt, không kết thúc toàn bộ phiên.

Thông tin thời gian được cung cấp ở cấp lượt nói. Cấu hình này không cung cấp dấu thời gian cho từng từ hoặc điểm tin cậy; tiến độ xử lý âm thanh cũng không phải dấu thời gian của một từ cụ thể. Phát hiện sự kiện âm thanh, phát hiện cảm xúc và định dạng lại bản chép lời cũng nằm ngoài cấu hình đầu ra được tài liệu mô tả. Dùng các khoảng thời gian trả về của từng lượt để tạo dòng thời gian người nói hoặc rà soát theo đoạn, đồng thời giữ nguyên các từ được nhận dạng nếu một bước biên tập riêng về sau tạo ra ghi chú dễ đọc hơn.

Những kết quả hữu ích bao gồm đoạn đọc chính tả hoàn chỉnh, bản chép truy vấn bằng giọng nói, cuộc hội thoại có gán người nói hoặc dòng thời gian các phát ngôn. Đối chiếu tên, số và thuật ngữ kỹ thuật với bản ghi gốc, giữ mối liên hệ giữa chế độ và thông tin thời gian, đồng thời lưu đầy đủ các lượt để rà soát. Bản chép lời cho biết những gì được nhận dạng trong âm thanh; trả lời câu hỏi được nói, dịch câu hỏi đó hoặc chuyển nội dung thành biên bản họp là công việc của bước ứng dụng tiếp theo.