Fish Audio: Transcribe 1 Pro

Transcribe 1 Pro là mô hình chuyển giọng nói thành văn bản của Fish Audio cho đoạn ngắn, hội thoại nhiều người và bản ghi dài. Mô hình nhận âm thanh đã ghi và trả về bản chép lời, với thời gian tùy chọn và lượt nói có cấu trúc. Đặc điểm phân biệt là đánh dấu đổi người nói trong văn bản cùng dấu hiệu cảm xúc hoặc sự kiện giọng nói, giữ nhiều cấu trúc hội thoại của bản ghi hơn một chuỗi từ đơn thuần.

Với phỏng vấn, họp hoặc podcast, giữ toàn bộ hội thoại trong một tệp để người nói xuất hiện lại có thể giữ nhãn nhất quán trong phản hồi. Sản phẩm xem xét hữu ích là bản chép lời liên kết với bản ghi gốc, các lượt hiển thị riêng và mốc thời gian để kiểm tra trích dẫn. Tóm tắt hoặc danh sách việc cần làm là bước ứng dụng sau: giữ tách khỏi bản chép lời để nguồn lời nói vẫn có cho đối chiếu.

Nhà sản xuất nhận bản ghi đến 60 phút và mô tả xử lý tệp dài bằng âm thanh nén như MP3, Opus hoặc AAC. Định dạng hỗ trợ gồm WAV, MP3, AAC trong M4A hoặc MP4, FLAC, Ogg với Opus hoặc Vorbis, WebM/Matroska và MOV. Với tệp video, mô hình dùng đường âm thanh đầu tiên. AIFF, CAF, WMA, AMR, AC-3 và PCM thô không có header không được hỗ trợ. Mỗi yêu cầu cung cấp một tệp âm thanh; kết quả về sau khi toàn bộ bản ghi được chép lời, và bản ghi dài có thể mất vài phút. Đoạn ngắn hơn khoảng 0,08 giây bị từ chối.

Phản hồi của nhà sản xuất chứa toàn văn, thời lượng bản ghi tính bằng giây và mảng segments. Pro đánh dấu đổi người nói trực tiếp trong văn bản bằng nhãn như <|speaker:0|> và <|speaker:1|>; nhãn áp dụng cho văn bản tiếp theo đến dấu kế tiếp. Đây là định danh trong một phản hồi, không phải tên hoặc danh tính đã xác minh để ghép giữa các yêu cầu. Nếu bản chép lời không có dấu người nói, hướng dẫn coi đó là kết quả một người nói. Giữ mọi văn bản trước dấu đầu tiên cùng lượt đầu thay vì bỏ đi.

Mốc thời gian cấp từ là tùy chọn. Trong yêu cầu gửi nhà sản xuất, ignore_timestamps mặc định true; đặt false yêu cầu segments có text, start và end tính bằng giây. Segments thường là một từ, hoặc một hay vài ký tự trong tiếng Trung và tiếng Nhật. Văn bản segments bỏ dấu câu, dấu người nói và dấu hiệu sự kiện, đồng thời có thể chuẩn hóa một giá trị được nói khác với toàn văn. Segment của từ có thể có cùng thời điểm bắt đầu và kết thúc. Mảng segments rỗng có thể nghĩa là không yêu cầu thời gian, không tìm thấy lời nói hoặc thời gian tạm thời chưa có. Dùng toàn văn cho cách diễn đạt dễ đọc và segments để căn chỉnh thay vì giả định hai chuỗi khớp từng ký tự.

Thiết lập diarize mặc định auto. Khi yêu cầu thời gian và diarize không phải false, Pro còn trả về speaker_turns. Mỗi lượt chứa nhãn người nói, văn bản và thời điểm bắt đầu/kết thúc, giữ dấu câu và các dấu hiệu được giữ lại nhưng không có dấu người nói nội tuyến. Nếu thời gian từ chưa có, thời gian lượt có thể gần đúng và bao trùm toàn bản ghi; các lượt liền kề không nhất thiết liên tục hoặc không chồng lấn. Tắt diarize bỏ danh sách lượt có cấu trúc nhưng vẫn giữ dấu người nói trong toàn văn. Số người nói đã biết, hoặc số tối thiểu và tối đa, có thể hướng dẫn phân lượt người nói cho bản ghi dài theo mức cố gắng tốt nhất. Không thể kết hợp số chính xác với các cận số lượng, và không thể dùng gợi ý số lượng khi tắt diarize.

Dấu hiệu cảm xúc và sự kiện giọng nói xuất hiện dưới dạng văn bản trong ngoặc vuông, ví dụ [laughter], cùng lời nói được nhận dạng. Đây là suy luận từ âm thanh, không phải từ người dùng cần thêm trước khi chép lời. Thiết lập tag_audio_events của Pro mặc định true; tắt sẽ bỏ những dấu hiệu đó khỏi bản chép lời và văn bản lượt mà không đổi thời gian. Không có trường cảm xúc riêng hoặc tập giá trị cảm xúc cố định. Giữ bản chép lời có chú thích khi cách một câu nói phát ra quan trọng, dùng bản không có dấu hiệu khi sản phẩm phía sau chỉ cần các từ được nói.

Ngôn ngữ được phát hiện tự động. Gợi ý ISO 639-1 viết thường tùy chọn không ép dịch hoặc thay đổi bản chép lời Pro. Nếu không xác định được ngôn ngữ, mã trả về có thể phản ánh gợi ý mà không xác minh với âm thanh. Nhà sản xuất báo cáo một ngôn ngữ, không phải danh sách mọi ngôn ngữ trong bản ghi trộn tiếng. Giữ cách diễn đạt gốc và siêu dữ liệu ngôn ngữ cùng nhau khi chuẩn bị kho lưu trữ có thể tìm kiếm, nhất là khi các phần hội thoại đổi ngôn ngữ.

Với phụ đề, nhóm các từ liên tiếp có thời gian thành cue SRT hoặc WebVTT dễ đọc thay vì một phụ đề cho mỗi từ. Tách cue quanh khoảng dừng, chọn độ dài và thời gian hiển thị phù hợp trình phát cùng đối tượng xem. Ranh giới lượt nói có thể giữ người nói khác nhau trong cue riêng. Kiểm tra kết quả thời gian rỗng và các cue mà thời điểm kết thúc phải sau thời điểm bắt đầu. Định dạng phụ đề, tên cho nhãn người nói vô danh và mọi tóm tắt sau là sản phẩm ứng dụng xây từ kết quả chép lời.

Với quy trình bản ghi thực tế, quyết định trước khi chép lời cần bản chép dễ đọc đơn thuần, lượt hội thoại có chú thích hay phụ đề có thời gian. Giữ định danh âm thanh cùng kết quả, toàn văn được trả về khi dấu câu và dấu hiệu quan trọng, dùng các trường thời gian có cấu trúc để điều hướng. Khả năng bản ghi dài và nhiều người nói của Pro khác với mô hình Transcribe 1 chung cho bản ghi ngắn; không nên coi giới hạn và điều khiển của chúng thay thế cho nhau.