Google: Gemini 3.5 Transcribe

Google Gemini 3.5 Transcribe là mô hình đồng bộ để chuyển tệp âm thanh hoàn chỉnh đã ghi sẵn thành lời nói dạng viết. Mô hình dựa trên khả năng hiểu âm thanh của Gemini, nhưng có quy ước đầu vào và đầu ra riêng cho chép lời. Phiên bản Gemini 3.5 Transcribe Live riêng nhận luồng âm thanh và trả kết quả tăng dần. Mô hình âm thanh ghi sẵn này tạo bản chép lời hoàn chỉnh, với tùy chọn thời gian từng từ hoặc gán người nói tùy cấu hình đã chọn.

Chuẩn bị bản ghi rõ, lời nói không bị cắt méo nghiêm trọng và có sự tách biệt đáng kể giữa các giọng khi có thể. Ví dụ đồng bộ của nhà sản xuất truyền âm thanh WAV dưới dạng byte tệp hoặc tài nguyên âm thanh đã lưu, kèm loại MIME được chỉ định. Giữ âm thanh gốc để kiểm tra. Kết quả dự kiến có thể là bản chép lời phỏng vấn đã kiểm tra, bản ghi căn chỉnh phụ đề hoặc văn bản đọc chính tả dễ đọc; quyết định sản phẩm cần có trước khi kết hợp tính năng làm đổi câu chữ hoặc thêm siêu dữ liệu.

Google ghi nhận tự động nhận diện ngôn ngữ với hơn 85 ngôn ngữ, gồm pha trộn ngôn ngữ trong một phiên. Mức hỗ trợ ngôn ngữ khác nhau, và gợi ý ngôn ngữ đã biết có thể cải thiện nhận dạng. Từ vựng tùy chỉnh cung cấp tên riêng, thương hiệu hoặc thuật ngữ chuyên môn có khả năng xuất hiện. Nhà sản xuất cho phép tối đa 1,000 thuật ngữ và lưu ý danh sách tập trung đến khoảng 100 thường hiệu quả nhất. Giữ thuật ngữ ít gặp liên quan đến bản ghi và đối chiếu với âm thanh thay vì giả định gợi ý từ vựng chứng minh thuật ngữ đã được nói.

VERBATIM là chế độ mặc định. Chế độ giữ từ đệm, lặp lại, khởi đầu bỏ dở và sửa lời khi nói để văn bản vẫn ghi lại câu chữ thực tế. Đây là chế độ cần dùng khi tác vụ yêu cầu dấu thời gian từng từ hoặc phân tách người nói. Với phỏng vấn, chẳng hạn, giữ lượt và thời gian gốc, rồi sửa tên và số lượng quan trọng bằng cách nghe đoạn liên quan. Bản tóm tắt hoặc bài viết trau chuốt sau đó có thể dùng bản ghi đã kiểm tra mà không âm thầm thay thế lời người nói.

Chế độ SMART được thiết kế cho văn bản đọc chính tả dễ đọc. Chế độ loại bỏ chỗ nói không trôi chảy, xử lý tự sửa lời ngay trong câu và tổ chức nội dung nói thành đoạn hoặc danh sách, chuẩn hóa ngày và số khi phù hợp. Danh sách công việc đọc thành tiếng có thể trở thành danh sách dễ đọc thay vì chuỗi lời chuyển ý. Việc xử lý đó thay đổi hình thức bản chép lời. Google nêu rõ SMART không tương thích với dấu thời gian từng từ và phân tách người nói, nên chọn khi sản phẩm cần là văn bản dễ đọc thay vì cố dùng làm bản ghi có thời gian và gán người nói.

Khi bật thời gian từng từ, phản hồi có các từ nhận dạng được cùng độ lệch thời điểm bắt đầu và kết thúc. Những thông tin này hỗ trợ tìm chỗ cần sửa trong bản ghi hoặc chuẩn bị phụ đề. Nhà sản xuất xác định sự đánh đổi về độ chính xác khi bật dấu thời gian từng từ. Kiểm tra cả văn bản lẫn căn chỉnh, nhất là quanh lời nói nhanh, chồng lấn hoặc thuật ngữ lạ. Bản chép lời có thời gian hữu ích giữ bản ghi từ cùng âm thanh nguồn thay vì coi câu trôi chảy là bằng chứng căn chỉnh đúng.

Phân tách người nói xác định và gắn nhãn các giọng trong âm thanh ghi sẵn, với tối đa 8 người nói được ghi trong tài liệu. Nhà sản xuất mô tả việc gán cho từ 3 người nói trở lên là thử nghiệm. Coi các nhãn là nhóm người nói được suy ra và kiểm tra điểm chuyển theo bản ghi. Nhãn người nói không phải bằng chứng độc lập về danh tính hoặc vai trò của một người. Nếu tác vụ cần tên, liên kết nhãn với thông tin bản ghi đã biết thay vì bịa danh tính từ những từ nhận dạng được.

Bảng tính năng của nhà sản xuất liệt kê cửa sổ âm thanh ghi sẵn 15 phút, với xử lý tệp bị giới hạn ở thời lượng đó khi bật tính năng như dấu thời gian hoặc phân tách người nói. Chuẩn bị tài liệu nguồn dài hơn thành các phân đoạn phù hợp, giữ thứ tự và vị trí thời gian gốc. Bản chép lời, từ có thời gian và phần gắn nhãn người nói là những dạng biểu diễn kết quả khác nhau; giữ dạng cần cho tác vụ. Không thay các giới hạn âm thanh riêng này bằng con số ngữ cảnh hoặc thời lượng của mô hình Gemini đa phương thức đa dụng. Google liệt kê định dạng SMART, dấu thời gian từng từ và phân tách người nói là tính năng thử nghiệm.

Quy ước đầu ra dành riêng cho chép lời. Định dạng SMART tạo văn bản dễ đọc nhưng không bổ sung quy ước phản hồi lược đồ JSON đa dụng, khả năng gọi công cụ hoặc quy trình trợ lý tuân thủ chỉ dẫn. Với sản phẩm cuối, đối chiếu câu chữ, con số và ý phủ định quan trọng với âm thanh, giữ mọi đoạn chưa rõ để sửa và lưu chế độ đã chọn cùng kết quả. Nhờ vậy, có thể thấy rõ sản phẩm ghi lại câu chữ nói gốc hay trình bày phiên bản biên tập dễ đọc được rút ra từ đó.