Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 adalah model persepsi audio Meta untuk mentranskripsikan ucapan, mendeteksi batas ujaran, dan mengatribusikan giliran bicara kepada pembicara. Model ini termasuk keluarga model Muse Spark dan menggabungkan pengenalan, diarization, serta endpointing di dalam model. Keluarannya berupa teks yang dikenali, dengan informasi waktu dan pembicara yang tersedia dalam mode yang dipilih.

Model ini memproses audio dalam potongan 80 milidetik dan menentukan kapan harus terus mendengarkan atau mengeluarkan teks. Penundaan adaptifnya memungkinkan model menunggu audio tambahan ketika suatu kata lebih sulit dipastikan. Ini menghasilkan teks parsial saat ucapan masuk, kemudian diikuti hasil transkripsi yang selesai. Perlakukan hipotesis parsial dan giliran yang telah selesai sebagai tahap berbeda dalam pengalaman mendengarkan.

Pilih di antara tiga mode. Push-to-talk adalah mode bawaan untuk satu ujaran yang terkontrol, seperti pertanyaan suara atau teks dikte singkat. Endpointing memungkinkan model mendeteksi batas giliran bicara dan mengembalikan satu transkrip lengkap untuk setiap segmen yang terdeteksi. Diarization mengatribusikan ucapan yang dikenali ke label pembicara dan ditujukan untuk rekaman dengan beberapa pembicara, bukan pergantian giliran perintah suara yang paling cepat.

Untuk klip rekaman, alur kerja transkripsi berkas mengembalikan transkrip lengkap dalam satu permintaan. Hasil bawaan berupa JSON yang memuat transkrip dan durasi audio, dengan array turns dalam mode endpointing dan diarization. Setiap giliran dapat memuat pengenal, waktu mulai dan akhir dalam milidetik, serta teks yang dikenali. Label pembicara tersedia dalam mode diarization. Push-to-talk menghasilkan transkrip lengkap tanpa giliran yang terdeteksi di dalam array tersebut. Antarmuka berkas rekaman dari produsen juga dapat mengembalikan teks biasa atau aliran peristiwa transkripsi. Teks biasa menempatkan giliran yang terdeteksi pada baris terpisah dan dapat menyertakan label pembicara; aliran peristiwa berakhir setelah peristiwa terakhirnya tanpa ringkasan JSON terpisah. Mode parsial delta-nya mengembalikan teks secara bertahap, sedangkan peristiwa transkrip akhir memuat kata-kata lengkap.

Siapkan berkas RIFF/WAVE yang memuat audio PCM mono berupa integer 16-bit pada 16 atau 24 kHz. Laju asli model adalah 24 kHz, dan antarmukanya juga menerima 16 kHz. Konversikan kontainer atau pengodean lain ke bentuk WAV yang didukung tersebut sebelum memberikan rekaman. Profil transkripsi berkas mengizinkan audio hingga 10 menit dan total badan permintaan hingga 32 MB. Pertahankan hubungan rekaman asli dan setiap hasil konversi dengan transkrip yang dikembalikan untuk peninjauan melalui mendengarkan di kemudian hari.

Alur kerja audio langsung menggunakan PCM mono mentah bertanda 16-bit little-endian, dengan audio 16 atau 24 kHz yang dikirim dengan kecepatan kira-kira waktu nyata. Jendela sesi yang didokumentasikan adalah 60 menit. Meta menjelaskan masukan audio asli yang melebihi satu jam; batas berkas dan sesi langsung yang didokumentasikan tetap merupakan batas antarmuka terpisah. Pilih alur kerja berkas rekaman atau langsung sesuai apakah audio sudah lengkap atau masih direkam, dan pertahankan hasil dari sesi terpisah terkait dengan segmen masukannya masing-masing.

Muse Voice Transcribe dilatih dalam lebih dari 70 bahasa, sedangkan antarmuka pengenalan yang didokumentasikan merinci 25 bahasa yang didukung. Bahasa tersebut mencakup Inggris, Prancis, Jerman, Spanyol, Arab, Mandarin, Hindi, Jepang, Korea, Italia, dan Portugis. Model ini mengenali peralihan bahasa di dalam atau antar kalimat. Petunjuk bahasa dapat menyebutkan bahasa yang diperkirakan ada dalam audio, tetapi petunjuk tersebut mengarahkan pengenalan, bukan memaksa transkrip menjadi satu bahasa.

Petunjuk kosakata membantu mengenali istilah produk, akronim, nama, atau tempat yang penting dalam rekaman. Berikan kata dan ejaan aktual yang Anda perkirakan akan terdengar. Daftar kata kunci memengaruhi pengenalan tanpa menjamin ejaan yang persis, jadi periksa istilah yang menentukan dengan membandingkannya terhadap audio. Petunjuk bahasa dan kata kunci dipilih pada awal transkripsi; jaga agar sesuai dengan rekaman tersebut, alih-alih mengubah maknanya ketika sesi sedang berjalan.

Model ini mendukung diarization untuk percakapan dengan lebih dari 20 pembicara. Label seperti A dan B mengidentifikasi pembicara dalam satu transkripsi. Label tersebut bukan nama terverifikasi dan tidak membuktikan bahwa sebuah label merujuk pada orang yang sama dalam sesi lain. Untuk tugas analisis rapat asli, mintalah giliran yang diatribusikan kepada pembicara, pertahankan rekaman, dan gunakan label untuk mengatur diskusi sebelum menetapkan nama peserta yang sebenarnya melalui alur kerja yang menaunginya.

Transkrip parsial langsung dapat berubah seiring masuknya lebih banyak ucapan. Dalam mode kumulatif, setiap hasil parsial menggantikan hipotesis sebelumnya, bukan menambahkan salinan lain. Akhir ucapan yang terdeteksi menandai batas, sedangkan hasil giliran yang selesai menyediakan teks akhir dan dapat berbeda dari hasil parsial terakhir. Pertahankan giliran yang tumpang tindih terkait dengan pengenal gilirannya, dan gunakan hasil yang sudah selesai sebelum memperlakukan transkrip sebagai tuntas. Ketika masukan langsung berakhir, berikan sinyal akhir masukan dan terus menerima hingga produsen selesai mengeluarkan hasil yang tertunda. Menutup koneksi langsung dapat membuang hasil tersebut; batas ucapan yang terdeteksi mengakhiri satu giliran, bukan seluruh sesi.

Penanda waktu tersedia pada tingkat giliran. Profil ini tidak menyediakan stempel waktu tingkat kata atau skor keyakinan, dan progres pemrosesan audio bukan stempel waktu untuk kata tertentu. Deteksi peristiwa suara, deteksi emosi, dan pemformatan ulang transkrip juga berada di luar profil keluaran yang didokumentasikan. Gunakan interval giliran yang dikembalikan untuk linimasa pembicara atau peninjauan tingkat segmen, dan pertahankan kata-kata yang dikenali jika langkah penyuntingan terpisah kemudian membuat catatan yang lebih rapi.

Artefak yang berguna mencakup teks dikte yang selesai, transkrip pertanyaan suara, percakapan dengan atribusi pembicara, atau linimasa ujaran. Bandingkan nama, angka, dan istilah teknis dengan rekaman asli, pertahankan mode serta keterkaitan waktunya, dan sediakan giliran lengkap untuk ditinjau. Transkripsi menetapkan apa yang dikenali dalam audio; menjawab pertanyaan lisan, menerjemahkannya, atau mengubahnya menjadi catatan rapat merupakan tugas langkah aplikasi berikutnya.