Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 ialah model persepsi audio Meta untuk mentranskripsikan pertuturan, mengesan sempadan ujaran dan mengaitkan giliran dengan penutur. Model ini tergolong dalam keluarga model Muse Spark dan menggabungkan pengecaman, diarisasi dan pengesanan penghujung ujaran dalam model. Outputnya ialah teks yang dikenal pasti bersama maklumat pemasaan dan penutur yang tersedia dalam mod yang dipilih.

Model ini memproses audio dalam cebisan 80 milisaat dan menentukan masa untuk terus mendengar atau mengeluarkan teks. Kelewatan adaptifnya membolehkan model menunggu audio tambahan apabila sesuatu perkataan lebih sukar dikenal pasti. Ini menghasilkan teks separa semasa pertuturan diterima, diikuti hasil transkripsi yang lengkap. Anggap hipotesis separa dan giliran yang lengkap sebagai peringkat berbeza dalam pengalaman mendengar.

Pilih antara tiga mod. Push-to-talk ialah lalai untuk satu ujaran terkawal, seperti pertanyaan suara atau petikan imlak ringkas. Endpointing membolehkan model mengesan sempadan giliran pertuturan dan mengembalikan satu transkrip lengkap bagi setiap segmen yang dikesan. Diarization mengaitkan pertuturan yang dikenal pasti dengan label penutur dan ditujukan untuk rakaman berbilang penutur, bukannya penggiliran arahan suara yang terpantas.

Untuk klip rakaman, aliran kerja transkripsi fail mengembalikan transkrip lengkap dalam satu permintaan. Hasil lalai ialah JSON yang mengandungi transkrip dan tempoh audio, dengan tatasusunan turns dalam mod endpointing dan diarization. Setiap giliran boleh membawa pengecam, masa mula dan tamat dalam milisaat serta teksnya yang dikenal pasti. Label penutur hadir dalam mod diarization. Push-to-talk menghasilkan transkrip lengkap tanpa giliran yang dikesan dalam tatasusunan tersebut. Antara muka fail rakaman pengeluar juga boleh mengembalikan teks biasa atau aliran peristiwa transkripsi. Teks biasa meletakkan giliran yang dikesan pada baris berasingan dan boleh menyertakan label penutur; aliran peristiwa tamat selepas peristiwa terakhirnya tanpa ringkasan JSON berasingan. Mod separa delta mengembalikan teks secara bertokok, manakala peristiwa transkrip akhir mengandungi keseluruhan teks.

Sediakan fail RIFF/WAVE yang mengandungi audio PCM integer 16-bit mono pada 16 atau 24 kHz. Kadar natif model ialah 24 kHz, dan antara muka turut menerima 16 kHz. Tukarkan bekas atau pengekodan lain kepada bentuk WAV yang disokong itu sebelum membekalkan rakaman. Profil transkripsi fail membenarkan audio sehingga 10 minit dan jumlah badan permintaan sehingga 32 MB. Simpan rakaman asal dan sebarang penukaran bersama transkrip yang dikembalikan untuk semakan pendengaran kemudian.

Aliran kerja audio langsung menggunakan PCM mono mentah bertanda 16-bit little-endian, dengan audio 16 atau 24 kHz dihantar pada kadar yang menghampiri masa nyata. Tetingkap sesi yang didokumenkan ialah 60 minit. Meta menerangkan input audio natif yang melebihi satu jam; had fail dan sesi langsung yang didokumenkan kekal sebagai sempadan antara muka yang berasingan. Pilih aliran kerja fail rakaman atau langsung berdasarkan sama ada audio sudah lengkap atau masih dirakam, dan kaitkan hasil daripada sesi berasingan dengan segmen input masing-masing.

Muse Voice Transcribe dilatih merentas lebih 70 bahasa, manakala antara muka pengecaman yang didokumenkan menyenaraikan 25 bahasa yang disokong. Ini termasuk bahasa Inggeris, Perancis, Jerman, Sepanyol, Arab, Cina Mandarin, Hindi, Jepun, Korea, Itali dan Portugis. Model ini mengenal pasti peralihan bahasa dalam atau antara ayat. Petunjuk bahasa boleh menamakan bahasa yang dijangka dalam audio, tetapi ia memandu pengecaman dan bukannya memaksa transkrip menjadi satu bahasa.

Petunjuk kosa kata membantu pengecaman istilah produk, akronim, nama atau tempat yang penting dalam rakaman. Bekalkan perkataan dan ejaan sebenar yang anda jangka akan didengar. Senarai kata kunci mempengaruhi pengecaman tanpa menjamin ejaan yang tepat, maka semak istilah penentu terhadap audio. Petunjuk bahasa dan kata kunci dipilih pada permulaan transkripsi; pastikan ia sesuai dengan rakaman tersebut dan bukannya mengubah maknanya ketika sesi sedang berjalan.

Model ini menyokong diarisasi untuk perbualan dengan lebih 20 penutur. Label seperti A dan B mengenal pasti penutur dalam satu transkripsi. Label itu bukan nama yang disahkan dan tidak membuktikan bahawa sesuatu label merujuk kepada orang yang sama dalam sesi lain. Untuk tugas analisis mesyuarat asal, minta giliran yang dikaitkan dengan penutur, simpan rakaman dan gunakan label untuk menyusun perbincangan sebelum menetapkan nama peserta sebenar melalui aliran kerja sekeliling.

Transkrip separa langsung boleh berubah apabila lebih banyak pertuturan diterima. Dalam mod kumulatif, setiap hasil separa menggantikan hipotesis sebelumnya dan bukannya menambah salinan baharu. Penghujung pertuturan yang dikesan menandakan sempadan, manakala hasil giliran lengkap membekalkan teks akhir dan boleh berbeza daripada hasil separa terakhir. Kaitkan giliran yang bertindih dengan pengecam gilirannya, dan proses hasil lengkap sebelum menganggap transkrip telah selesai. Apabila input langsung tamat, isyaratkan penghujung input dan teruskan penerimaan sehingga pengeluar selesai mengeluarkan hasil yang tertangguh. Menutup sambungan serta-merta boleh menyebabkan hasil tersebut hilang; sempadan pertuturan yang dikesan menamatkan giliran, bukannya seluruh sesi.

Pemasaan diberikan pada peringkat giliran. Profil ini tidak membekalkan cap masa per perkataan atau skor keyakinan, dan kemajuan pemprosesan audio bukan cap masa untuk perkataan tertentu. Pengesanan peristiwa bunyi, pengesanan emosi dan pemformatan semula transkrip juga berada di luar profil output yang didokumenkan. Gunakan selang giliran yang dikembalikan untuk garis masa penutur atau semakan pada peringkat segmen, dan kekalkan perkataan yang dikenal pasti jika langkah penyuntingan berasingan kemudian menghasilkan nota yang lebih kemas.

Artifak yang berguna termasuk petikan imlak lengkap, transkrip pertanyaan suara, perbualan yang dikaitkan dengan penutur atau garis masa ujaran. Bandingkan nama, nombor dan istilah teknikal dengan rakaman asal, kekalkan kaitan mod dan pemasaan, serta pastikan giliran lengkap tersedia untuk semakan. Transkripsi menetapkan perkara yang dikenal pasti dalam audio; menjawab soalan lisan, menterjemahkannya atau menukarkannya kepada nota mesyuarat merupakan langkah aplikasi yang seterusnya.