NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B adalah model pengenalan ucapan NVIDIA dengan 600 juta parameter untuk transkripsi langsung dan beban kerja audio rekaman. Model ini memperluas lini streaming berbahasa Inggris dengan pengondisian ID bahasa. Ucapan menjadi teks dalam bahasa masukan, dengan tanda baca dan kapitalisasi yang terintegrasi dalam keluaran.

Cakupan bahasa pembuatnya memiliki tiga tingkat. Sembilan belas locale siap transkripsi mencakup bahasa Inggris AS dan Britania Raya, Spanyol AS dan Spanyol, Prancis dari Prancis dan Kanada, Italia, Portugis Brasil dan Portugal, Belanda, Jerman, Turki, Rusia, Arab, Hindi, Jepang, Korea, Vietnam, dan Ukraina. Tiga belas locale dengan cakupan luas menambahkan bahasa Polandia, Swedia, Ceko, Norwegia Bokmål, Denmark, Bulgaria, Finlandia, Kroasia, Slovakia, Mandarin, Hungaria, Rumania, dan Estonia. Secara keseluruhan, 32 locale ini menghasilkan transkripsi tanpa penyetelan tambahan.

Delapan locale yang siap diadaptasi—Yunani, Lituania, Latvia, Malta, Slovenia, Ibrani, Thai, dan Norwegia Nynorsk—dikenali oleh tokenizer, tetapi memerlukan penyetelan dalam domain untuk mengaktifkan transkripsi penuh. Dengan demikian, angka 40 locale dari produsen bukan klaim bahwa keempat puluhnya memiliki kemampuan siap pakai yang sama. Checkpoint yang disesuaikan merupakan artefak terpisah dari model dasar.

Arsitekturnya menggabungkan encoder FastConformer 24 lapisan yang sadar cache dengan decoder RNN-T. Model ini mempertahankan status perhatian dan konvolusi encoder dari frame sebelumnya serta memproses setiap potongan audio baru tanpa berulang kali menghitung ulang jendela yang tumpang tindih. Sinyal ID bahasa diberikan bersama representasi akustik untuk mengondisikan transkrip atau memungkinkan model menyimpulkan bahasa.

Konfigurasi NeMo NVIDIA mendokumentasikan ukuran potongan 80, 160, 320, 560, dan 1120 milidetik. Pengaturan perhatian mengontrol seberapa banyak audio mendatang yang diterima sebuah potongan sebelum teks dikeluarkan, sehingga tugas dapat menyeimbangkan waktu tunggu dan konteks akustik. Ini merupakan konfigurasi streaming produsen, bukan waktu respons menyeluruh yang dijamin; implementasi dapat mengekspos subset dukungannya sendiri.

Siapkan audio WAV mono pada laju sampel 16 kHz dari processor produsen. Ketika bahasanya diketahui, gunakan pengondisian locale yang sesuai; mode otomatis mendeteksi bahasa yang diucapkan. Contoh pipeline dasar menggunakan prompt bahasa Inggris AS secara bawaan, sehingga perilaku multibahasa harus dikonfigurasi dengan sengaja, alih-alih diasumsikan dari contoh tersebut.

Dalam mode otomatis, alur kerja produsen dapat menambahkan tag bahasa setelah tanda baca akhir transkrip. Mempertahankan tag membuat bahasa tersedia bagi aplikasi yang menangani lalu lintas campuran bahasa; menghapusnya mengembalikan teks transkrip yang bersih. Pertahankan perbedaan antara kata-kata yang dikenali, tanda bacanya, dan metadata bahasa ini ketika menampilkan atau memproses hasil.

Aplikasi takarir dapat memasukkan audio secara berurutan, mengumpulkan transkrip, dan menggunakan teks yang sudah selesai untuk tampilan atau pemrosesan selanjutnya. Aplikasi suara dapat meneruskan ucapan yang dikenali ke tahap pemahaman bahasanya. Pekerjaan analisis panggilan dapat mempertahankan rekaman asli dan transkrip secara bersama agar nama, angka, dan istilah yang tidak dikenal tetap dapat diperiksa. Model ASR menyediakan transkrip; peringkasan, tindakan, dan pembuatan suara merupakan tahap aplikasi yang terpisah.

NVIDIA melatih model pada campuran data ucapan publik dan proprieter dengan label manusia dan sintetis yang dinormalisasi menjadi teks bertanda baca dan berkapitalisasi tepat. Panduan adaptasinya menekankan pencocokan label bahasa dan gaya teks, kemudian penilaian audio yang disisihkan untuk evaluasi pada pengaturan streaming yang ditujukan untuk penggunaan. Panduan itu menjelaskan adaptasi bahasa, aksen, dan domain tanpa menjadikan hasil penyesuaian tersebut sebagai sifat checkpoint asli.

Kartu model mengaitkan panjang rekaman praktis dengan memori yang tersedia, alih-alih memublikasikan satu batas durasi universal. Bedakan edisi multibahasa dari model yang hanya berbahasa Inggris, serta simpan bahasa dan konfigurasi streaming yang dipilih bersama hasil transkripsi. Artefak keluarannya adalah teks yang dikenali, dengan metadata bahasa produsen opsional, bukan jawaban percakapan umum.