NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 adalah model pengenalan ucapan multibahasa NVIDIA dengan 600 juta parameter. Model ini memperluas model v2 yang hanya berbahasa Inggris menjadi 25 bahasa Eropa dan secara otomatis mendeteksi bahasa audio tanpa prompt bahasa terpisah. Hasilnya berupa transkrip ucapan dengan tanda baca dan kapitalisasi.

Bahasa yang didukung adalah Bulgaria, Kroasia, Ceko, Denmark, Belanda, Inggris, Estonia, Finlandia, Prancis, Jerman, Yunani, Hungaria, Italia, Latvia, Lituania, Malta, Polandia, Portugis, Rumania, Slovakia, Slovenia, Spanyol, Swedia, Rusia, dan Ukraina. Daftar ini merupakan milik edisi v3; jenis decoder dan varian bahasa Parakeet lainnya adalah model terpisah.

Arsitekturnya menggabungkan encoder FastConformer dengan decoder transduser token-dan-durasi. Encoder mengubah sinyal akustik menjadi representasi; decoder memprediksi token teks bersama durasi yang diperlukan untuk bergerak melalui frame audio. Perilaku TDT ini membedakannya dari decoder CTC dan RNN-T biasa dalam keluarga tersebut.

Siapkan audio satu kanal dengan laju sampel 16 kHz. Format masukan langsung pembuatnya adalah WAV dan FLAC, dan contoh implementasinya menggunakan processor untuk menyiapkan bentuk gelombang bagi pengenalan. Simpan pengenal rekaman dan audio asli bersama teks yang dikembalikan agar transkrip dapat diperiksa atau diselaraskan dengan sumber.

Pemberian stempel waktu menambahkan informasi waktu pada ucapan yang dikenali. Contoh NeMo NVIDIA mengembalikan waktu karakter, kata, dan segmen ketika pembuatan stempel waktu diaktifkan. Aplikasi takarir atau arsip dapat menggunakan batas segmen untuk menghubungkan suatu bagian dengan rekaman, atau waktu kata untuk menemukan frasa tertentu. Transkrip dan kolom waktunya merupakan bagian hasil yang berbeda dan harus tetap terkait.

Untuk rekaman panjang, konfigurasi perhatian berpengaruh. Pembuatnya menjelaskan hingga 24 menit dengan perhatian penuh pada A100 80 GB, dan hingga tiga jam dengan perhatian lokal. Contoh format panjangnya mengalihkan encoder ke perhatian lokal dengan konteks kiri dan kanan yang dibatasi. Durasi tersebut menjelaskan konfigurasi produsen tertentu, bukan satu batas tanpa syarat untuk setiap deployment.

Produsennya juga memublikasikan alur kerja inferensi per potongan untuk penggunaan streaming. Contohnya menentukan panjang potongan serta konteks audio kiri dan kanan di sekitar setiap potongan. Ini merupakan resep pemrosesan yang berbeda dari model streaming Nemotron bawaan yang sadar cache. Aplikasi harus mempertahankan resep yang dipilih dan acuan waktu asli ketika mengumpulkan transkrip rekaman lintas bagian.

Campuran pelatihannya mencakup 10.000 jam ucapan yang ditranskripsikan manusia dan 660.000 jam data Granary berlabel semu, dengan tanda baca dan kapitalisasi dipertahankan. Produsennya juga mendukung penyetelan checkpoint rilis ini pada dataset ucapan lain melalui alur kerja model yang didokumentasikan; checkpoint yang disetel tetap berbeda dari model dasar v3. Karena itu, keluaran teks model cocok sebagai tahap ucapan-ke-teks dalam alur kerja yang lebih besar. Arsip rapat dapat melampirkan transkrip pada rekaman; aplikasi pencarian dapat mengindeks bagian yang dikenali; alat takarir dapat menggunakan metadata waktu yang dikembalikan.

Kualitas pengenalan bervariasi menurut bahasa, aksen, kebisingan, dan jenis ucapan. Produsennya secara khusus menyatakan bahwa kosakata yang tidak terwakili selama pelatihan dapat terlewat dan bahwa kata terpisah atau kalimat tidak lengkap memberikan konteks yang lebih lemah. Pertahankan audio asli untuk meninjau nama dan istilah khusus, alih-alih mengubah pengenalan yang tidak pasti menjadi fakta terverifikasi.

Artefak yang berguna adalah transkrip dengan informasi waktu yang diminta. Ringkasan, terjemahan, analisis pembicara, dan tindakan merupakan tugas aplikasi yang terpisah, bukan fitur yang tersirat dari nama ucapan-ke-teks. Bedakan identitas v3 dan mode perhatian produsen dari checkpoint lain serta artefak hasil konversi atau kuantisasi.