NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 ialah model pengecaman pertuturan berbilang bahasa NVIDIA dengan 600 juta parameter. Model ini memperluas model v2 bahasa Inggeris sahaja kepada 25 bahasa Eropah dan mengesan bahasa audio secara automatik tanpa prom bahasa berasingan. Hasilnya ialah transkrip pertuturan, dengan tanda baca dan huruf besar.

Bahasa yang disokong ialah bahasa Bulgaria, Croatia, Czech, Denmark, Belanda, Inggeris, Estonia, Finland, Perancis, Jerman, Yunani, Hungary, Itali, Latvia, Lithuania, Malta, Poland, Portugis, Romania, Slovak, Slovenia, Sepanyol, Sweden, Rusia dan Ukraine. Senarai ini khusus kepada edisi v3; jenis penyahkod dan varian bahasa Parakeet lain ialah model yang berasingan.

Seni bina menggabungkan pengekod FastConformer dengan penyahkod transduser token dan tempoh. Pengekod menukar isyarat akustik menjadi perwakilan; penyahkod meramalkan token teks bersama tempoh yang diperlukan untuk bergerak melalui bingkai audio. Tingkah laku TDT ini membezakannya daripada penyahkod CTC dan RNN-T biasa dalam keluarga tersebut.

Sediakan audio saluran tunggal yang disampel pada 16 kHz. Format input langsung pengeluar ialah WAV dan FLAC, dan contoh pelaksanaannya menggunakan pemproses untuk menyediakan bentuk gelombang bagi pengecaman. Simpan pengecam rakaman dan audio asal bersama teks yang dikembalikan supaya transkrip boleh disemak atau dijajarkan dengan sumber.

Penambahan cap masa membekalkan maklumat masa kepada pertuturan yang dikenal pasti. Contoh NeMo NVIDIA mengembalikan masa aksara, perkataan dan segmen apabila penjanaan cap masa didayakan. Aplikasi sari kata atau arkib boleh menggunakan sempadan segmen untuk menghubungkan petikan dengan rakaman, atau masa perkataan untuk mencari frasa tertentu. Transkrip dan medan masanya ialah bahagian hasil yang berbeza dan perlu kekal berkait.

Untuk rakaman panjang, konfigurasi perhatian penting. Pengeluar menerangkan sehingga 24 minit dengan perhatian penuh pada A100 80 GB, dan sehingga tiga jam dengan perhatian setempat. Contoh bentuk panjangnya menukar pengekod kepada perhatian setempat dengan konteks kiri dan kanan yang terhad. Tempoh itu menerangkan konfigurasi pengeluar tertentu dan bukannya satu had tanpa syarat untuk setiap penggunaan.

Pengeluar turut menerbitkan aliran kerja inferens berketul untuk penggunaan penstriman. Contohnya menetapkan panjang ketul dan konteks audio kiri serta kanan di sekeliling setiap ketul. Ini ialah resipi pemprosesan yang berbeza daripada model penstriman Nemotron natif yang sedar cache. Aplikasi perlu mengekalkan resipi yang dipilih dan rujukan masa asal apabila mengumpulkan transkrip rakaman merentas bahagian.

Campuran latihan merangkumi 10,000 jam pertuturan yang ditranskripsikan manusia dan 660,000 jam data Granary berlabel pseudo, dengan tanda baca dan huruf besar dikekalkan. Pengeluar turut menyokong penalaan halus checkpoint yang dikeluarkan ini pada set data pertuturan lain melalui aliran kerja modelnya yang didokumenkan; checkpoint yang ditala kekal berbeza daripada model asas v3. Oleh itu, output teks model sesuai sebagai peringkat pertuturan kepada teks dalam aliran kerja yang lebih besar. Arkib mesyuarat boleh melampirkan transkrip kepada rakaman; aplikasi carian boleh mengindeks petikan yang dikenal pasti; alat kapsyen boleh menggunakan metadata masa yang dikembalikan.

Kualiti pengecaman berbeza mengikut bahasa, loghat, hingar dan jenis pertuturan. Pengeluar menyatakan secara khusus bahawa kosa kata yang tidak diwakili semasa latihan boleh terlepas dan perkataan terpencil atau ayat tidak lengkap memberikan konteks yang lebih lemah. Kekalkan audio asal untuk menyemak nama dan istilah khusus dan bukannya menjadikan pengecaman tidak pasti sebagai fakta yang disahkan.

Artifak yang berguna ialah transkrip dengan maklumat masa yang diminta. Ringkasan, terjemahan, analisis penutur dan tindakan ialah tugas aplikasi yang berasingan, bukannya ciri yang tersirat daripada nama pertuturan kepada teks. Pastikan identiti v3 dan mod perhatian pengeluar berbeza daripada checkpoint lain serta artifak yang ditukar atau dikuantisasi.