OpenAI: Whisper Large V3

Whisper large-v3 adalah checkpoint pengenalan ucapan yang dirilis OpenAI dengan sekitar 1,55 miliar parameter. Model ini merupakan model encoder-decoder multibahasa: audio masuk ke encoder dan decoder memprediksi teks serta token terkait tugas. Tugas utamanya adalah transkripsi ucapan dalam bahasa sumber dan penerjemahan ucapan ke bahasa Inggris. Ini merupakan identitas model dengan bobot terbuka, yang dibedakan dari pengenal model suatu layanan yang dihoskan atau aturan unggahan dan format respons layanan tersebut.

Large-v3 mempertahankan arsitektur checkpoint Whisper large sebelumnya dengan dua perubahan yang dinyatakan: masukan spektrogramnya menggunakan 128 bin frekuensi Mel, bukan 80, dan menambahkan token bahasa Kanton. Kartu model produsen menjelaskan pelatihan pada satu juta jam audio berlabel lemah dan empat juta jam audio berlabel semu yang disiapkan dengan Whisper large-v2. Campuran ini digunakan untuk dua epoch pelatihan. Rilis ini merupakan checkpoint large-v3 tertentu, bukan nama umum untuk setiap model dalam keluarga Whisper.

Alur kerja inferensi yang didokumentasikan melakukan transkripsi secara bawaan, mempertahankan bahasa yang diucapkan dalam rekaman. Model ini dapat mendeteksi bahasa sumber secara otomatis atau menerima pilihan bahasa yang diketahui. Untuk terjemahan, model large multibahasa menyediakan hasil teks berbahasa Inggris dari ucapan non-Inggris. Pilih tugas itu secara eksplisit: transkrip dalam bahasa yang sama dan terjemahan bahasa Inggris adalah artefak berbeda. Untuk wawancara, pertahankan susunan kata bahasa asli; untuk dokumen referensi berbahasa Inggris, tentukan bahwa hasil yang diinginkan adalah terjemahan konten lisan.

Persiapan audio merupakan bagian dari jalur masukan. Pemuat OpenAI mendekode rekaman menjadi bentuk gelombang mono dan melakukan resampling ke 16 kHz. Medan reseptif akustik model adalah 30 detik. Itu merupakan jendela pemrosesan, bukan panjang maksimum seluruh wawancara atau kuliah. Inferensi bentuk panjang dapat bergerak secara berurutan melalui jendela geser, atau membagi rekaman panjang menjadi potongan tumpang tindih dan menggabungkan transkripnya. Kartu model produsen menjelaskan pemrosesan berurutan ketika ketepatan menjadi prioritas dan pemrosesan per potongan ketika waktu penyelesaian satu rekaman panjang lebih penting.

Konfigurasi yang dirilis mencantumkan 448 posisi decoder untuk satu urutan dekode. Rekaman yang lebih panjang ditangani melalui proses bentuk panjang, bukan dengan menganggap angka itu sebagai batas transkrip universal. Alur kerja yang didokumentasikan dapat mengembalikan penanda waktu tingkat segmen atau kata bersama teks yang dikenali. Keluaran waktu tersebut berguna untuk menavigasi rekaman dan menyiapkan takarir, sedangkan kontainer subtitel akhir atau format berkas transkrip merupakan pilihan pemformatan keluaran terpisah. Pertahankan waktu rekaman ketika menyiapkan audio jika transkrip akan diselaraskan dengan materi asli.

Peran yang dimaksud untuk Whisper adalah mengenali dan menerjemahkan ucapan. Transkrip kuliah, catatan wawancara, atau koleksi materi lisan yang dapat dicari merupakan keluaran praktis; peringkasan atau interpretasi dapat menyusul sebagai langkah lain atas teks. Kartu model tidak menetapkan klasifikasi penutur atau diarisasi otomatis yang andal sebagai keluaran standar checkpoint dasar. Jika tugas memerlukan label penutur, kebutuhan itu harus ditangani secara terpisah dari klaim transkrip yang akurat. Arahan yang berguna mengidentifikasi bahasa sumber, apakah transkripsi atau terjemahan bahasa Inggris diperlukan, dan apakah informasi waktu diperlukan.

Keterbatasan penting mencakup teks rekaan yang tidak pernah diucapkan dan teks berulang, yang dikaitkan dengan pelatihan terselia lemah pada data berderau serta desain sequence-to-sequence. Kualitas pengenalan bervariasi antarbahasa, aksen, dan dialek, dengan hasil lebih lemah ketika materi pelatihan lebih sedikit. Karena itu, derau, kosakata khusus bidang tertentu, dan ucapan yang tumpang tindih harus terwakili dalam sampel yang digunakan untuk menilai kesesuaian. Bandingkan nama, kuantitas, dan pernyataan penting dengan rekaman, serta periksa petikan tanpa ucapan atau kalimat berulang alih-alih memperlakukan transkrip yang lancar sebagai bukti bahwa setiap kata telah didengar.

Hasil lengkap mempertahankan teks yang dikenali, bahasanya, serta informasi waktu yang diminta dengan referensi ke rekaman asli. Pisahkan transkripsi dari penyuntingan kemudian: transkrip publikasi yang dikoreksi dapat menghapus kata pengisi, sedangkan transkrip pengenalan mempertahankan apa yang benar-benar dikembalikan model. Identitas dan kemampuan terjemahan large-v3 juga harus dibedakan dari edisi Turbo yang lebih cepat. Kecepatan pemrosesan sebenarnya bergantung pada bahasa, kecepatan bicara, perangkat keras, dan metode inferensi; nama checkpoint saja tidak membuktikan latensi layanan, ukuran unggahan maksimum, atau rute aplikasi yang diaktifkan tertentu.