OpenAI: Whisper Large V3

Whisper large-v3 ialah checkpoint pengecaman pertuturan keluaran OpenAI dengan kira-kira 1.55 bilion parameter. Ia ialah model pengekod-penyahkod berbilang bahasa: audio memasuki pengekod dan penyahkod meramalkan teks serta token berkaitan tugas. Tugas utamanya ialah transkripsi pertuturan dalam bahasa sumber dan terjemahan pertuturan ke bahasa Inggeris. Ini ialah identiti model dengan pemberat terbuka, yang perlu dibezakan daripada pengecam model sesuatu perkhidmatan yang dihoskan serta peraturan muat naik dan format respons perkhidmatan itu.

Large-v3 mengekalkan seni bina checkpoint Whisper large terdahulu dengan dua perubahan yang dinyatakan: input spektrogramnya menggunakan 128 jalur frekuensi Mel dan bukannya 80, serta menambahkan token bahasa Kantonis. Kad model pengeluar menerangkan latihan menggunakan satu juta jam audio berlabel lemah dan empat juta jam audio berlabel pseudo yang disediakan dengan Whisper large-v2. Campuran ini digunakan untuk dua epok latihan. Keluaran ini ialah checkpoint large-v3 tertentu dan bukannya nama umum untuk setiap model dalam keluarga Whisper.

Aliran kerja inferens yang didokumenkan melakukan transkripsi secara lalai, mengekalkan bahasa yang dituturkan dalam rakaman. Ia boleh mengesan bahasa sumber secara automatik atau menerima pilihan bahasa yang diketahui. Untuk terjemahan, model large berbilang bahasa memberikan hasil teks bahasa Inggeris daripada pertuturan bukan bahasa Inggeris. Pilih tugas itu secara jelas: transkrip dalam bahasa yang sama dan terjemahan bahasa Inggeris ialah artifak yang berbeza. Untuk temu bual, kekalkan perkataan dalam bahasa asal; untuk dokumen rujukan bahasa Inggeris, nyatakan bahawa hasil yang dikehendaki ialah terjemahan kandungan pertuturan.

Penyediaan audio ialah sebahagian daripada laluan input. Pemuat OpenAI menyahkod rakaman kepada bentuk gelombang mono dan mensampelkannya semula kepada 16 kHz. Medan penerimaan akustik model ialah 30 saat. Itu ialah tetingkap pemprosesan, bukannya panjang maksimum untuk seluruh temu bual atau kuliah. Inferens bentuk panjang boleh bergerak secara berurutan melalui tetingkap gelongsor, atau membahagikan rakaman panjang kepada cebisan bertindih dan menyambungkan transkripnya. Kad model pengeluar menerangkan pemprosesan berurutan apabila ketepatan diutamakan dan pemprosesan bercebisan apabila masa menyiapkan satu rakaman panjang lebih penting.

Konfigurasi yang dikeluarkan menyenaraikan 448 kedudukan penyahkod bagi satu jujukan penyahkodan. Rakaman yang lebih panjang dikendalikan melalui proses bentuk panjang dan bukannya dengan menganggap nombor itu sebagai had transkrip sejagat. Aliran kerja yang didokumenkan boleh mengembalikan cap masa peringkat segmen atau perkataan bersama teks yang dikenal pasti. Output pemasaan tersebut berguna untuk menavigasi rakaman dan menyediakan kapsyen, manakala sebarang bekas sari kata akhir atau format fail transkrip ialah pilihan pemformatan output yang berasingan. Kekalkan pemasaan rakaman semasa menyediakan audio jika transkrip akan dijajarkan dengan bahan asal.

Peranan Whisper yang dimaksudkan ialah mengenal pasti dan menterjemah pertuturan. Transkrip kuliah, rekod temu bual atau koleksi bahan pertuturan yang boleh dicari ialah output praktikal; peringkasan atau tafsiran boleh menyusul sebagai langkah lain terhadap teks. Kad model tidak menetapkan pengelasan penutur atau diarisasi automatik yang teguh sebagai output standard checkpoint asas. Jika tugas memerlukan label penutur, keperluan itu mesti dikendalikan secara berasingan daripada dakwaan transkrip yang tepat. Taklimat yang berguna mengenal pasti bahasa sumber, sama ada transkripsi atau terjemahan bahasa Inggeris diperlukan, dan sama ada maklumat pemasaan diperlukan.

Batasan ketara termasuk teks rekaan yang tidak pernah dituturkan dan teks berulang, yang dikaitkan dengan latihan terselia lemah pada data berhingar serta reka bentuk jujukan ke jujukan. Kualiti pengecaman berbeza mengikut bahasa, loghat dan dialek, dengan hasil lebih lemah apabila bahan latihan lebih sedikit. Oleh itu, hingar, kosa kata khusus dan pertuturan bertindih patut diwakili dalam sampel yang digunakan untuk menilai kesesuaian. Bandingkan nama, kuantiti dan pernyataan penting dengan rakaman, serta periksa petikan tanpa pertuturan atau baris berulang dan bukannya menganggap transkrip yang lancar sebagai bukti bahawa setiap perkataan telah didengar.

Hasil lengkap mengekalkan teks yang dikenal pasti, bahasanya dan sebarang pemasaan yang diminta bersama rujukan kepada rakaman asal. Asingkan transkripsi daripada penyuntingan kemudian: transkrip penerbitan yang dibetulkan mungkin membuang kata pengisi, manakala transkrip pengecaman mengekalkan perkara yang benar-benar dikembalikan oleh model. Identiti dan keupayaan terjemahan large-v3 juga patut dibezakan daripada edisi Turbo yang lebih pantas. Kelajuan pemprosesan sebenar bergantung pada bahasa, kadar pertuturan, perkakasan dan kaedah inferens; nama checkpoint sahaja tidak membuktikan kependaman perkhidmatan yang dihoskan, saiz maksimum muat naik atau laluan aplikasi yang didayakan.