OpenAI: Whisper Large V3

Whisper large-v3 — taxminan 1,55 milliard parametrli, OpenAI chiqargan nutqni tanish checkpoint’i. Bu ko‘p tilli kodlovchi-dekodlovchi model: audio kodlovchiga kiradi, dekodlovchi esa matn va vazifaga oid tokenlarni bashorat qiladi. Asosiy vazifalar — nutqni manba tilida transkripsiya qilish va nutqni ingliz tiliga tarjima qilish. Bu vaznlari ochiq modelning identifikatsiyasi bo‘lib, xizmat sifatida taqdim etiladigan model identifikatori yoki o‘sha xizmatning yuklash va javob formatlari qoidalaridan alohida saqlanadi.

Large-v3 oldingi large Whisper checkpoint’lari arxitekturasini ikki ko‘rsatilgan o‘zgarish bilan saqlaydi: uning spektrogramma kirishi 80 o‘rniga 128 Mel chastota oralig‘idan foydalanadi va kanton tili tokenini qo‘shadi. Ishlab chiqaruvchining model kartasi bir million soat zaif belgilangan audio va Whisper large-v2 bilan tayyorlangan to‘rt million soat soxta yorliqli audio ustida o‘qitishni tavsiflaydi. Bu aralashma ikki o‘qitish epoxasi uchun ishlatilgan. Chiqarilish Whisper oilasidagi har bir modelning umumiy nomi emas, muayyan large-v3 checkpoint’idir.

Hujjatlashtirilgan inferensiya ish jarayoni standart holatda transkripsiya bajarib, yozuvda aytilgan tilni saqlaydi. U manba tilini avtomatik aniqlashi yoki ma’lum til tanlovini qabul qilishi mumkin. Tarjima uchun ko‘p tilli large model inglizcha bo‘lmagan nutqdan inglizcha matn natijasini beradi. Ushbu vazifani aniq tanlang: bir xil tildagi transkript va inglizcha tarjima turli natijalardir. Intervyu uchun asl tildagi so‘zlarni saqlang; inglizcha ma’lumotnoma hujjati uchun kerakli natija aytilgan kontent tarjimasi ekanini belgilang.

Audioni tayyorlash kirish yo‘lining bir qismidir. OpenAI yuklovchisi yozuvni mono to‘lqin shakliga dekodlaydi va 16 kHz’ga qayta namunalaydi. Modelning akustik qabul maydoni 30 soniya. Bu butun intervyu yoki ma’ruzaning maksimal uzunligi emas, qayta ishlash oynasidir. Uzun material inferensiyasi sirpanuvchi oynalar orqali ketma-ket oldinga yurishi yoki uzun yozuvni ustma-ust tushadigan bo‘laklarga ajratib, ularning transkriptlarini birlashtirishi mumkin. Ishlab chiqaruvchining model kartasi aniqlik ustuvor bo‘lganda ketma-ket qayta ishlashni, bitta uzun yozuvni tayyorlash vaqti muhimroq bo‘lganda esa bo‘laklab qayta ishlashni tavsiflaydi.

Chiqarilgan konfiguratsiya alohida dekodlash ketma-ketligi uchun 448 dekodlovchi pozitsiyasini ko‘rsatadi. Uzunroq yozuvlar bu sonni umumiy transkript limiti deb hisoblash bilan emas, uzun material jarayoni orqali qayta ishlanadi. Hujjatlashtirilgan ish jarayoni tanilgan matn bilan birga segment yoki so‘z darajasidagi vaqt belgilarini qaytarishi mumkin. Bu vaqt natijalari yozuv bo‘ylab o‘tish va subtitrlar tayyorlash uchun foydali, ammo yakuniy subtitr konteyneri yoki transkript fayli formati alohida chiqishni formatlash tanlovidir. Transkript asl materialga moslashtiriladigan bo‘lsa, audio tayyorlashda yozuvning vaqt tuzilishini saqlang.

Whisper’ning mo‘ljallangan vazifasi nutqni tanish va tarjima qilishdir. Ma’ruza transkripti, intervyu yozuvi yoki qidirish mumkin bo‘lgan og‘zaki materiallar to‘plami amaliy chiqishdir; matnni qisqacha bayon qilish yoki talqin qilish boshqa keyingi bosqich bo‘lishi mumkin. Model kartasi ishonchli avtomatik so‘zlovchi tasnifi yoki diarizatsiyani bazaviy checkpoint’ning standart chiqishi sifatida belgilamaydi. Vazifaga so‘zlovchi yorliqlari kerak bo‘lsa, bu talab aniq transkript bor degan da’vodan alohida hal qilinishi kerak. Foydali topshiriq manba tilini, transkripsiya yoki inglizcha tarjima kerakligini va vaqt ma’lumoti zarurligini ko‘rsatadi.

Muhim cheklovlar hech qachon aytilmagan to‘qima matn va takroriy matnni o‘z ichiga oladi; bular shovqinli ma’lumotlarda zaif nazoratli o‘qitish va ketma-ketlikdan ketma-ketlikka tuzilishi bilan bog‘liq. Tanish sifati tillar, aksentlar va shevalar bo‘yicha farqlanadi, o‘qitish materiali kamroq joylarda natijalar zaifroq bo‘ladi. Shuning uchun moslikni baholash uchun ishlatiladigan namunada shovqin, sohaga xos lug‘at va ustma-ust nutq aks etishi kerak. Ismlar, miqdorlar va muhim bayonotlarni yozuvga solishtiring va ravon transkriptni har bir so‘z eshitilganining isboti deb hisoblash o‘rniga, nutqsiz parchalar yoki takroriy satrlarni tekshiring.

To‘liq natija tanilgan matnni, uning tilini va so‘ralgan vaqt ma’lumotini asl yozuvga havola bilan saqlaydi. Transkripsiyani keyingi tahrirdan ajrating: nashr uchun tuzatilgan transkript to‘ldiruvchi so‘zlarni olib tashlashi mumkin, tanilgan transkript esa model haqiqatan qaytargan narsani saqlaydi. Large-v3’ning identifikatsiyasi va tarjima imkoniyati tezroq Turbo nashridan ham alohida qolishi kerak. Haqiqiy qayta ishlash tezligi til, nutq sur’ati, uskuna va inferensiya usuliga bog‘liq; checkpoint nomining o‘zidan xizmatning muayyan kechikishi, maksimal yuklash hajmi yoki yoqilgan ilova yo‘li kelib chiqmaydi.