OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, nazývaný aj Turbo, je optimalizovaný model prepisu od OpenAI odvodený od Whisper large-v3. Jeho dekodér je zmenšený z 32 vrstiev na štyri, zatiaľ čo enkodér zostáva na 32 vrstvách. Vydaný model má približne 809 miliónov parametrov. Cieľom výrobcu je rýchlejšie rozpoznávanie reči s miernym kompromisom v presnosti, nie iný režim generovania zvuku. Vstupom je nahraná reč a výsledkom rozpoznaný text.

Oznámenie vydania odlišuje prípravu Turbo od samostatne destilovaného modelu Whisper: Turbo bol dolaďovaný ďalšie dve epochy na dátach viacjazyčného prepisu bez prekladových dát. Tento rozdiel je prevádzkovo dôležitý. Repozitár OpenAI uvádza, že Turbo nie je vytrénovaný na preklad neanglickej reči do angličtiny a môže vrátiť pôvodný jazyk aj pri požadovanej úlohe prekladu. Túto edíciu používajte na prepis v rovnakom jazyku; požiadavka na preklad patrí inému vhodnému modelu alebo samostatnému kroku po prepise.

Detekcia zdrojového jazyka a výslovný výber jazyka zostávajú užitočnými voľbami pri prepise. Ak je jazyk nahrávky už známy, určte ho v zadaní; inak ho môže dokumentovaný postup zistiť. Pred vyžiadaním redakčných úprav zachovajte mená, množstvá a vyslovené slová. Záznam porady, prepis rozhovoru alebo text prednášky potom možno v neskoršej operácii prehľadávať, anotovať alebo sumarizovať. Rozpoznávaciu úlohu Turbo nezamieňajte so syntézou hlasu, napodobňovaním hovoriaceho ani sémantickým úsudkom o ľuďoch v nahrávke.

Načítavač zvuku OpenAI dekóduje vstupné súbory na monofónne vzorky s 16 kHz a model používa 30-sekundové akustické okno so 128 Melovými frekvenčnými pásmami. Dlhšie nahrávky vyžadujú spracovanie dlhého zvukového záznamu. Sekvenčné spracovanie postupuje oknami v poradí; spracovanie po častiach prepisuje prekrývajúce sa úseky a spája ich na hraniciach. Karta modelu predstavuje druhý postup ako užitočný pri spracovaní jedného dlhého súboru, ak je hlavnou prioritou čas dokončenia, zatiaľ čo sekvenčné spracovanie je alternatívou zameranou na presnosť. Ani okno, ani názov modelu neurčujú pevnú maximálnu veľkosť súboru pre nahratie do hosťovanej služby.

Presná konfigurácia Turbo uvádza 448 pozícií dekodéra pre jednu dekódovaciu sekvenciu. Dokumentovaný postup môže k prepisu pridať časovanie segmentov alebo slov; časovanie podporuje navigáciu a neskoršie formátovanie titulkov. Automaticky nepridáva formát titulkového súboru ani spoľahlivé označenia hovoriacich. Určte, či potrebujete obyčajný prepis alebo časované segmenty, a pôvodnú nahrávku ponechajte dostupnú na kontrolu sporných úryvkov. Spracovanie dlhých nahrávok a konečné formátovanie sú oddelené od identity konkrétnej verzie modelu.

Turbo znižuje prácu pri dekódovaní, ale skutočný potrebný čas závisí od hardvéru, dĺžky nahrávky, jazyka, tempa reči a volieb vykonávania modelu. Výrobca uvádza väčšie zhoršenie kvality pri niektorých jazykoch vrátane thajčiny a kantončiny, nie rovnaké správanie všade. Pred považovaním kompromisu v prospech rýchlosti za vhodný pre všetok materiál porovnajte reprezentatívny úryvok v zamýšľanom jazyku. Pri spracovaní archívu zahrňte do kontrolnej vzorky náročnú slovnú zásobu, pauzy a zašumené alebo prekrývajúce sa úseky, nie iba čistú úvodnú vetu.

Publikovaná karta uvádza podstatné rozpoznávacie obmedzenia Whisper: predpovedaný text môže obsahovať nevyslovené slová a môže sa objaviť opakovanie textu. Výsledky sa líšia medzi jazykmi, prízvukmi a dialektmi, najmä pri obmedzenom pokrytí tréningovými dátami. Karta nepotvrdzuje diarizáciu ani klasifikáciu hovoriacich ako spoľahlivé štandardné schopnosti základného modelu. Praktická kontrola sleduje vernosť zdroju: dôležité mená a čísla, vynechanú reč, neočakávaný text počas ticha a opakovania. Čitateľný prepis zostáva výsledkom na porovnanie s nahrávkou, nie zárukou presného rozpoznania.

Užitočným hotovým výstupom je prepis v zdrojovom jazyku s požadovaným časovaním a jasným odkazom na nahrávku. Rozpoznanú verziu uchovávajte oddelene od redakčne upravenej publikačnej verzie, aby boli zmeny sledovateľné. Pri porovnávaní edícií zachovajte názov large-v3-turbo: nejde o úplný model large-v3 a nemá sa naň bez upozornenia prenášať úloha prekladu do angličtiny z large-v3. Táto identita modelu so zverejnenými váhami tiež neprenáša limity nahrávania, obaly odpovedí ani prísľuby živého streamovania hosťovanej služby whisper-1. Turbo zvoľte, keď dokumentovaný kompromis pri prepise zodpovedá skutočnému materiálu a požadovanému času dokončenia.