OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, dar vadinamas Turbo, yra optimizuotas OpenAI transkripcijos modelis, kilęs iš Whisper large-v3. Jo dekoderis sumažintas nuo 32 sluoksnių iki keturių, o enkoderis išlaiko 32 sluoksnius. Išleistas modelis turi maždaug 809 milijonus parametrų. Gamintojo tikslas — greitesnis šnekos atpažinimas su nedideliu tikslumo kompromisu, o ne kitoks garso generavimo režimas. Įrašyta šneka yra įvestis, o atpažintas tekstas — rezultatas.

Pristatymo pranešime Turbo parengimas atskiriamas nuo atskirai distiliuoto Whisper modelio: Turbo papildomai derintas dvi mokymo epochas su daugiakalbiais transkripcijos duomenimis, neįtraukiant vertimo duomenų. Šis skirtumas svarbus praktiniam darbui. OpenAI saugykloje nurodoma, kad Turbo nemokytas versti neangliškos šnekos į anglų kalbą ir gali grąžinti originalią kalbą net tada, kai prašoma vertimo užduoties. Naudokite šį leidimą transkripcijai ta pačia kalba; vertimo reikalavimas priklauso kitam tinkamam modeliui arba atskiram žingsniui po transkripcijos.

Įrašo kalbos nustatymas ir aiškus kalbos pasirinkimas išlieka naudingi transkripcijos variantai. Jei įrašo kalba jau žinoma, nurodykite ją užduoties apraše; kitu atveju dokumentuota darbo eiga gali ją nustatyti. Prieš prašydami redakcinio tvarkymo išsaugokite vardus, kiekius ir ištartus žodžius. Susitikimo įrašo tekstą, interviu transkripciją ar paskaitos tekstą vėlesne operacija galima peržiūrėti paieškoje, anotuoti ar apibendrinti. Turbo atpažinimo užduoties negalima painioti su šnekos sinteze, balso imitavimu ar semantiniu įraše esančių žmonių vertinimu.

OpenAI garso įkėlimo priemonė dekoduoja įvesties failus į monofoninius ėminius 16 kHz dažniu, o modelis naudoja 30 sekundžių akustinį langą su 128 Mel dažnių juostomis. Ilgesniems įrašams reikia ilgos trukmės garso inferencijos. Nuoseklus apdorojimas eina per langus eilės tvarka; dalimis paremtas būdas transkribuoja persidengiančias dalis ir sujungia jų ribas. Modelio kortelėje pastarasis pristatomas kaip naudingas apdorojant vieną ilgą failą, kai pagrindinis prioritetas — kuo greičiau gauti rezultatą, o nuoseklus apdorojimas yra į tikslumą orientuota alternatyva. Nei langas, nei modelio pavadinimas nenustato fiksuoto maksimalaus failo dydžio įkėlimui į prieglobos paslaugą.

Tiksli Turbo konfigūracija nurodo 448 dekoderio pozicijas vienai dekodavimo sekai. Dokumentuota inferencijos darbo eiga kartu su transkripcija gali pateikti segmentų ar žodžių laikus; laiko žymos padeda naršyti ir vėliau formatuoti subtitrus. Jos automatiškai neprideda subtitrų failo formato ar patikimų kalbėtojų žymų. Nurodykite, ar reikia paprastos transkripcijos, ar segmentų su laiko žymomis, ir išlaikykite originalų įrašą prieinamą ginčytinoms ištraukoms tikrinti. Ilgų įrašų apdorojimas ir galutinis formatavimas yra atskiri nuo modelio kontrolinio taško tapatybės.

Turbo sumažina dekodavimo darbą, tačiau tikroji trukmė priklauso nuo aparatinės įrangos, įrašo ilgio, kalbos, kalbėjimo tempo ir inferencijos pasirinkimų. Gamintojas pažymi didesnį kai kurių kalbų, įskaitant tajų ir kantoniečių, kokybės pablogėjimą, o ne vienodą elgesį visur. Palyginkite būdingą ištrauką numatyta kalba prieš laikydami į greitį orientuotą kompromisą tinkamu visai medžiagai. Archyvo apdorojimo užduočiai į peržiūros imtį įtraukite sudėtingą žodyną, pauzes ir triukšmingas ar persidengiančias ištraukas, o ne vien aiškų pirmą sakinį.

Paskelbtoje kortelėje nurodomi reikšmingi Whisper atpažinimo ribotumai: prognozuotame tekste gali būti neištartų žodžių ir gali atsirasti pasikartojantis tekstas. Rezultatai skiriasi tarp kalbų, akcentų ir tarmių, ypač ten, kur ribota mokymo aprėptis. Kortelė nenustato bazinio modelio kalbėtojų atskyrimo ar klasifikavimo kaip patikimų standartinių galimybių. Praktinėje peržiūroje dėmesys skiriamas atitikčiai šaltiniui: svarbiems vardams ir skaičiams, praleistai šnekai, netikėtam tekstui tylos metu ir pasikartojimams. Įskaitoma transkripcija išlieka rezultatu, kurį reikia palyginti su įrašu, o ne tikslaus atpažinimo garantija.

Naudingas baigtas rezultatas yra transkripcija įrašo kalba su prašytomis laiko žymomis ir aiškia nuoroda į įrašą. Atpažintą versiją laikykite atskirai nuo redaguotos publikavimo versijos, kad pakeitimus būtų galima atsekti. Lygindami leidimus išsaugokite large-v3-turbo pavadinimą: tai nėra pilnas large-v3 modelis ir jis neturi tyliai perimti large-v3 vertimo į anglų kalbą užduoties. Ši atvirų svorių tapatybė taip pat neperima prieglobos whisper-1 paslaugos įkėlimo limitų, atsakymo konteinerių ar tiesioginio srautinio perdavimo pažadų. Rinkitės Turbo, kai dokumentuotas transkripcijos kompromisas tinka tikrajai medžiagai ir norimai rezultato gavimo trukmei.