OpenAI: Whisper Large V3

Whisper large-v3 yra išleistas OpenAI kalbos atpažinimo modelio leidimas, turintis maždaug 1,55 milijardo parametrų. Tai daugiakalbis koduotuvo ir dekoduotuvo modelis: garsas patenka į koduotuvą, o dekoduotuvas numato tekstą ir su užduotimi susijusius žetonus. Pagrindinės užduotys yra kalbos transkripcija šaltinio kalba ir kalbos vertimas į anglų kalbą. Tai atvirų svorių modelio tapatybė, atskiriama nuo prieglobos paslaugos modelio identifikatoriaus ar tos paslaugos įkėlimo bei atsako formato taisyklių.

Large-v3 išlaiko ankstesnių didžiųjų Whisper modelio leidimų architektūrą su dviem nurodytais pakeitimais: spektrogramos įvestis naudoja 128 Melo dažnių juostas vietoj 80 ir pridedamas kantoniečių kalbos žetonas. Gamintojo modelio kortelėje aprašomas mokymas naudojant vieną milijoną valandų silpnai sužymėto garso ir keturis milijonus valandų pseudopažymėto garso, paruošto su Whisper large-v2. Šis mišinys naudotas dvi mokymo epochas. Leidimas yra konkretus large-v3 modelio leidimas, o ne bendras kiekvieno Whisper šeimos modelio pavadinimas.

Dokumentuotas vykdymo procesas pagal numatytąsias nuostatas atlieka transkripciją, išsaugodamas įraše vartojamą kalbą. Jis gali automatiškai aptikti šaltinio kalbą arba priimti žinomos kalbos pasirinkimą. Vertimui daugiakalbis didysis modelis iš ne angliškos kalbos pateikia angliško teksto rezultatą. Šią užduotį pasirinkite aiškiai: transkripcija ta pačia kalba ir vertimas į anglų kalbą yra skirtingi rezultatai. Interviu išsaugokite originalios kalbos formuluotes; angliškam informaciniam dokumentui nurodykite, kad norimas rezultatas yra sakytinio turinio vertimas.

Garso paruošimas yra įvesties kelio dalis. OpenAI įkėliklis dekoduoja įrašą į mono bangos formą ir pakeičia diskretizavimo dažnį į 16 kHz. Modelio akustinis aprėpties laukas yra 30 sekundžių. Tai apdorojimo langas, o ne didžiausia viso interviu ar paskaitos trukmė. Ilgų įrašų vykdymas gali nuosekliai judėti slankiaisiais langais arba padalyti ilgą įrašą į persidengiančias dalis ir sujungti jų transkripcijas. Gamintojo modelio kortelėje aprašomas nuoseklus apdorojimas, kai svarbiausia tikslumas, ir apdorojimas dalimis, kai svarbesnis vieno ilgo įrašo parengimo laikas.

Išleistoje konfigūracijoje nurodomos 448 dekoduotuvo pozicijos vienai dekodavimo sekai. Ilgesni įrašai apdorojami ilgų įrašų procesu, o ne laikant šį skaičių universalia transkripcijos riba. Dokumentuotas procesas gali kartu su atpažintu tekstu grąžinti segmentų arba žodžių lygmens laiko žymas. Šios laiko išvestys naudingos naršant įrašus ir ruošiant subtitrus, o galutinis subtitrų konteineris ar transkripcijos failo formatas yra atskiras išvesties formatavimo pasirinkimas. Ruošdami garsą išsaugokite įrašo laiko atskaitą, jei transkripcija bus suderinama su originalia medžiaga.

Numatytas Whisper vaidmuo yra kalbos atpažinimas ir vertimas. Paskaitos transkripcija, interviu protokolas ar paieškai tinkamas sakytinės medžiagos rinkinys yra praktinė išvestis; santraukų kūrimas ar interpretavimas gali būti tolesnis veiksmas su tekstu. Modelio kortelė nepatvirtina patikimo automatinio kalbėtojų klasifikavimo ar atskyrimo kaip standartinės bazinio modelio išvesties. Jei užduočiai reikia kalbėtojų žymų, šį reikalavimą reikia spręsti atskirai nuo teiginio apie tikslią transkripciją. Naudinga užduotis nurodo šaltinio kalbą, ar reikia transkripcijos, ar vertimo į anglų kalbą ir ar reikia laiko informacijos.

Esminiai apribojimai apima niekada neištarto teksto išgalvojimą ir pasikartojantį tekstą, siejamus su silpnai prižiūrimu mokymu triukšmingais duomenimis bei sekos keitimo į seką architektūra. Atpažinimo kokybė skiriasi tarp kalbų, akcentų ir tarmių; rezultatai silpnesni ten, kur mokymo medžiagos mažiau. Todėl tinkamumui vertinti naudojamame pavyzdyje turėtų būti triukšmo, specializuoto žodyno ir persidengiančios kalbos. Vardus, kiekius bei svarbius teiginius palyginkite su įrašu ir patikrinkite atkarpas be kalbos ar pasikartojančias eilutes, užuot sklandžią transkripciją laikę įrodymu, kad kiekvienas žodis išgirstas.

Pilnas rezultatas išsaugo atpažintą tekstą, jo kalbą ir visas prašytas laiko žymas su nuoroda į originalų įrašą. Transkripciją atskirkite nuo vėlesnio redagavimo: pataisyta publikavimo transkripcija gali pašalinti užpildomuosius žodžius, o atpažinta transkripcija išsaugo tai, ką modelis faktiškai grąžino. Large-v3 tapatybę ir vertimo galimybę taip pat reikia skirti nuo greitesnės Turbo versijos. Faktinis apdorojimo greitis priklauso nuo kalbos, kalbėjimo greičio, aparatinės įrangos ir vykdymo metodo; vien iš modelio leidimo pavadinimo negalima spręsti apie konkrečią prieglobos delsą, didžiausią įkėlimo dydį ar įjungtą programos maršrutą.