OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, imenovan tudi Turbo, je optimizirani model za prepis podjetja OpenAI, izpeljan iz Whisper large-v3. Njegov dekodirnik je zmanjšan z 32 plasti na štiri, kodirnik pa ostaja pri 32 plasteh. Objavljeni model ima približno 809 milijonov parametrov. Proizvajalčev namen je hitrejše prepoznavanje govora z zmernim kompromisom pri natančnosti, ne drugačen način ustvarjanja zvoka. Vhod je posneti govor, rezultat pa prepoznano besedilo.

Objava izdaje razlikuje pripravo Turbo od posebej destiliranega modela Whisper: Turbo je bil dve dodatni epohi prilagajan na podatkih večjezičnega prepisa, brez podatkov za prevajanje. Ta razlika je pomembna za uporabo. Repozitorij podjetja OpenAI navaja, da Turbo ni naučen za prevajanje govora v drugih jezikih v angleščino in lahko vrne izvirni jezik tudi ob zahtevani prevajalski nalogi. To izdajo uporabite za prepis v istem jeziku; zahteva za prevod sodi k drugemu ustreznemu modelu ali ločenemu koraku po prepisu.

Prepoznavanje izvornega jezika in izrecna izbira jezika ostajata uporabni nastavitvi prepisa. Če je jezik posnetka že znan, ga navedite v navodilu; sicer ga lahko dokumentirani potek zazna. Pred zahtevo za uredniško čiščenje ohranite imena, količine in izgovorjene besede. Zapis sestanka, prepis intervjuja ali besedilo predavanja je nato mogoče v poznejši operaciji preiskovati, označevati ali povzeti. Naloge prepoznavanja Turbo ne zamenjujte s sintezo glasu, posnemanjem govorca ali pomensko presojo ljudi na posnetku.

OpenAI-jev nalagalnik zvoka vhodne datoteke dekodira v enokanalne vzorce pri 16 kHz, model pa uporablja 30-sekundno akustično okno s 128 frekvenčnimi pasovi Melove lestvice. Daljši posnetki zahtevajo obdelavo dolgega zvočnega zapisa. Zaporedna obdelava prehaja skozi okna po vrsti; pristop z deljenjem na odseke prepiše prekrivajoče se dele in jih združi na mejah. Kartica modela drugi pristop predstavlja kot uporaben pri obdelavi ene dolge datoteke, kadar je čas dokončanja glavna prednostna naloga, zaporedna obdelava pa je alternativa, usmerjena v natančnost. Niti okno niti ime modela ne določata fiksne največje velikosti datoteke za nalaganje v gostovani storitvi.

Natančna konfiguracija Turbo navaja 448 pozicij dekodirnika za eno dekodirno zaporedje. Dokumentirani potek lahko ob prepisu vključi časovne oznake odsekov ali besed; te podpirajo krmarjenje in poznejše oblikovanje podnapisov. To ne doda samodejno formata datoteke s podnapisi ali zanesljivih oznak govorcev. Navedite, ali potrebujete navaden prepis ali časovno označene odseke, izvirni posnetek pa ohranite dostopen za preverjanje spornih odlomkov. Obdelava dolgih posnetkov in končno oblikovanje sta ločena od identitete določene različice modela.

Turbo zmanjša obseg dekodiranja, dejanski potrebni čas pa je odvisen od strojne opreme, dolžine posnetka, jezika, hitrosti govora in nastavitev izvajanja modela. Proizvajalec pri nekaterih jezikih, vključno s tajščino in kantonščino, navaja večje poslabšanje kakovosti, ne enakega vedenja povsod. Primerjajte reprezentativen odlomek v predvidenem jeziku, preden kompromis v korist hitrosti obravnavate kot primeren za vse gradivo. Pri obdelavi arhiva v pregledni vzorec vključite zahtevno besedišče, premore in šumne ali prekrivajoče se odlomke, ne samo čistega uvodnega stavka.

Objavljena kartica navaja bistvene omejitve prepoznavanja Whisper: napovedano besedilo lahko vključuje neizgovorjene besede in lahko se pojavi ponavljajoče se besedilo. Rezultati se razlikujejo med jeziki, naglasi in narečji, zlasti pri omejeni zastopanosti v učnih podatkih. Kartica ne potrjuje diarizacije ali razvrščanja govorcev kot zanesljivih standardnih zmožnosti osnovnega modela. Praktični pregled se osredotoča na zvestobo viru: pomembna imena in številke, izpuščeni govor, nepričakovano besedilo med tišino in ponavljanje. Čitljiv prepis ostaja rezultat za primerjavo s posnetkom, ne jamstvo natančnega prepoznavanja.

Uporaben končni izdelek je prepis v izvornem jeziku z zahtevanimi časovnimi oznakami in jasno povezavo s posnetkom. Prepoznano različico ohranite ločeno od uredniško pripravljene različice za objavo, da bodo spremembe sledljive. Pri primerjavi izdaj ohranite ime large-v3-turbo: ne gre za polni model large-v3 in ne sme brez pojasnila prevzeti naloge prevajanja v angleščino modela large-v3. Ta identiteta modela z objavljenimi utežmi tudi ne prenaša omejitev nalaganja, oblik vrnjenih odgovorov ali obljub pretakanja v živo gostovane storitve whisper-1. Turbo izberite, kadar dokumentirani kompromis pri prepisu ustreza dejanskemu gradivu in želenemu času dokončanja.