OpenAI: Whisper Large V3

Whisper large-v3 je vydaný kontrolný bod rozpoznávania reči od OpenAI s približne 1,55 miliardy parametrov. Ide o viacjazyčný model s enkóderom a dekóderom: zvuk vstupuje do enkódera a dekóder predpovedá text a tokeny súvisiace s úlohou. Hlavnými úlohami sú prepis reči v zdrojovom jazyku a preklad reči do angličtiny. Je to identita modelu s otvorenými váhami, odlišná od identifikátora modelu hostovanej služby alebo pravidiel tejto služby pre nahrávanie a formát odpovede.

Large-v3 zachováva architektúru skorších veľkých kontrolných bodov Whisper s dvoma uvedenými zmenami: jeho spektrogramový vstup používa 128 melových frekvenčných pásiem namiesto 80 a pridáva jazykový token kantončiny. Modelová karta výrobcu opisuje tréning na jednom milióne hodín slabo označeného zvuku a štyroch miliónoch hodín zvuku s pseudooznačeniami pripravenými pomocou Whisper large-v2. Táto zmes bola použitá počas dvoch tréningových epoch. Vydanie je konkrétnym kontrolným bodom large-v3, nie všeobecným názvom každého modelu v rodine Whisper.

Dokumentovaný inferenčný postup predvolene vykonáva prepis a zachováva jazyk hovorený v nahrávke. Zdrojový jazyk môže rozpoznať automaticky alebo prijať voľbu známeho jazyka. Pri preklade viacjazyčný veľký model poskytuje anglický textový výsledok z neanglickej reči. Túto úlohu zvoľte výslovne: prepis v rovnakom jazyku a anglický preklad sú odlišné výstupy. Pri rozhovore zachovajte znenie v pôvodnom jazyku; pri anglickom referenčnom dokumente určite, že požadovaným výsledkom je preklad hovoreného obsahu.

Príprava zvuku je súčasťou vstupnej cesty. Načítavač OpenAI dekóduje nahrávku na mono priebeh a prevzorkuje ho na 16 kHz. Akustické receptívne pole modelu má 30 sekúnd. Je to spracovateľské okno, nie maximálna dĺžka celého rozhovoru alebo prednášky. Inferencia dlhých nahrávok môže postupovať sekvenčne posuvnými oknami alebo rozdeliť dlhú nahrávku na prekrývajúce sa časti a spojiť ich prepisy. Modelová karta výrobcu opisuje sekvenčné spracovanie, keď je prioritou presnosť, a spracovanie po častiach, keď viac záleží na čase dokončenia jednej dlhej nahrávky.

Vydaná konfigurácia uvádza 448 pozícií dekódera pre jednu dekódovaciu sekvenciu. Dlhšie nahrávky sa spracúvajú postupom pre dlhé nahrávky, nie považovaním tohto čísla za univerzálny limit prepisu. Dokumentovaný postup môže spolu s rozpoznaným textom vracať časové značky segmentov alebo slov. Tieto časové výstupy sú užitočné pri navigácii v nahrávkach a príprave titulkov, zatiaľ čo konečný titulkový kontajner alebo formát súboru prepisu je samostatnou voľbou výstupného formátovania. Pri príprave zvuku zachovajte časovanie nahrávky, ak sa má prepis zosúladiť s pôvodným materiálom.

Zamýšľanou úlohou Whisper je rozpoznávanie a preklad reči. Prepis prednášky, záznam rozhovoru alebo prehľadávateľná zbierka hovoreného materiálu sú praktickými výstupmi; zhrnutie alebo interpretácia môžu nasledovať ako ďalší krok nad textom. Modelová karta nestanovuje robustnú automatickú klasifikáciu hovoriacich ani diarizáciu ako štandardný výstup základného kontrolného bodu. Ak úloha potrebuje označenia hovoriacich, treba túto požiadavku riešiť oddelene od tvrdenia o presnom prepise. Užitočné zadanie určuje zdrojový jazyk, potrebu prepisu alebo anglického prekladu a požadované časové informácie.

Medzi podstatné obmedzenia patrí vymyslený text, ktorý nikdy nezaznel, a opakujúci sa text, spojené so tréningom so slabým dohľadom na zašumených dátach a architektúrou typu sekvencia na sekvenciu. Kvalita rozpoznávania sa líši medzi jazykmi, prízvukmi a dialektmi, pričom slabšie výsledky vznikajú tam, kde existuje menej tréningového materiálu. Šum, odborná slovná zásoba a prekrývajúca sa reč preto majú byť zastúpené vo vzorke na posúdenie vhodnosti. Mená, množstvá a dôležité výroky porovnajte s nahrávkou a skontrolujte nehovorené pasáže alebo opakované riadky namiesto toho, aby ste plynulý prepis považovali za dôkaz, že bolo zachytené každé slovo.

Úplný výsledok uchováva rozpoznaný text, jeho jazyk a požadované časovanie s odkazom na pôvodnú nahrávku. Prepis držte oddelene od neskoršej úpravy: opravený prepis na publikovanie môže odstrániť výplnkové výrazy, kým rozpoznaný prepis zachováva to, čo model skutočne vrátil. Identita large-v3 a jeho prekladová schopnosť majú tiež zostať oddelené od rýchlejšej verzie Turbo. Skutočná rýchlosť spracovania závisí od jazyka, rýchlosti reči, hardvéru a inferenčnej metódy; samotný názov kontrolného bodu neurčuje konkrétnu hostovanú latenciu, maximálnu veľkosť nahrávania ani zapnutú trasu aplikácie.