OpenAI: Whisper Large V3

Whisper large-v3 je vydaný modelový checkpoint rozpoznávání řeči od OpenAI s přibližně 1,55 miliardy parametrů. Jde o vícejazyčný model typu enkodér–dekodér: zvuk vstupuje do enkodéru a dekodér předpovídá text a tokeny související s úkolem. Hlavními úkoly jsou přepis řeči v původním jazyce a překlad řeči do angličtiny. Jde o identitu modelu s otevřenými vahami, oddělenou od identifikátoru modelu hostované služby i od pravidel dané služby pro nahrávání a formáty odpovědí.

Large-v3 zachovává architekturu dřívějších velkých checkpointů Whisper se dvěma uvedenými změnami: jeho spektrogramový vstup používá 128 melových frekvenčních pásem místo 80 a přidává token kantonského jazyka. Modelová karta výrobce popisuje trénování na jednom milionu hodin slabě anotovaného zvuku a čtyřech milionech hodin zvuku s pseudoanotacemi připravenými pomocí Whisper large-v2. Tato směs byla použita pro dvě trénovací epochy. Vydání je konkrétním checkpointem large-v3, nikoli obecným označením všech modelů rodiny Whisper.

Dokumentovaný postup inference ve výchozím nastavení provádí přepis a zachovává jazyk nahrané řeči. Zdrojový jazyk může automaticky rozpoznat nebo přijmout známou volbu jazyka. Při překladu poskytuje vícejazyčný velký model anglický textový výsledek z neanglické řeči. Tento úkol zvolte výslovně: přepis ve stejném jazyce a anglický překlad jsou různé výstupy. U rozhovoru zachovejte znění v původním jazyce; u anglického referenčního dokumentu určete, že požadovaným výsledkem je překlad mluveného obsahu.

Příprava zvuku je součástí vstupní cesty. Načítací funkce OpenAI dekóduje nahrávku na monofonní průběh a převzorkuje ji na 16 kHz. Akustické receptivní pole modelu je 30 sekund. Jde o okno zpracování, nikoli o maximální délku celého rozhovoru nebo přednášky. Inference dlouhých záznamů může postupovat sekvenčně přes posuvná okna nebo rozdělit dlouhou nahrávku na překrývající se části a spojit jejich přepisy. Modelová karta výrobce popisuje sekvenční zpracování, když je prioritou přesnost, a zpracování po částech, když více záleží na rychlosti dokončení jedné dlouhé nahrávky.

Vydaná konfigurace uvádí 448 pozic dekodéru pro jednu dekódovací sekvenci. Delší nahrávky se zpracovávají postupem pro dlouhé záznamy, nikoli tak, že by se toto číslo považovalo za univerzální limit přepisu. Dokumentovaný postup může vedle rozpoznaného textu vracet časové značky segmentů nebo slov. Tyto časové údaje se hodí pro navigaci v nahrávkách a přípravu titulků, zatímco konečný titulkový kontejner nebo formát souboru přepisu je samostatnou volbou výstupního formátování. Má-li být přepis zarovnán s původním materiálem, při přípravě zvuku zachovejte jeho časování.

Zamýšlenou úlohou Whisper je rozpoznávání a překlad řeči. Přepis přednášky, záznam rozhovoru nebo prohledávatelná sbírka mluveného materiálu jsou praktickými výstupy; shrnutí či interpretace mohou následovat jako další krok nad textem. Modelová karta nestanovuje spolehlivou automatickou klasifikaci mluvčích ani diarizaci jako standardní výstup základního checkpointu. Pokud úkol vyžaduje označení mluvčích, je třeba tento požadavek řešit odděleně od tvrzení o přesném přepisu. Užitečné zadání určuje zdrojový jazyk, zda je potřeba přepis nebo anglický překlad, a zda jsou požadovány časové údaje.

Mezi podstatná omezení patří vymyšlený text, který nikdy nezazněl, a opakující se text; souvisí se slabě řízeným trénováním na zašuměných datech a návrhem sequence-to-sequence. Kvalita rozpoznávání se liší podle jazyků, přízvuků a dialektů a je slabší tam, kde existuje méně trénovacího materiálu. Šum, odborná slovní zásoba a překrývající se řeč proto mají být zastoupeny ve vzorku používaném k posouzení vhodnosti. Jména, množství a důležitá tvrzení porovnejte s nahrávkou a prohlédněte úseky bez řeči nebo opakované řádky; plynulý přepis nepovažujte za důkaz, že bylo slyšeno každé slovo.

Úplný výsledek uchovává rozpoznaný text, jeho jazyk a případné požadované časové údaje s odkazem na původní nahrávku. Přepis oddělte od pozdějších úprav: opravený přepis pro publikaci může odstranit výplňové výrazy, zatímco rozpoznaný přepis zachovává to, co model skutečně vrátil. Identitu large-v3 a jeho překladovou schopnost je rovněž třeba oddělovat od rychlejší verze Turbo. Skutečná rychlost zpracování závisí na jazyce, tempu řeči, hardwaru a metodě inference; z názvu checkpointu samotného nevyplývá konkrétní latence hostované služby, maximální velikost nahrávaného souboru ani povolená cesta aplikace.