NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 je vícejazyčný model společnosti NVIDIA pro rozpoznávání řeči s 600 miliony parametrů. Rozšiřuje model v2 určený pouze pro angličtinu na 25 evropských jazyků a automaticky rozpoznává jazyk zvuku bez samostatného jazykového zadání. Výsledkem je přepis řeči s interpunkcí a správným psaním velkých písmen.

Podporované jazyky jsou bulharština, chorvatština, čeština, dánština, nizozemština, angličtina, estonština, finština, francouzština, němčina, řečtina, maďarština, italština, lotyština, litevština, maltština, polština, portugalština, rumunština, slovenština, slovinština, španělština, švédština, ruština a ukrajinština. Tento seznam patří k edici v3; jiné typy dekodérů Parakeet a jazykové varianty jsou samostatnými modely.

Architektura kombinuje kodér FastConformer s transduktorovým dekodérem tokenů a délek trvání. Kodér převádí akustický signál na reprezentace; dekodér předpovídá textové tokeny společně s délkami trvání potřebnými pro postup přes zvukové rámce. Tímto chováním se TDT liší od dekodérů CTC a běžných RNN-T v této rodině.

Připravte jednokanálový zvuk se vzorkovací frekvencí 16 kHz. Přímými vstupními formáty výrobce jsou WAV a FLAC a jeho implementační příklady používají procesor k přípravě zvukové vlny pro rozpoznávání. Identifikátor nahrávky a původní zvuk uchovávejte vedle vráceného textu, aby bylo možné přepis zkontrolovat nebo zarovnat se zdrojem.

Časové značky doplňují rozpoznanou řeč o časové údaje. Příklad NVIDIA pro NeMo při zapnutém generování časových značek vrací časování znaků, slov a segmentů. Aplikace pro titulky nebo archivaci může pomocí hranic segmentů propojit pasáž s nahrávkou nebo časováním slov vyhledat konkrétní frázi. Přepis a jeho pole časování představují různé části výsledku a měly by zůstat propojené.

U dlouhých nahrávek záleží na konfiguraci pozornosti. Výrobce popisuje až 24 minut s plnou pozorností na A100 s 80 GB a až tři hodiny s lokální pozorností. Jeho příklad pro dlouhé nahrávky přepíná kodér na lokální pozornost s omezeným levým a pravým kontextem. Tyto délky popisují konkrétní konfigurace výrobce, nikoli jediný bezpodmínečný limit pro každé nasazení.

Výrobce zveřejňuje také postup inference po blocích pro streamované použití. Příklad definuje délku bloku a levý i pravý zvukový kontext kolem každého bloku. Jde o odlišný postup zpracování od nativního streamovacího modelu Nemotron využívajícího mezipaměť. Při sestavování přepisu nahrávky z více úseků by aplikace měla zachovat zvolený postup a původní časovou referenci.

Tréninková směs zahrnuje 10 000 hodin řeči přepsané lidmi a 660 000 hodin dat Granary s automaticky vytvořenými přepisy, se zachovanou interpunkcí a psaním velkých písmen. Výrobce také podporuje dolaďování tohoto vydaného checkpointu na jiné datové sadě řeči prostřednictvím zdokumentovaného postupu pro model; doladěný checkpoint zůstává odlišný od základního modelu v3. Textový výstup modelu je proto vhodný jako fáze převodu řeči na text ve větším pracovním postupu. Archiv schůzek může připojit přepis k nahrávce; vyhledávací aplikace může indexovat rozpoznanou pasáž; nástroj pro titulky může využít vrácená metadata časování.

Kvalita rozpoznávání se liší podle jazyka, přízvuku, šumu a typu řeči. Výrobce výslovně upozorňuje, že slovní zásoba nezastoupená v tréninku může uniknout rozpoznání a že izolovaná slova nebo neúplné věty poskytují slabší kontext. Uchovejte původní zvuk pro kontrolu jmen a odborných termínů, místo abyste nejisté rozpoznání proměnili v ověřený fakt.

Užitečným artefaktem je přepis s požadovanými časovými údaji. Shrnutí, překlady, analýza mluvčích a následné akce jsou samostatné úlohy aplikace, nikoli funkce vyplývající z označení převodu řeči na text. Identitu v3 a režim pozornosti výrobce odlišujte od jiných checkpointů i od převedených nebo kvantovaných artefaktů.