NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B je model společnosti NVIDIA pro rozpoznávání řeči s 600 miliony parametrů, určený k živému přepisu i zpracování nahraného zvuku. Rozšiřuje anglickou streamovací řadu o podmínění identifikátorem jazyka. Řeč převádí na text v jazyce vstupu, s interpunkcí a správným psaním velkých písmen přímo ve výstupu.

Jazykové pokrytí výrobce má tři úrovně. Devatenáct variant připravených pro přepis zahrnuje americkou a britskou angličtinu, španělštinu z USA a Španělska, francouzštinu z Francie a Kanady, italštinu, portugalštinu z Brazílie a Portugalska, nizozemštinu, němčinu, turečtinu, ruštinu, arabštinu, hindštinu, japonštinu, korejštinu, vietnamštinu a ukrajinštinu. Třináct variant se širokým pokrytím přidává polštinu, švédštinu, češtinu, norštinu bokmål, dánštinu, bulharštinu, finštinu, chorvatštinu, slovenštinu, mandarínskou čínštinu, maďarštinu, rumunštinu a estonštinu. Dohromady těchto 32 variant vytváří přepis bez dalšího dolaďování.

Osm variant připravených k adaptaci — řečtina, litevština, lotyština, maltština, slovinština, hebrejština, thajština a norština nynorsk — tokenizer rozpoznává, ale pro plný přepis vyžadují dolaďování na datech z cílové oblasti. Údaj výrobce o 40 variantách tedy netvrdí, že všech čtyřicet má stejné schopnosti ihned po nasazení. Přizpůsobený checkpoint je samostatný artefakt odlišný od základního modelu.

Architektura kombinuje 24vrstvý kodér FastConformer využívající mezipaměť s dekodérem RNN-T. Uchovává stavy pozornosti a konvolucí kodéru z předchozích rámců a zpracovává každý nový zvukový blok bez opakovaného přepočítávání překrývajících se oken. Společně s akustickou reprezentací se dodává signál identifikátoru jazyka, který podmiňuje přepis nebo nechává model jazyk odvodit.

Konfigurace NVIDIA pro NeMo dokumentuje velikosti bloků 80, 160, 320, 560 a 1 120 milisekund. Nastavení pozornosti řídí, kolik budoucího zvuku blok obdrží před vrácením textu, a umožňuje tak vyvážit čekání a akustický kontext. Jde o streamovací konfigurace výrobce, nikoli o zaručené celkové časy odpovědi; implementace může zpřístupnit vlastní podporovanou podmnožinu.

Připravte jednokanálový zvuk WAV při vzorkovací frekvenci 16 kHz používané procesorem výrobce. Pokud jazyk znáte, použijte odpovídající jazykové a regionální podmínění; automatický režim detekuje mluvený jazyk. Základní příklad pipeline ve výchozím stavu používá zadání pro americkou angličtinu, proto vícejazyčné chování nastavte záměrně a nepředpokládejte je pouze na základě tohoto příkladu.

V automatickém režimu může postup výrobce připojit za koncovou interpunkci přepisu jazykovou značku. Ponechání značky zpřístupňuje jazyk aplikaci zpracovávající provoz v různých jazycích; její odstranění vrací čistý text přepisu. Při zobrazování nebo zpracování výsledku zachovejte rozlišení mezi rozpoznanými slovy, jejich interpunkcí a těmito jazykovými metadaty.

Aplikace pro titulky může dodávat zvuk v pořadí, shromažďovat přepis a využívat dokončený text k zobrazení nebo navazujícímu zpracování. Hlasová aplikace může předat rozpoznanou řeč do fáze porozumění jazyku. Při analýze hovorů lze uchovat původní nahrávku společně s přepisem, aby zůstala možná kontrola jmen, čísel a neznámých termínů. Model ASR dodává přepis; shrnutí, akce a generování řeči jsou samostatné fáze aplikace.

NVIDIA trénuje model na směsi veřejných a vlastních řečových dat s lidskými i syntetickými anotacemi normalizovanými do textu s interpunkcí a správným psaním velkých písmen. Průvodce adaptací zdůrazňuje sladění jazykových označení a stylu textu a následné hodnocení oddělených kontrolních nahrávek při streamovacím nastavení zamýšleném pro použití. Popisuje adaptaci na jazyk, přízvuk a oblast, aniž by výsledky takových úprav vydával za vlastnosti původního checkpointu.

Karta modelu spojuje praktickou délku nahrávky s dostupnou pamětí a nezveřejňuje jeden univerzální strop trvání. Vícejazyčnou edici odlišujte od modelu pouze pro angličtinu a s výsledkem přepisu uchovejte zvolený jazyk i streamovací konfiguraci. Výstupním artefaktem je rozpoznaný text s volitelnými jazykovými metadaty výrobce, nikoli obecná konverzační odpověď.