NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

A Nemotron 3.5 ASR Streaming Multilingual 0.6B az NVIDIA 600 millió paraméteres beszédfelismerő modellje élő átíráshoz és rögzített hanganyagok feldolgozásához. Az angol streaming modellvonalat nyelvazonosító alapján történő feltételes működéssel bővíti. A beszéd a bemenet nyelvén válik szöveggé, és a kimenet eleve tartalmazza a központozást, valamint a megfelelő kis- és nagybetűket.

A gyártó nyelvi lefedettsége három szintből áll. Tizenkilenc, átírásra kész nyelvi-területi változat fedi le az amerikai és brit angolt, az amerikai és spanyolországi spanyolt, a franciaországi és kanadai franciát, az olaszt, a brazíliai és portugáliai portugált, a hollandot, a németet, a törököt, az oroszt, az arabot, a hindit, a japánt, a koreait, a vietnámit és az ukránt. Tizenhárom széles körű lefedettségű változat adja hozzá a lengyelt, a svédet, a csehet, a norvég bokmålt, a dánt, a bolgárt, a finnt, a horvátot, a szlovákot, a mandarint, a magyart, a románt és az észtet. Ez a 32 nyelvi-területi változat együtt további finomhangolás nélkül készít átiratot.

Nyolc, adaptálásra kész nyelvi-területi változatot – a görögöt, a litvánt, a lettet, a máltait, a szlovént, a hébert, a thait és a norvég nynorskot – a tokenizáló felismer, de a teljes átírás lehetővé tételéhez célterületi finomhangolás szükséges. A fejlesztő 40 nyelvi-területi változatra vonatkozó száma tehát nem azt állítja, hogy mind a negyven ugyanazzal az azonnal használható képességgel rendelkezik. A testreszabott modellállapot az alapmodelltől különálló eredmény.

Az architektúra egy 24 rétegű, gyorsítótár-tudatos FastConformer kódolót kapcsol össze egy RNN-T dekóderrel. Megőrzi a kódoló korábbi keretekből származó figyelmi és konvolúciós állapotait, és minden új hangblokkot az átfedő ablakok ismételt újraszámítása nélkül dolgoz fel. Az akusztikus reprezentáció mellett nyelvazonosító jelet is kap, amely meghatározza az átirat nyelvi feltételét, vagy lehetővé teszi, hogy a modell következtesse ki a nyelvet.

Az NVIDIA NeMo-konfigurációja 80, 160, 320, 560 és 1120 milliszekundumos blokkméreteket dokumentál. A figyelmi beállítás szabályozza, mennyi későbbi hangot kap egy blokk a szöveg kiadása előtt, így a feladat egyensúlyt találhat a várakozási idő és az akusztikus kontextus között. Ezek fejlesztői streaming konfigurációk, nem garantált teljes válaszidők; egy megvalósítás a saját támogatott részhalmazukat teheti elérhetővé.

Készítsen monó WAV hangot a fejlesztő feldolgozóegységének 16 kHz-es mintavételi frekvenciájával. Ha a nyelv ismert, a megfelelő nyelvi-területi változatot adja meg feltételként; az automatikus mód felismeri a beszélt nyelvet. Az alap feldolgozási példa alapértelmezés szerint amerikai angol promptot használ, ezért a többnyelvű működést tudatosan be kell állítani, nem szabad a példából adottnak tekinteni.

Automatikus módban a fejlesztő munkafolyamata nyelvcímkét fűzhet az átirat mondatzáró írásjele után. A címke megőrzése elérhetővé teszi a nyelvet a vegyes nyelvű forgalmat kezelő alkalmazásnak; az eltávolítása tiszta átiratszöveget ad. Az eredmény megjelenítésekor vagy feldolgozásakor őrizze meg a felismert szavak, a központozásuk és e nyelvi metaadat közötti különbséget.

Egy feliratozó alkalmazás sorrendben adagolhatja a hangot, gyűjtheti az átiratot, és a lezárt szöveget felhasználhatja megjelenítéshez vagy további feldolgozáshoz. Egy hangalapú alkalmazás a felismert beszédet továbbadhatja a nyelvértelmezési szakaszának. A híváselemzés együtt őrizheti meg az eredeti felvételt és az átiratot, hogy a nevek, számok és ismeretlen kifejezések ellenőrizhetők maradjanak. Az ASR-modell az átiratot szolgáltatja; az összefoglalás, a műveletek és a beszédgenerálás az alkalmazás külön szakaszai.

Az NVIDIA a modellt nyilvános és saját beszédadatok keverékén tanítja, emberi és szintetikus címkékkel, amelyeket központozott, megfelelő kis- és nagybetűket használó szöveggé normalizáltak. Adaptálási útmutatója a nyelvcímkék és a szövegstílus egyeztetését hangsúlyozza, majd az elkülönített ellenőrző hanganyag értékelését a használatra szánt streaming beállítással. Nyelvi, akcentus- és szakterületi adaptálást ír le anélkül, hogy ezeket a testreszabott eredményeket az eredeti modellállapot tulajdonságainak tekintené.

A modellkártya a gyakorlatban feldolgozható felvételhosszt a rendelkezésre álló memóriához köti, nem ad meg egyetlen általános időtartamkorlátot. A többnyelvű kiadást különítse el a kizárólag angol nyelvű modelltől, és a kiválasztott nyelvet, valamint a streaming konfigurációt őrizze meg az átírási eredménnyel együtt. A kimeneti eredmény a felismert szöveg, a fejlesztő opcionális nyelvi metaadataival, nem pedig egy általános társalgási válasz.