NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B to model rozpoznawania mowy firmy NVIDIA o 600 milionach parametrów, przeznaczony do transkrypcji na żywo i przetwarzania nagrań. Rozszerza anglojęzyczną linię strumieniową o warunkowanie identyfikatorem języka. Mowa staje się tekstem w języku wejściowym, z interpunkcją oraz wielkimi i małymi literami wbudowanymi w wynik.

Zakres języków producenta ma trzy poziomy. Dziewiętnaście wariantów gotowych do transkrypcji obejmuje angielski z USA i Wielkiej Brytanii, hiszpański z USA i Hiszpanii, francuski z Francji i Kanady, włoski, portugalski z Brazylii i Portugalii, niderlandzki, niemiecki, turecki, rosyjski, arabski, hindi, japoński, koreański, wietnamski oraz ukraiński. Trzynaście wariantów o szerokim pokryciu dodaje polski, szwedzki, czeski, norweski bokmål, duński, bułgarski, fiński, chorwacki, słowacki, mandaryński, węgierski, rumuński i estoński. Łącznie te 32 warianty językowo-regionalne tworzą transkrypcję bez dodatkowego dostrajania.

Osiem wariantów gotowych do adaptacji — grecki, litewski, łotewski, maltański, słoweński, hebrajski, tajski i norweski nynorsk — jest rozpoznawanych przez tokenizer, ale wymaga dostrojenia na danych z docelowej dziedziny, aby uruchomić pełną transkrypcję. Podawana przez producenta liczba 40 wariantów nie oznacza więc, że wszystkie czterdzieści mają takie same możliwości od razu po uruchomieniu. Dostosowany checkpoint jest odrębnym materiałem od modelu bazowego.

Architektura łączy 24-warstwowy koder FastConformer wykorzystujący pamięć podręczną z dekoderem RNN-T. Zachowuje stany uwagi i splotów kodera z wcześniejszych ramek oraz przetwarza każdą nową porcję dźwięku bez wielokrotnego przeliczania nakładających się okien. Sygnał identyfikatora języka jest dostarczany wraz z reprezentacją akustyczną, aby warunkować transkrypcję lub pozwolić modelowi wywnioskować język.

Konfiguracja NVIDIA NeMo dokumentuje rozmiary porcji wynoszące 80, 160, 320, 560 i 1120 milisekund. Ustawienie uwagi określa, ile przyszłego dźwięku otrzyma dana porcja przed wyemitowaniem tekstu, pozwalając równoważyć czas oczekiwania i kontekst akustyczny. Są to konfiguracje strumieniowe producenta, a nie gwarantowane czasy odpowiedzi całego procesu; implementacja może udostępniać własny obsługiwany podzbiór.

Przygotuj dźwięk mono WAV z częstotliwością próbkowania 16 kHz właściwą procesorowi producenta. Gdy język jest znany, użyj warunkowania odpowiednim wariantem językowo-regionalnym; tryb automatyczny wykrywa język mówiony. Podstawowy przykład procesu domyślnie używa polecenia dla angielskiego z USA, więc działanie wielojęzyczne należy skonfigurować świadomie, zamiast zakładać je na podstawie tego przykładu.

W trybie automatycznym procedura producenta może dołączyć znacznik języka po końcowym znaku interpunkcyjnym transkrypcji. Zachowanie znacznika udostępnia język aplikacji obsługującej ruch w różnych językach; jego usunięcie daje czysty tekst transkrypcji. Zachowaj rozróżnienie między rozpoznanymi słowami, ich interpunkcją i tymi metadanymi językowymi podczas wyświetlania lub przetwarzania wyniku.

Aplikacja do napisów może podawać dźwięk w kolejności, zbierać transkrypcję i wykorzystywać ukończony tekst do wyświetlania lub dalszego przetwarzania. Aplikacja głosowa może przekazać rozpoznaną mowę do etapu rozumienia języka. Przy analizie rozmów można zachować razem oryginalne nagranie i transkrypcję, aby nazwy, liczby i nieznane terminy nadal można było sprawdzić. Model ASR dostarcza transkrypcję; podsumowanie, działania i generowanie mowy są odrębnymi etapami aplikacji.

NVIDIA trenuje model na połączeniu publicznych i własnościowych danych mowy z etykietami ludzkimi oraz syntetycznymi, znormalizowanymi do tekstu z interpunkcją i prawidłową wielkością liter. Przewodnik adaptacji podkreśla dopasowanie etykiet językowych i stylu tekstu, a następnie ocenę nagrań niewykorzystanych w treningu przy ustawieniu strumieniowym przeznaczonym do użycia. Opisuje adaptację do języka, akcentu i dziedziny, nie przypisując tych dostosowanych wyników pierwotnemu checkpointowi.

Karta modelu wiąże praktyczną długość nagrania z dostępną pamięcią, zamiast publikować jeden uniwersalny maksymalny czas. Odróżniaj wersję wielojęzyczną od modelu obsługującego wyłącznie angielski i zachowaj wybrany język oraz konfigurację strumieniową razem z wynikiem transkrypcji. Materiałem wyjściowym jest rozpoznany tekst z opcjonalnymi metadanymi językowymi producenta, a nie ogólna odpowiedź w rozmowie.