NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 to wielojęzyczny model rozpoznawania mowy firmy NVIDIA o 600 milionach parametrów. Rozszerza model v2, obsługujący wyłącznie język angielski, do 25 języków europejskich i automatycznie wykrywa język nagrania bez osobnego polecenia określającego język. Wynikiem jest transkrypcja mowy z interpunkcją oraz wielkimi i małymi literami.

Obsługiwane języki to bułgarski, chorwacki, czeski, duński, niderlandzki, angielski, estoński, fiński, francuski, niemiecki, grecki, węgierski, włoski, łotewski, litewski, maltański, polski, portugalski, rumuński, słowacki, słoweński, hiszpański, szwedzki, rosyjski i ukraiński. Ta lista dotyczy wersji v3; inne typy dekoderów Parakeet i warianty językowe są odrębnymi modelami.

Architektura łączy koder FastConformer z dekoderem transduktorowym przewidującym tokeny i czas ich trwania. Koder przekształca sygnał akustyczny w reprezentacje, a dekoder przewiduje tokeny tekstowe wraz z czasem trwania potrzebnym do przechodzenia przez kolejne ramki dźwięku. To działanie TDT odróżnia go od dekoderów CTC i zwykłych RNN-T z tej rodziny.

Przygotuj jednokanałowe nagranie z częstotliwością próbkowania 16 kHz. Bezpośrednio obsługiwane przez producenta formaty wejściowe to WAV i FLAC, a jego przykłady implementacji wykorzystują procesor do przygotowania przebiegu fali do rozpoznawania. Zachowaj identyfikator nagrania i oryginalny dźwięk obok zwróconego tekstu, aby transkrypcję można było sprawdzić lub dopasować do źródła.

Generowanie znaczników czasu dodaje informacje czasowe do rozpoznanej mowy. Przykład NVIDIA NeMo zwraca czasy znaków, słów i segmentów, gdy włączone jest generowanie znaczników czasu. Aplikacja do napisów lub archiwizacji może używać granic segmentów do powiązania fragmentu tekstu z nagraniem albo czasów słów do odnalezienia konkretnej frazy. Transkrypcja i jej pola czasowe to różne części wyniku, których powiązanie należy zachować.

Przy długich nagraniach znaczenie ma konfiguracja mechanizmu uwagi. Producent opisuje obsługę do 24 minut z pełną uwagą na karcie A100 z 80 GB pamięci oraz do trzech godzin z uwagą lokalną. Jego przykład dla długich nagrań przełącza koder na uwagę lokalną z ograniczonym kontekstem z lewej i prawej strony. Te czasy dotyczą konkretnych konfiguracji producenta, a nie jednego bezwarunkowego limitu dla każdego wdrożenia.

Producent publikuje również sposób pracy z wnioskowaniem w porcjach do zastosowań strumieniowych. Jego przykład określa długość porcji oraz kontekst dźwiękowy z lewej i prawej strony każdej porcji. Jest to odrębna procedura przetwarzania od natywnego modelu strumieniowego Nemotron, który uwzględnia pamięć podręczną. Zbierając transkrypcję nagrania z kolejnych części, aplikacja powinna zachować wybraną procedurę i pierwotny punkt odniesienia dla czasu.

Zbiór treningowy obejmuje 10 000 godzin mowy przepisanej przez ludzi oraz 660 000 godzin danych Granary z automatycznie nadanymi etykietami, z zachowaniem interpunkcji oraz wielkich i małych liter. Producent umożliwia też dostrajanie tego opublikowanego checkpointu na innym zbiorze mowy za pomocą udokumentowanej procedury pracy z modelem; dostrojony checkpoint pozostaje odrębny od bazowego modelu v3. Wynik tekstowy modelu nadaje się zatem jako etap zamiany mowy na tekst w większym procesie. Archiwum spotkań może dołączyć transkrypcję do nagrania, aplikacja wyszukująca może zaindeksować rozpoznany fragment, a narzędzie do tworzenia napisów może wykorzystać zwrócone metadane czasowe.

Jakość rozpoznawania zależy od języka, akcentu, hałasu i rodzaju mowy. Producent wyraźnie zaznacza, że słownictwo nieobecne w treningu może zostać pominięte, a pojedyncze słowa lub niepełne zdania dostarczają słabszego kontekstu. Zachowaj oryginalny dźwięk do sprawdzania nazw i terminów specjalistycznych, zamiast uznawać niepewny wynik rozpoznawania za potwierdzony fakt.

Użytecznym rezultatem jest transkrypcja z żądanymi informacjami czasowymi. Podsumowania, tłumaczenia, analiza mówców i działania to odrębne zadania aplikacji, a nie funkcje wynikające z samej nazwy zamiany mowy na tekst. Zachowaj rozróżnienie między tożsamością v3 i trybem uwagi producenta a innymi checkpointami oraz plikami po konwersji lub kwantyzacji.