Google: Chirp 3

Google Chirp 3 to wielojęzyczny model automatycznego rozpoznawania mowy, który przekształca wypowiedzi z nagrań audio w tekst. Google opisuje go jako model transkrypcji Chirp 3 w rodzinie Speech-to-Text V2, z identyfikatorem modelu chirp_3. Służy do rozpoznawania mowy nagranej lub przesyłanej strumieniowo, z wykrywaniem języka i funkcjami właściwymi dla transkrypcji. Wynikiem jest transkrypcja wraz z metadanymi obsługiwanymi przez wybraną metodę rozpoznawania, a nie wygenerowana mowa czy swobodna odpowiedź asystenta.

Producent rozróżnia rozpoznawanie strumieniowe, rozpoznawanie synchroniczne dla krótkich klipów oraz rozpoznawanie wsadowe dla dłuższych nagrań. Wybierz tryb odpowiedni do źródłowego dźwięku i wymaganego wyniku. W przypadku krótkiej notatki głosowej wystarczająca może być ukończona odpowiedź tekstowa. W przypadku wywiadu lub nagranej rozmowy bardziej przydatny może być wynik wsadowy zawierający informacje o mówcach. Przy tworzeniu napisów na żywo lub interfejsu poleceń głosowych odróżniaj tekst pośredni od ostatecznego wyniku rozpoznawania i zachowuj informacje o przedziale nagrania, którego dotyczy.

Przygotuj dźwięk w kodowaniu oczekiwanym przez implementację rozpoznawania. Przykłady Google dla Chirp 3 wykorzystują automatycznie wykrywane dekodowanie dla nagranych plików oraz jawnie określone dekodowanie w konfiguracji strumieniowania surowego dźwięku. Powiązana dokumentacja dekodera V2 wymienia wśród obsługiwanych kodowań WAV z dźwiękiem PCM lub kompandowanym, FLAC, MP3, Ogg/WebM Opus oraz AAC w kontenerach MP4, M4A lub MOV. Nazwa kontenera nie zastępuje rzeczywistego kodeka i konfiguracji próbkowania. Zadbaj o wyraźną mowę i unikaj silnego przesterowania oraz zbędnej konwersji powodującej utratę słyszalnych szczegółów.

Chirp 3 potrafi automatycznie zidentyfikować i transkrybować dominujący język, a zestaw oczekiwanych wariantów językowo-regionalnych może zawęzić możliwości rozpoznawania. Dostępność języków zależy od metody i funkcji. Lista języków transkrypcji jest szersza niż lista języków obsługujących diaryzację, więc samo rozpoznawanie danego języka nie oznacza, że działają w nim wszystkie funkcje dotyczące mówców lub czasu. Użyj wariantu językowo-regionalnego pasującego do nagrania i zachowaj do sprawdzenia nazwy oraz terminy specjalistyczne wypowiadane przy przełączaniu między językami. Etykieta wykrytego języka jest częścią wyniku, a nie dowodem poprawnego rozpoznania wszystkich nietypowych słów.

Diaryzacja mówców grupuje wypowiedzi według głosu w nagraniu jednokanałowym. Google udostępnia przykład transkrypcji wsadowej z informacją o mówcy dla każdego słowa. W przypadku wywiadu zachowaj te etykiety razem z rozpoznanym tekstem i porównaj zmiany mówców z nagraniem, zanim przypiszesz im rzeczywiste nazwiska lub role. Podobne głosy, przerywanie wypowiedzi i nakładanie się mowy mogą utrudniać przypisanie. Jasno określ układ kanałów materiału źródłowego i cel weryfikacji mówców, zamiast traktować etykietę jako niezależnie potwierdzoną tożsamość.

Informacje o czasie również zależą od metody. Rozpoznawanie strumieniowe zapewnia znaczniki czasu na poziomie wypowiedzi, natomiast wskazówki producenta dotyczące rozpoznawania plików opisują opcjonalne czasy poszczególnych słów, z możliwym kompromisem w jakości transkrypcji. Zachowaj metadane rzeczywiście zwrócone przez wybraną metodę i sprawdź dopasowanie czasowe razem z brzmieniem tekstu. Proces tworzenia napisów potrzebuje obu elementów: czytelnego rozpoznanego tekstu i potwierdzenia, że granica czasowa odpowiada właściwemu dźwiękowi. Google ostrzega również, że zwracana wartość pewności na poziomie słowa nie jest rzeczywistą miarą pewności, dlatego nie należy używać jej do potwierdzania poprawności słowa.

Adaptacja rozpoznawania mowy pozwala podać frazy i nazwy własne, które prawdopodobnie wystąpią w nagraniu. Producent dokumentuje słownik obejmujący do 1 000 fraz i zaleca jak najmniejszą liczbę trafnych wpisów, aby nie pogarszać rozpoznawania innych terminów. W przypadku prezentacji technicznej przygotuj krótką listę rzeczywistych nazw produktów i skrótów, a następnie sprawdź je w transkrypcji. Nadanie terminowi większej wagi pomaga uwzględnić go podczas rozpoznawania; nie dowodzi jednak, że został wypowiedziany, ani nie zastępuje sprawdzenia nagrania.

Model zapewnia automatyczną interpunkcję i stosowanie wielkich liter, które można wyłączyć w udokumentowanym interfejsie. Google opisuje również funkcję w wersji zapoznawczej pozwalającą podawać własne instrukcje formatowania transkrypcji, na przykład sposób zapisu konkretnej nazwy lub daty. Ogranicz te instrukcje do formatowania rozpoznanej mowy. Transkrypcja, która normalizuje datę lub zapisuje markę wielką literą, nadal musi zachowywać sens wypowiedzi. Streszczenie, tłumaczenie lub analiza faktów to późniejsze zastosowania transkrypcji, a nie coś, co potwierdza sam wynik rozpoznawania.

Wbudowany moduł odszumiania ma ograniczać muzykę w tle i odgłosy otoczenia, takie jak deszcz czy hałas uliczny. Google wyraźnie stwierdza, że nie może on usuwać ludzkich głosów w tle. Zachowaj to rozróżnienie przy przygotowywaniu nagrania z nakładającymi się rozmowami. Porównuj hałaśliwe i ciche fragmenty z materiałem źródłowym, zamiast zakładać, że bardziej uporządkowana transkrypcja dowodzi usunięcia zakłócającego dźwięku. Przydatny wynik pozwala rozpoznać niepewne fragmenty i je poprawić.

W zadaniach strumieniowych czułość wykrywania końca wypowiedzi wpływa na to, kiedy wypowiedź zostaje uznana za zakończoną. Producent opisuje ustawienia standard, short i supershort dla coraz krótszych oczekiwanych wypowiedzi. Szybsze ustawienie może uciąć wypowiedź osoby, która robi pauzę w środku myśli. Dopasuj ustawienie do naturalnego dyktowania, krótkiego zdania lub bardzo krótkiego polecenia i zachowaj przy transkrypcji status wyniku końcowego. W przypadku gotowego pliku sprawdź nazwy, ilości, zaprzeczenia i granice wypowiedzi mówców, a następnie zachowaj wybrany tryb oraz źródłowy dźwięk, aby wynik można było zweryfikować lub wykorzystać ponownie.