Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 to model percepcji audio firmy Meta do transkrypcji mowy, wykrywania granic wypowiedzi i przypisywania tur rozmówcom. Należy do rodziny modeli Muse Spark i łączy w modelu rozpoznawanie, diaryzację i wykrywanie końców wypowiedzi. Wynikiem jest rozpoznany tekst wraz z informacjami o czasie i rozmówcach dostępnymi w wybranym trybie.

Model przetwarza dźwięk w fragmentach po 80 milisekund i decyduje, kiedy nadal słuchać, a kiedy wyemitować tekst. Adaptacyjne opóźnienie pozwala poczekać na dodatkowy dźwięk, gdy trudniej rozpoznać słowo. Daje to tekst częściowy podczas napływu mowy, a następnie ukończone wyniki transkrypcji. Traktuj częściową hipotezę i ukończoną turę jako różne etapy słuchania.

Wybierz jeden z trzech trybów. Push-to-talk jest domyślnym trybem pojedynczej kontrolowanej wypowiedzi, np. zapytania głosowego lub krótkiego dyktowanego fragmentu. Endpointing pozwala modelowi wykrywać granice tur mowy i zwracać jedną ukończoną transkrypcję na wykryty segment. Diarization przypisuje rozpoznaną mowę do etykiet rozmówców i służy do nagrań wielu osób, a nie do najszybszej wymiany poleceń głosowych.

Dla nagranego klipu przepływ transkrypcji pliku zwraca kompletną transkrypcję w jednym żądaniu. Domyślnym wynikiem jest JSON zawierający transkrypcję i długość dźwięku, z tablicą turns w trybach endpointing i diarization. Każda tura może mieć identyfikator, początek i koniec w milisekundach oraz rozpoznany tekst. Etykiety rozmówców występują w trybie diarization. Push-to-talk daje pełną transkrypcję bez wykrytych tur w tej tablicy. Interfejs nagranych plików producenta może także zwracać zwykły tekst lub strumień zdarzeń transkrypcji. Zwykły tekst umieszcza wykryte tury w oddzielnych wierszach i może zawierać etykiety rozmówców; strumień zdarzeń kończy się po ostatnim zdarzeniu, bez osobnego podsumowania JSON. Tryb częściowy delta zwraca przyrostowy tekst, a końcowe zdarzenie transkrypcji zawiera pełne brzmienie.

Przygotuj plik RIFF/WAVE z monofonicznym dźwiękiem PCM o 16-bitowych wartościach całkowitych, przy 16 lub 24 kHz. Natywna częstotliwość modelu wynosi 24 kHz, a interfejs przyjmuje również 16 kHz. Przed dostarczeniem nagrania przekonwertuj inne kontenery lub kodowania do tej obsługiwanej postaci WAV. Profil transkrypcji pliku dopuszcza dźwięk do 10 minut i całkowite ciało żądania do 32 MB. Zachowaj oryginalne nagranie oraz ewentualną konwersję w powiązaniu ze zwróconą transkrypcją do późniejszej kontroli odsłuchowej.

Przepływ dźwięku na żywo używa surowego, monofonicznego PCM z 16-bitowymi liczbami ze znakiem w kolejności little-endian, przy 16 lub 24 kHz, dostarczanego w przybliżeniu w czasie rzeczywistym. Udokumentowane okno sesji wynosi 60 minut. Meta opisuje natywne wejście audio przekraczające jedną godzinę; udokumentowane limity pliku i sesji na żywo pozostają odrębnymi granicami interfejsu. Wybierz przepływ nagranego pliku lub na żywo zależnie od tego, czy dźwięk jest już kompletny, czy nadal rejestrowany, i zachowuj wyniki oddzielnych sesji w powiązaniu z ich własnymi segmentami wejściowymi.

Muse Voice Transcribe jest szkolony na ponad 70 językach, natomiast udokumentowany interfejs rozpoznawania wymienia 25 obsługiwanych języków. Obejmują one angielski, francuski, niemiecki, hiszpański, arabski, mandaryński, hindi, japoński, koreański, włoski i portugalski. Model rozpoznaje przełączanie języków wewnątrz zdań lub między nimi. Wskazówka językowa może nazywać języki oczekiwane w nagraniu, ale kieruje rozpoznawaniem, zamiast wymuszać transkrypcję w jednym języku.

Wskazówki słownikowe pomagają przy ważnych w nagraniu terminach produktowych, skrótowcach, nazwach lub miejscach. Podaj rzeczywiste słowa i pisownię, których spodziewasz się usłyszeć. Lista słów kluczowych ukierunkowuje rozpoznawanie bez gwarancji dokładnej pisowni, dlatego sprawdź rozstrzygające terminy z dźwiękiem. Wskazówki językowe i słowa kluczowe są wybierane na początku transkrypcji; dopasuj je do nagrania, zamiast zmieniać ich znaczenie w trakcie sesji.

Model obsługuje diaryzację rozmów z ponad 20 rozmówcami. Etykiety takie jak A i B identyfikują rozmówców w obrębie jednej transkrypcji. Nie są zweryfikowanymi nazwiskami i nie dowodzą, że etykieta odnosi się do tej samej osoby w innej sesji. W autorskim zadaniu analizy spotkania poproś o tury przypisane rozmówcom, zachowaj nagranie i użyj etykiet do uporządkowania rozmowy, zanim otaczający przepływ przypisze rzeczywiste nazwiska uczestników.

Częściowe transkrypcje na żywo mogą się zmieniać wraz z napływem mowy. W trybie cumulative każda część zastępuje poprzednią hipotezę, zamiast dodawać kolejną jej kopię. Wykryty koniec mowy oznacza granicę, a wynik ukończonej tury dostarcza tekst końcowy i może różnić się od ostatniej wersji częściowej. Zachowuj nakładające się tury w powiązaniu z ich identyfikatorami i odbierz ukończone wyniki przed uznaniem transkrypcji za zakończoną. Gdy wejście na żywo się kończy, zasygnalizuj koniec wejścia i nadal odbieraj dane, aż producent zakończy wysyłanie oczekujących wyników. Natychmiastowe zamknięcie połączenia może je odrzucić; wykryta granica mowy kończy turę, a nie całą sesję.

Informacje czasowe dotyczą poziomu tury. Ten profil nie dostarcza znaczników czasu poszczególnych słów ani ocen pewności, a postęp przetwarzania audio nie jest znacznikiem czasu konkretnego słowa. Wykrywanie zdarzeń dźwiękowych, wykrywanie emocji i przeformatowanie transkrypcji również wykraczają poza udokumentowany profil wyjściowy. Używaj zwróconych przedziałów tur do osi czasu rozmówców lub oceny segmentów i zachowuj rozpoznane słowa, jeśli oddzielny etap edycji tworzy później czytelniejsze notatki.

Przydatne rezultaty obejmują ukończony dyktowany fragment, transkrypcję zapytania głosowego, rozmowę z przypisaniem rozmówców lub oś czasu wypowiedzi. Porównaj nazwy, liczby i terminy techniczne z oryginalnym nagraniem, zachowaj powiązania trybu i czasu oraz udostępnij kompletne tury do kontroli. Transkrypcja ustala, co rozpoznano w dźwięku; odpowiadanie na wypowiedziane pytanie, tłumaczenie go lub przekształcanie w notatki ze spotkania należy do późniejszego kroku aplikacji.