AssemblyAI: Universal-3.5 Pro

Universal-3.5 Pro to model AssemblyAI do rozpoznawania mowy, służący do zamiany nagranej wypowiedzi na tekst. W profilu Sync krótki klip audio daje kompletną transkrypcję w jednej odpowiedzi. Sprawdza się to w wiadomościach głosowych, wejściu typu „naciśnij i mów” i odrębnych turach rozmowy, gdy aplikacja wie już, kiedy nagranie ma się zakończyć.

Przygotuj audio jako klip o określonych granicach. Wymagania Sync firmy AssemblyAI dopuszczają czas od 80 milisekund do 120 sekund przy maksymalnym rozmiarze pliku 40 MB. Obsługiwane formaty to WAV lub surowy PCM z 16-bitowymi próbkami ze znakiem w porządku little-endian. Audio może być mono lub stereo; stereo jest wewnętrznie miksowane do mono. Obsługiwane częstotliwości próbkowania to 8, 16, 22,05, 24, 32, 44,1 i 48 kHz. Nagłówek WAV podaje częstotliwość próbkowania i liczbę kanałów; surowy PCM wymaga osobnego podania tych wartości w konfiguracji transkrypcji.

Zarejestruj całą wypowiedź i zachowaj nienaruszone początek i koniec mowy. Przydatnym oryginalnym zadaniem jest krótka wiadomość głosowa do pomocy produktowej, zawierająca nazwę produktu, identyfikator zamówienia i prośbę. Zachowaj klip źródłowy, aby można było sprawdzić te ważne szczegóły w transkrypcji. Dla dłuższego nagrania przygotuj przepływ odpowiedni do transkrypcji długich materiałów, zamiast traktować limit czasu krótkiego klipu jako informację o pojemności audio całego modelu.

Wynik zawiera pełną transkrypcję, listę słów z poziomem pewności dla każdego słowa oraz ogólny poziom pewności od zera do jednego. Podaje także czas przesłanego audio i identyfikator żądania, dzięki czemu tekst można powiązać z oryginalnym klipem. Wykorzystaj pewność słów do znalezienia fragmentów wymagających sprawdzenia odsłuchem, zwłaszcza nazw, liczb i terminologii branżowej ważnych dla aplikacji.

Znaczniki czasu słów są opcjonalne i domyślnie wyłączone. Po ich zażądaniu każde dopasowane słowo może mieć czas początku i końca w milisekundach względem początku klipu. Profil producenta pozostawia te wartości nieobecne, gdy nie da się dopasować słowa, zamiast wymyślać przybliżony czas. Dokładność znaczników jest najlepsza dla audio w języku angielskim. Przygotowując podświetlanie słów, przeszukiwalny przebieg dźwięku lub dopasowanie napisów, jawnie zachowaj brakujące czasy i porównaj tekst z nagraniem, zanim użyjesz go jako gotowej ścieżki napisów.

Polecenie kontekstowe opisuje temat nagrania. Może wskazywać dziedzinę, scenariusz lub konkretne szczegóły znane już aplikacji, a jego maksymalna długość wynosi 6 000 znaków. Zacznij od krótkiego opisu pasującego do audio, na przykład rozmowy z pomocą techniczną o konkretnym urządzeniu. Polecenie dostarcza kontekstu rozpoznawania; nie jest prośbą o przeredagowanie wiadomości mówiącego w inny dokument.

Osobna lista kluczowych terminów ukierunkowuje rozpoznawanie na określone słownictwo. Profil Sync dopuszcza do 100 terminów i 8 000 znaków łącznie na tej liście. Podawaj dokładną pisownię nietypowych nazw, skrótowców i terminów produktowych, pomijając zwykłe, dobrze rozpoznawane słowa. Duże lub zbędne listy terminów mogą prowadzić do nadmiernych korekt, dlatego skup listę na słowach ważnych w nagraniu. Opis kontekstu i listę słownictwa można stosować razem.

Wcześniejsza rozmowa może również pomóc zinterpretować krótką odpowiedź. Podaj poprzednie wypowiedzi chronologicznie, od najstarszej do najnowszej, pozostawiając bieżące audio jako turę poddawaną transkrypcji. Udokumentowany limit kontekstu wynosi 500 tur lub 16 000 znaków łącznie. Jeśli kontekst przekracza te limity lub dostępny kontekst modelu, najpierw usuwane są najstarsze wpisy. Przydaje się to, gdy krótka odpowiedź zawiera identyfikator lub odniesienie, którego znaczenie wynika z poprzedniego pytania.

Wybór języka ukierunkowuje rozpoznawanie na jeden lub kilka oczekiwanych języków. Obecny interfejs Sync przyjmuje 32 kody języków i domyślnie wybiera angielski, jeśli nie podano wyboru. Dla audio z przełączaniem języków wymień oczekiwane języki. Niestandardowe polecenie kontekstowe zastępuje zarządzane ustawienie domyślne i ma pierwszeństwo przed osobnym ukierunkowaniem kodami języków, dlatego podaj oczekiwane języki wewnątrz tego polecenia, gdy potrzebny jest zarówno kontekst językowy, jak i sytuacyjny. Zachowaj transkrypcję w faktycznie używanych językach, zamiast traktować ją jako polecenie tłumaczenia.

Model występuje również w innych przepływach transkrypcji AssemblyAI, natomiast wymagania krótkich klipów i pola wynikowe profilu Sync należą do tego konkretnego interfejsu. Przepływ Dictation producenta dodaje osobny etap porządkowania tekstu; transkrypcja i przeredagowana wiadomość są różnymi materiałami. Zachowaj rozpoznaną wypowiedź, jeśli późniejszy etap redagowania lub podsumowania tworzy wersję uporządkowaną, aby oryginalne sformułowania pozostały dostępne do porównania.

Przydatne materiały wynikowe obejmują transkrybowaną wiadomość głosową, ukończoną turę dla asystenta, krótki przeszukiwalny tekst audio lub listę słów z czasami dla interfejsu przeglądu. Sprawdź decydujące słowa z nagraniem, zachowaj wszelkie brakujące dopasowania i utrzymaj powiązanie klipu ze zwróconym tekstem. Wynik rozpoznawania dostarcza kolejnemu etapowi aplikacji transkrypcję opartą na źródle; odpowiedź na prośbę lub redagowanie wiadomości należą do otaczającego przepływu pracy.