OpenAI: Whisper Large V3

Whisper large-v3 to opublikowany model rozpoznawania mowy OpenAI mający około 1,55 miliarda parametrów. Jest wielojęzycznym modelem encoder-decoder: audio trafia do enkodera, a dekoder przewiduje tekst i tokeny związane z zadaniem. Główne zadania to transkrypcja mowy w języku źródłowym i tłumaczenie mowy na angielski. Jest to tożsamość modelu z otwartymi wagami, odrębna od identyfikatora modelu usługi hostowanej oraz jej reguł przesyłania plików i formatów odpowiedzi.

Large-v3 zachowuje architekturę wcześniejszych dużych modeli Whisper z dwiema wskazanymi zmianami: jego wejściowy spektrogram wykorzystuje 128 pasm częstotliwości Mel zamiast 80 i dodaje token języka kantońskiego. Karta modelu producenta opisuje trening na milionie godzin audio ze słabymi etykietami i czterech milionach godzin audio z pseudoetykietami przygotowanymi za pomocą Whisper large-v2. Mieszanki użyto przez dwie epoki treningowe. Wydanie jest konkretnym modelem large-v3, a nie ogólną nazwą każdego modelu rodziny Whisper.

Udokumentowany proces wnioskowania domyślnie wykonuje transkrypcję, zachowując język nagrania. Może automatycznie wykryć język źródłowy lub przyjąć wybór znanego języka. W zadaniu tłumaczenia wielojęzyczny model large tworzy angielski tekst z mowy w innym języku. Wybierz to zadanie jawnie: transkrypcja w tym samym języku i angielskie tłumaczenie są różnymi rezultatami. W wywiadzie zachowaj oryginalne sformułowania języka źródłowego; dla angielskiego dokumentu referencyjnego określ, że oczekujesz tłumaczenia treści mówionej.

Przygotowanie audio jest częścią ścieżki wejściowej. Loader OpenAI dekoduje nagranie do monofonicznego przebiegu i zmienia częstotliwość próbkowania na 16 kHz. Akustyczne pole recepcyjne modelu wynosi 30 sekund. To okno przetwarzania, a nie maksymalna długość całego wywiadu lub wykładu. Wnioskowanie dla długich nagrań może przechodzić sekwencyjnie przez przesuwane okna albo dzielić nagranie na nakładające się fragmenty i łączyć ich transkrypcje. Karta modelu producenta opisuje przetwarzanie sekwencyjne, gdy priorytetem jest dokładność, i przetwarzanie fragmentami, gdy ważniejszy jest czas obsługi pojedynczego długiego nagrania.

Opublikowana konfiguracja podaje 448 pozycji dekodera dla pojedynczej sekwencji dekodowania. Dłuższe nagrania obsługuje proces długich nagrań, a nie traktowanie tej liczby jako uniwersalnego limitu transkrypcji. Udokumentowany proces może zwracać znaczniki czasu segmentów lub słów obok rozpoznanego tekstu. Takie dane czasowe pomagają nawigować po nagraniach i przygotowywać napisy, podczas gdy końcowy kontener napisów lub format pliku transkrypcji jest odrębnym wyborem formatowania. Zachowaj synchronizację nagrania podczas przygotowania audio, jeśli transkrypcja ma być dopasowana do oryginalnego materiału.

Zadaniem Whisper jest rozpoznawanie i tłumaczenie mowy. Transkrypcja wykładu, zapis wywiadu lub przeszukiwalny zbiór materiałów mówionych to praktyczne wyniki; podsumowanie lub interpretacja mogą nastąpić jako osobny krok na tekście. Karta modelu nie ustanawia niezawodnej automatycznej klasyfikacji mówców ani diaryzacji jako standardowego wyjścia bazowego modelu. Jeśli zadanie wymaga oznaczeń mówców, należy obsłużyć to wymaganie osobno od twierdzenia o dokładnej transkrypcji. Użyteczny brief wskazuje język źródłowy, potrzebę transkrypcji lub tłumaczenia na angielski oraz wymagane informacje czasowe.

Istotne ograniczenia obejmują wymyślony tekst, którego nie wypowiedziano, i powtarzający się tekst, związane z treningiem ze słabym nadzorem na zaszumionych danych i konstrukcją sequence-to-sequence. Jakość rozpoznawania różni się między językami, akcentami i dialektami, a słabsze wyniki występują tam, gdzie jest mniej materiału treningowego. Szum, słownictwo specjalistyczne i nakładająca się mowa powinny więc wystąpić w próbce oceniającej przydatność. Porównuj nazwy, ilości i ważne wypowiedzi z nagraniem oraz kontroluj fragmenty bez mowy lub powtarzające się linie, zamiast uznawać płynną transkrypcję za dowód, że każde słowo zostało usłyszane.

Kompletny rezultat zachowuje rozpoznany tekst, jego język i wszelkie żądane informacje czasowe wraz z odniesieniem do oryginalnego nagrania. Oddziel transkrypcję od późniejszej edycji: poprawiona transkrypcja publikacyjna może usuwać wypełniacze, natomiast rozpoznana transkrypcja zachowuje rzeczywisty wynik modelu. Tożsamość large-v3 i jego możliwości tłumaczenia powinny także pozostawać odrębne od szybszej wersji Turbo. Rzeczywista szybkość przetwarzania zależy od języka, tempa mowy, sprzętu i metody wnioskowania; sama nazwa modelu nie określa konkretnego opóźnienia usługi hostowanej, maksymalnego rozmiaru przesyłanego pliku ani włączonej trasy aplikacji.