ElevenLabs: Scribe v2

ElevenLabs Scribe v2 to model rozpoznawania mowy w trybie wsadowym do nagranego dźwięku, transkrypcji i tworzenia napisów, w tym napisów dla niesłyszących. Rozwija Scribe v1, lepiej obsługując długie nagrania, pauzy, zmiany tonu i dłuższą ciszę. Wynikiem jest zapis mowy z informacjami o czasie i opcjonalnymi oznaczeniami mówców oraz zdarzeń dźwiękowych. Scribe v2 Realtime to osobna edycja transkrypcji na żywo; zadaniem tego modelu jest przetwarzanie kompletnych nagrań.

Producent dokumentuje rozpoznawanie ponad 90 języków i automatyczne wykrywanie języka, w tym w nagraniach, w których języki się zmieniają. Podpowiedź znanego języka może pomóc modelowi zinterpretować dźwięk. Przygotuj wyraźne nagranie, zachowaj oryginalny język i nazwy oraz unikaj silnego przesterowania lub zbędnego przetwarzania usuwającego szczegóły mowy. Do popularnych udokumentowanych formatów wejściowych należą WAV, MP3, FLAC, M4A, AAC, OGG, Opus i WebM. Wybierz reprezentację wejścia obsługiwaną przez implementację transkrypcji i zachowaj nagranie źródłowe do weryfikacji.

Standardowa odpowiedź zawiera rozpoznany tekst, informacje o wykrytym języku i sekwencję słów ze znacznikami czasu. Rekordy słów mogą obejmować czas początku i końca, identyfikatory mówców i logarytm prawdopodobieństwa rozpoznania. Dzięki temu wynik nadaje się do napisów, przeszukiwalnych wywiadów lub edytora pozwalającego wrócić do właściwego miejsca w dźwięku. Zachowaj wynik ze znacznikami czasu wraz ze źródłowym nagraniem. W przypadku podcastu materiałem końcowym może być na przykład edytowalna transkrypcja i zapis wyrównany na poziomie słów, który pomaga znajdować miejsca do poprawienia przed ułożeniem napisów.

Diaryzacja mówców oznacza, kto i kiedy mówi w nagraniu wieloosobowym; producent dokumentuje obsługę maksymalnie 32 mówców. Włącz ją, gdy zmiany wypowiadających się osób są istotne, i podaj rozsądną liczbę mówców, jeśli jest znana. Odróżniaj wykrytą etykietę mówcy od zweryfikowanego imienia i nazwiska osoby. W wywiadzie lub spotkaniu sprawdzaj zmiany mówców na podstawie nagrania, zwłaszcza gdy głosy nakładają się lub brzmią podobnie. Etykieta pomaga uporządkować transkrypcję; sama nie potwierdza tożsamości mówcy.

Nagranie z jednym mówcą na kanał ma inną strukturę niż kilka głosów zmiksowanych w jednym kanale. Interfejs producenta może niezależnie przetwarzać do pięciu kanałów i zwracać osobne transkrypcje lub transkrypcję łączną uporządkowaną według czasu, z indeksami kanałów. Zachowaj ten układ kanałów, gdy ma znaczenie. Sprowadzenie rozdzielonego nagrania rozmowy do jednego kanału przed transkrypcją może usunąć użyteczne źródło informacji o mówcach. Odróżniaj przypisanie na podstawie kanału od diaryzacji wywnioskowanej ze zmiksowanego dźwięku. Odpowiedź łącząca kanały wymaga znaczników czasu i nie może zawierać wykrywania ani maskowania encji.

Podpowiadanie terminów kluczowych ukierunkowuje rozpoznawanie nazw, terminów produktowych i słownictwa specjalistycznego z wykorzystaniem kontekstu. Aktualna dokumentacja trybu wsadowego dopuszcza do 1 000 terminów, każdy krótszy niż 50 znaków i zawierający najwyżej pięć słów. Podawaj istotne zapisy zamiast obszernego, niepowiązanego katalogu. Dla wywiadu technicznego podaj nazwy produktów i skróty, które prawdopodobnie się pojawią, a następnie sprawdź je przy ich znacznikach czasu w wyniku. Terminy kluczowe wpływają na rozpoznawanie; nie są instrukcjami wstawienia terminu, którego nagranie nie potwierdza.

Określ cel transkrypcji przed zastosowaniem wygładzania. Zapis dosłowny zachowuje wypowiedziane sformułowania, a udokumentowana opcja no-verbatim usuwa wypełniacze, urwane początki wypowiedzi i niepłynności, tworząc bardziej czytelny wynik. Dynamiczne oznaczanie dźwięku może identyfikować zdarzenia inne niż mowa, takie jak śmiech lub kroki. Wygładzona transkrypcja może być użyteczna do napisów lub czytania, ale nie powinna po cichu zastępować surowego zapisu, gdy powtórzenia, korekty lub dźwięki inne niż mowa mają znaczenie dla zadania.

Producent dokumentuje także wykrywanie encji i eksperymentalną edycję transkrypcji. W interfejsie producenta edycji transkrypcji nie można łączyć z wykrywaniem encji, maskowaniem encji ani transkrypcją wielokanałową. Wykryte encje zapewniają uporządkowane pozycje wybranych informacji w transkrypcji. Opcjonalne maskowanie encji zastępuje wykryty tekst etykietami; zależy od wykrywania encji, a po włączeniu maskowania lista encji nie jest zwracana. Maskowanie odbywa się podczas transkrypcji z użyciem ogólnego znacznika zastępczego, etykiety kategorii lub numerowanej etykiety kategorii. Automatyczne maskowanie może przeoczyć wrażliwą treść, dlatego sprawdź zamaskowaną transkrypcję przed jej udostępnieniem. Edycja zlecona w języku naturalnym zwraca zmieniony tekst obok oryginalnego wyniku, pozostawiając dostępny oryginalny zapis czasu i mówców. Zachowuj te materiały oddzielnie: poprawiona pisownia lub przeformatowane zdanie mogą wymagać ponownego sprawdzenia przed wyrównaniem z dźwiękiem lub wykorzystaniem w dalszym wyodrębnianiu danych. Te funkcje przetwarzają transkrypcję; nie potwierdzają, że każdy istotny szczegół został rozpoznany poprawnie.

Aby ukończyć transkrypcję, sprawdź nazwy, liczby, negacje i zmiany mówców, wracając do odpowiednich miejsc nagrania. Zwracaj uwagę na ciche fragmenty, nakładające się głosy i zmiany języka, zamiast oceniać jakość wyłącznie po płynności tekstu. Pozostaw niepewne sformułowania do poprawienia, zamiast uzupełniać niesłyszalny fragment wiarygodnie brzmiącym zdaniem. Użytecznym wynikiem jest sprawdzony zapis tekstowy z informacjami o czasie i mówcach potrzebnymi do zamierzonego zastosowania; transkrypcja może następnie stać się wejściem do osobnego etapu podsumowania, tłumaczenia lub analizy.