Fish Audio: S2 Pro

S2 Pro to model syntezy mowy drugiej generacji firmy Fish Audio do ekspresyjnej narracji, dialogów postaci i konwersacyjnych wypowiedzi głosowych. Zamienia pisemny scenariusz w dźwięk i obsługuje kierowanie wykonaniem w języku naturalnym na poziomie słowa lub frazy. Poprzednia generacja S1 korzysta ze wskazówek w nawiasach okrągłych, natomiast S2 Pro natywnie wykorzystuje nawiasy kwadratowe i obsługuje wielu mówców w jednym żądaniu syntezy. Producent udostępnia wagi S2 Pro i kod dostrajania do odrębnych prac personalizacyjnych; zwykłe żądanie mowy używa wybranego modelu, zamiast trenować nowy.

Najpierw zapisz treść wypowiedzi, a następnie umieść instrukcję wykonania bezpośrednio przed słowem lub frazą, na które ma wpływać. Wskazówki mogą opisywać szept, reakcję, pauzę, zmianę emocji lub swobodnie określony styl mówienia. Przy krótkim objaśnieniu produktu utrzymuj jasne zdanie faktograficzne i dodawaj akcent tylko tam, gdzie słuchacz powinien zauważyć różnicę. W kwestii postaci opisuj zmianę emocjonalną w chwili jej wystąpienia, zamiast nadawać całemu fragmentowi jeden stały nastrój.

Znaczniki w nawiasach kwadratowych to opisy o otwartym zakresie, a nie zamknięte menu. Przykłady obejmują [whispering], [sigh], [long pause] oraz frazę taką jak [speaking slowly, almost hesitant]. Znaczniki mogą pojawiać się w środku zdania i wpływać na dalszą mowę. Po opisowym znaczniku musi nastąpić rzeczywisty tekst; sama instrukcja może dać nieprzewidywalny wynik. Zacznij od jednej lub dwóch użytecznych wskazówek przed dodaniem kolejnych warstw, ponieważ konkurujące znaczniki mogą zaciemnić zamierzone wykonanie. Różne wzorce głosu mogą reagować na tę samą wskazówkę z różną intensywnością.

Opis wydania S2 wskazuje około 80 języków i podaje przykłady zapisywania wskazówek wykonania w tym samym języku co scenariusz. Przygotuj tekst w języku, który ma być wypowiadany, i zachowaj nazwy, jednostki oraz skróty wymagające konkretnego odczytu. Narracja wielojęzyczna może zachowywać zamierzony głos przy zmianie języka scenariusza, ale materiał końcowy nadal wymaga odsłuchania pod kątem wymowy i ciągłości. Synteza zamienia dostarczoną treść w mowę, zamiast decydować, jakie informacje ma wypowiedzieć aplikacja.

Dla jednego mówcy wybierz zapisany identyfikator głosu albo dostarcz dźwięk referencyjny i odpowiadającą mu transkrypcję. Producent zaleca czystą próbkę trwającą 10–30 sekund do natychmiastowego warunkowania. Dla dialogu używaj znaczników mówców, takich jak <|speaker:0|> i <|speaker:1|>, z uporządkowaną listą identyfikatorów głosów lub osobnymi grupami materiałów referencyjnych dla mówców. Numeryczny znacznik wybiera odpowiednią pozycję głosu; utrzymuj stałą kolejność w miarę rozwoju rozmowy. Wskazówki wykonania w języku naturalnym i wybór mówcy pełnią różne role w scenariuszu.

Dźwięk wyjściowy może mieć postać MP3, WAV, surowego PCM lub Opus. Domyślna przepływność MP3 wynosi 128 kb/s, z opcjami 64 lub 192 kb/s; Opus używa 48 kHz, a WAV i PCM obsługują udokumentowane częstotliwości próbkowania w formacie 16-bitowym mono. Wybierz format zgodnie z rzeczywistym przeznaczeniem: zachowany plik do narracji lub odpowiednie fragmenty audio do odtwarzania. Proces mowy producenta opisuje również strumieniowanie tekstu na żywo, gdy scenariusz napływa stopniowo. Wygenerowany wynik powinien pozostać powiązany z kompletnym scenariuszem i wybranymi głosami.

Prędkość można regulować od 0,5 do 2,0, wraz z głośnością i normalizacją głośności wyjściowej. Normalizacja tekstu poprawia odczyt liczb angielskich i chińskich. Przetwarzanie wykorzystuje fragmenty z zakresu 100–300 oraz budżet tokenów audio na fragment, więc ustawień tych nie należy odczytywać jako stałej maksymalnej długości całej narracji. Warunkowanie na podstawie poprzedniego fragmentu może przenosić kontekst głosu do kolejnego segmentu. Ustawienia próbkowania, takie jak temperature i top-p, wpływają na zmienność; celowo kierowana kwestia nadal wymaga wystarczającego tekstu i kontekstu, aby oddać zamierzone brzmienie.

Użyteczny opis produkcyjny oddziela narrację, dialog i wskazówki wykonania, a następnie określa głos i format wynikowego materiału. Odsłuchaj go pod kątem brakujących słów, powtarzającego się dźwięku, wymowy liczb, zmian mówców i momentu reakcji. Popraw kwestię lub wzorzec głosu odpowiedzialne za rozbieżność, zamiast zakładać, że większa liczba znaczników poprawi każdy fragment. S2 Pro pozostaje odrębnym modelem poprzedniej generacji S2; S2.1 Pro to późniejsza edycja z własnymi usprawnieniami i zachowaniem ustawień właściwym dla tego modelu.