Fish Audio: S2.1 Pro

S2.1 Pro to późniejszy model syntezy mowy generacji S2 firmy Fish Audio, przeznaczony do ekspresyjnej narracji i głosowych aplikacji konwersacyjnych. Poprawia względem S2 Pro jakość mowy, opóźnienia i przepustowość, zachowując sterowanie wykonaniem w języku naturalnym oraz natywny dialog wielu mówców. S2.1 Pro i S2.1 Pro Free współdzielą bazowy model mowy.

Dla narracyjnego wyjaśnienia dostarcz gotowy tekst, zamierzony głos i momenty zmiany tempa lub akcentowania. W aplikacji konwersacyjnej syntetyzuj odpowiedź wybraną przez aplikację i oddzielaj jej treść faktograficzną od wskazówek wykonania. Przy scenariuszu wymiany określ mówców i ich głosy przed napisaniem kolejnych kwestii. Użytecznym wynikiem jest kompletny fragment audio lub odtwarzalny strumień, którego słowa, wykonanie i role mówców są zgodne z wytycznymi.

Zapisz słowa, które rzeczywiście mają zostać wypowiedziane, a następnie umieść instrukcję bezpośrednio przed fragmentem, którego sposób wykonania powinien się zmienić. Wskazówki w nawiasach kwadratowych mogą wyrażać szept, pauzę, reakcję, nacisk lub swobodnie opisany styl mówienia. Umieść zmianę w środku zdania tam, gdzie wymaga jej wykonanie, a po opisowych wskazówkach dodaj rzeczywistą wypowiedź. Użyteczny opis zadania objaśniającego oddziela treść faktograficzną od oczekiwanego ciepła, tempa lub akcentowania dla słuchacza.

Dla jednego mówcy wybierz zapisany identyfikator głosu lub przekaż nagranie referencyjne z transkrypcją. Przewodnik mowy producenta zaleca czystą próbkę trwającą 10–30 sekund do natychmiastowego warunkowania głosu. Wybierz wzorzec o tonie i jakości nagrania odpowiednich do scenariusza i zachowuj ten sam wzorzec w powiązanych fragmentach. Wzorzec głosu dostarcza brzmienie mówcy; tekst i wskazówki w jego treści określają zawartość i wykonanie.

Natywna synteza wielu mówców wykorzystuje znaczniki takie jak <|speaker:0|> i <|speaker:1|> wraz z uporządkowaną tablicą identyfikatorów głosów lub odrębnymi grupami materiałów referencyjnych. Zachowaj zgodność numerycznych oznaczeń mówców z tą kolejnością. Przy wymianie instruktażowej napisz kwestię każdego mówcy i umieść wskazówkę wykonania po znaczniku mówcy, w odpowiednim miejscu. Powstaje w ten sposób dialog w ramach jednego żądania; jest to inny proces niż odrębne segmenty jednego mówcy w S1 i ich późniejsze składanie.

Proces producenta oferuje wyjście MP3, WAV, surowe PCM i Opus, z MP3 jako formatem domyślnym. MP3 obsługuje 64, 128 i 192 kb/s; WAV i PCM korzystają z udokumentowanych 16-bitowych formatów próbek mono, a Opus z 48 kHz. Wybierz format odpowiedni dla zachowanego pliku narracji, odtwarzania strumieniowego lub dalszego przetwarzania audio. Zachowuj kompletny scenariusz i wybór głosu wraz z dźwiękiem, aby późniejsza redakcja mogła dotyczyć jednej kwestii bez utraty zamierzonego wykonania.

Prędkość można regulować od 0,5 do 2,0, wraz ze sterowaniem głośnością. Normalizacja tekstu rozwija liczby angielskie i chińskie do naturalnego odczytu. Normalizacja głośności wyjściowej ma domyślnie wartość true i jest stosowana do rodziny S2; to samo pole nie miało wpływu na S1. Parametr repetition_penalty z S1 nie zmienia dźwięku S2.1 Pro, więc starego ustawienia nie należy traktować jako skutecznego sterowania tym modelem. Sprawdzaj powtarzające się dźwięki i słowa bezpośrednio, zamiast polegać na odziedziczonym parametrze jako potwierdzeniu wyniku.

Dłuższe scenariusze przetwarzane są w fragmentach. Udokumentowany zakres długości fragmentu wynosi 100–300, a max_new_tokens to budżet tokenów audio na fragment, nie gwarancja całkowitego czasu trwania. Warunkowanie na podstawie poprzedniego fragmentu może przenosić kontekst głosu dalej. Proces dostarczania producenta opisuje kompletny dźwięk, przyrostowe fragmenty audio i strumieniowanie tekstu na żywo, gdy scenariusz napływa stopniowo. Wybierz sposób odbioru odpowiedni dla aplikacji i zachowaj wystarczający kontekst scenariusza dla wymowy i tonu kolejnego fragmentu.

Aby uzyskać użyteczny materiał końcowy, odsłuchaj go pod kątem pominiętych lub powtórzonych słów, wymowy liczb, zmian mówców, pauz i intensywności wskazówek. Różne wzorce głosu mogą interpretować wskazówkę z różną siłą, więc zacznij od prostej kwestii ze wskazówką wykonania, zanim dodasz konkurujące znaczniki. Przy pracy wielojęzycznej dostarcz scenariusz w języku docelowym, zamiast wymagać od modelu mowy wymyślania lub tłumaczenia treści. Ukierunkowana poprawka zmienia kwestię, wskazówkę lub wzorzec odpowiedzialne za rozbieżność, zachowując części wykonania już zgodne z wytycznymi.