Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free to przeznaczona dla deweloperów edycja modelu syntezy mowy S2.1 firmy Fish Audio. Dzieli z S2.1 Pro model bazowy i podstawowe możliwości syntezy: ekspresyjną mowę wielojęzyczną, wskazówki wykonania w języku naturalnym i natywny dialog wielu mówców. Jej przeznaczeniem są testowanie, prototypowanie, rozwój i mniejsze procesy aplikacyjne.

W prototypie asystenta głosowego zacznij od kompletnej przykładowej odpowiedzi i oceń jej brzmienie przed testowaniem stopniowo napływającego tekstu. Dla produktu edukacyjnego przygotuj krótkie wyjaśnienie z dokładnymi terminami i sposobami odczytu liczb potrzebnymi słuchaczowi. W prototypie dialogu określ mówców i ich wzorce głosu przed dodaniem wskazówek wykonania. Kroki te tworzą materiał audio i proces aplikacyjny wokół niego, zamiast obciążać żądanie syntezy odpowiedzialnością za całą rozmowę.

Zapisz słowa, które rzeczywiście mają zostać wypowiedziane, a następnie umieść instrukcję bezpośrednio przed fragmentem, którego sposób wykonania powinien się zmienić. Wskazówki w nawiasach kwadratowych mogą wyrażać szept, pauzę, reakcję, nacisk lub swobodnie opisany styl mówienia. Umieść zmianę w środku zdania tam, gdzie wymaga jej wykonanie, a po opisowych wskazówkach dodaj rzeczywistą wypowiedź. Użyteczny opis zadania objaśniającego oddziela treść faktograficzną od oczekiwanego ciepła, tempa lub akcentowania dla słuchacza.

Dla jednego mówcy wybierz zapisany identyfikator głosu lub przekaż nagranie referencyjne z transkrypcją. Przewodnik mowy producenta zaleca czystą próbkę trwającą 10–30 sekund do natychmiastowego warunkowania głosu. Wybierz wzorzec o tonie i jakości nagrania odpowiednich do scenariusza i zachowuj ten sam wzorzec w powiązanych fragmentach. Wzorzec głosu dostarcza brzmienie mówcy; tekst i wskazówki w jego treści określają zawartość i wykonanie.

Natywna synteza wielu mówców wykorzystuje znaczniki takie jak <|speaker:0|> i <|speaker:1|> wraz z uporządkowaną tablicą identyfikatorów głosów lub odrębnymi grupami materiałów referencyjnych. Zachowaj zgodność numerycznych oznaczeń mówców z tą kolejnością. Przy wymianie instruktażowej napisz kwestię każdego mówcy i umieść wskazówkę wykonania po znaczniku mówcy, w odpowiednim miejscu. Powstaje w ten sposób dialog w ramach jednego żądania; jest to inny proces niż odrębne segmenty jednego mówcy w S1 i ich późniejsze składanie.

Proces producenta oferuje wyjście MP3, WAV, surowe PCM i Opus, z MP3 jako formatem domyślnym. MP3 obsługuje 64, 128 i 192 kb/s; WAV i PCM korzystają z udokumentowanych 16-bitowych formatów próbek mono, a Opus z 48 kHz. Wybierz format odpowiedni dla zachowanego pliku narracji, odtwarzania strumieniowego lub dalszego przetwarzania audio. Zachowuj kompletny scenariusz i wybór głosu wraz z dźwiękiem, aby późniejsza redakcja mogła dotyczyć jednej kwestii bez utraty zamierzonego wykonania.

Prędkość można regulować od 0,5 do 2,0, wraz ze sterowaniem głośnością. Normalizacja tekstu rozwija liczby angielskie i chińskie do naturalnego odczytu. Normalizacja głośności wyjściowej ma domyślnie wartość true i jest stosowana do rodziny S2; to samo pole nie miało wpływu na S1. Parametr repetition_penalty z S1 nie zmienia dźwięku S2.1 Pro, więc starego ustawienia nie należy traktować jako skutecznego sterowania tym modelem. Sprawdzaj powtarzające się dźwięki i słowa bezpośrednio, zamiast polegać na odziedziczonym parametrze jako potwierdzeniu wyniku.

Dłuższe scenariusze przetwarzane są w fragmentach. Udokumentowany zakres długości fragmentu wynosi 100–300, a max_new_tokens to budżet tokenów audio na fragment, nie gwarancja całkowitego czasu trwania. Warunkowanie na podstawie poprzedniego fragmentu może przenosić kontekst głosu dalej. Proces dostarczania producenta opisuje kompletny dźwięk, przyrostowe fragmenty audio i strumieniowanie tekstu na żywo, gdy scenariusz napływa stopniowo. Wybierz sposób odbioru odpowiedni dla aplikacji i zachowaj wystarczający kontekst scenariusza dla wymowy i tonu kolejnego fragmentu.

Aby uzyskać użyteczny materiał końcowy, odsłuchaj go pod kątem pominiętych lub powtórzonych słów, wymowy liczb, zmian mówców, pauz i intensywności wskazówek. Różne wzorce głosu mogą interpretować wskazówkę z różną siłą, więc zacznij od prostej kwestii ze wskazówką wykonania, zanim dodasz konkurujące znaczniki. Przy pracy wielojęzycznej dostarcz scenariusz w języku docelowym, zamiast wymagać od modelu mowy wymyślania lub tłumaczenia treści. Ukierunkowana poprawka zmienia kwestię, wskazówkę lub wzorzec odpowiedzialne za rozbieżność, zachowując części wykonania już zgodne z wytycznymi.