Fish Audio: S2.1 Pro Free (free)

Az S2.1 Pro Free a Fish Audio S2.1 szövegfelolvasó modelljének fejlesztőknek szánt kiadása. Az alapmodellt és az alapvető szintézisképességeket az S2.1 Pro-val közösen használja: kifejező többnyelvű beszéd, természetes nyelvű előadási instrukciók és natív több beszélős párbeszéd. Feladata a tesztelés, prototípus-készítés, fejlesztés és kisebb alkalmazásfolyamatok kiszolgálása.

Hangasszisztens-prototípusnál teljes mintaválasszal kezdj, és értékeld annak hangzását a folyamatosan érkező szöveg tesztelése előtt. Oktatási termékhez készíts rövid magyarázatot a hallgató számára szükséges pontos kifejezésekkel és számfelolvasással. Párbeszéd-prototípusnál az előadási instrukciók hozzáadása előtt határozd meg a beszélőket és hangreferenciáikat. Ezek a lépések hanganyagot és köré épülő alkalmazásfolyamatot alakítanak ki, nem a szintéziskérést teszik felelőssé a teljes beszélgetésért.

A ténylegesen kimondandó szavakat írd le, majd közvetlenül az elé a rész elé tegyél utasítást, amelynek az előadásmódját meg szeretnéd változtatni. A szögletes zárójeles instrukciók suttogást, szünetet, reakciót, hangsúlyt vagy szabadon leírt beszédstílust fejezhetnek ki. A mondaton belüli változtatást oda helyezd, ahol az előadás megkívánja, és a leíró instrukciókat valódi beszédszöveg kövesse. Egy hasznos magyarázó feladatleírás elkülöníti a tényszerű megfogalmazást a hallgató számára kívánt közvetlenségtől, tempótól vagy hangsúlytól.

Egy beszélőhöz válassz mentett hangazonosítót, vagy adj meg referenciafelvételt a leiratával együtt. A gyártó beszédútmutatója tiszta, 10–30 másodperces mintát javasol az azonnali hangkondicionáláshoz. Olyan referenciát válassz, amelynek hangvétele és felvételi minősége illik a szöveghez, és a kapcsolódó részeknél ugyanazt a referenciát őrizd meg. A hangreferencia a beszélő hangzását, a szöveg és a beágyazott instrukciók a tartalmat és annak előadását adják.

A natív több beszélős szintézis <|speaker:0|> és <|speaker:1|> típusú jelölőket használ, rendezett hangazonosító-tömbbel vagy külön referenciacsoportokkal. A számozott beszélőcímkéket igazítsd ehhez a sorrendhez. Oktató párbeszédnél írd meg minden beszélő sorát, és az előadásmód utasítását a megfelelő beszélőjelölő után helyezd el. Így egyetlen kérésen belül jön létre párbeszéd; ez eltér az S1 külön, egy beszélős szegmenseiből és későbbi összeállításából álló folyamattól.

A gyártó munkafolyamata MP3, WAV, nyers PCM és Opus kimenetet kínál; az alapértelmezés az MP3. Az MP3 64, 128 és 192 kbps értéket támogat; a WAV és a PCM dokumentált, 16 bites monó mintavételi formátumot használ, az Opus pedig 48 kHz-et. A formátumot a megőrzendő narrációs fájlhoz, a streamelt lejátszáshoz vagy a további hangfeldolgozáshoz válaszd. A hanggal együtt őrizd meg a teljes szöveget és a hangválasztást, hogy később egyetlen sor is szerkeszthető legyen a kívánt előadás elvesztése nélkül.

A sebesség 0.5 és 2.0 között állítható, hangerővezérléssel együtt. A szövegnormalizálás az angol és kínai számokat természetes felolvasáshoz bontja ki. A kimeneti hangerő normalizálásának alapértéke true, és az S2 családra alkalmazható; ugyanez a mező az S1 esetén nem fejtett ki hatást. Az S1 repetition_penalty paramétere nem módosítja az S2.1 Pro hangját, ezért egy régi beállítást nem szabad ennél a modellnél hatékony vezérlőnek tekinteni. Az ismétlődő hangokat és szavakat közvetlenül ellenőrizd, ne egy átvett paraméter alapján ítéld meg az eredményt.

A hosszabb szövegek darabokban kerülnek feldolgozásra. A dokumentált darabhossztartomány 100–300, a max_new_tokens pedig darabonkénti hangtokenkeret, nem a teljes időtartam garanciája. Az előző darabbal végzett kondicionálás továbbviheti a hangkontextust. A gyártó kézbesítési folyamata teljes hangot, fokozatosan érkező hangdarabokat és élő szövegstreamelést ír le, ha a szöveg folyamatosan érkezik. Válaszd ki az alkalmazáshoz illő felhasználási módot, és őrizz meg elegendő szövegkörnyezetet a következő rész kiejtéséhez és hangvételéhez.

A hasznos végső eredményhez hallgasd meg, vannak-e kihagyott vagy ismételt szavak, megfelelő-e a számok kiejtése, a beszélőváltás, a szünetek és az instrukciók erőssége. Különböző hangreferenciák eltérő intenzitással értelmezhetnek egy jelzést, ezért egymással versengő címkék hozzáadása előtt egyszerűen irányított sorral kezdj. Többnyelvű munkánál a célnyelvi szöveget add meg, ne a beszédmodelltől várd a tartalom kitalálását vagy lefordítását. Célzott javításkor az eltérést okozó sort, jelzést vagy referenciát módosítsd, megtartva az előadás már megfelelő részeit.