Fish Audio: S2.1 Pro

Az S2.1 Pro a Fish Audio S2-generációjának későbbi szövegfelolvasó modellje kifejező narrációhoz és társalgási hangalkalmazásokhoz. Az S2 Pro-hoz képest javítja a beszédminőséget, a késleltetést és az áteresztőképességet, miközben megtartja a természetes nyelvű előadásvezérlést és a natív több beszélős párbeszédet. Az S2.1 Pro és az S2.1 Pro Free ugyanarra az alapul szolgáló beszédmodellre épül.

Narrált magyarázathoz add meg a kész szöveget, a kívánt hangot és azokat a pillanatokat, amikor a tempónak vagy a hangsúlynak változnia kell. Társalgási alkalmazásnál az alkalmazás által kiválasztott választ szintetizáld, és tényszerű tartalmát tartsd külön az előadási instrukcióktól. Megírt párbeszédnél a megszólalások megírása előtt határozd meg a beszélőket és hangjukat. Hasznos eredmény egy teljes hangrészlet vagy lejátszható stream, amelynek szavai, előadásmódja és beszélőszerepei megfelelnek a feladatleírásnak.

A ténylegesen kimondandó szavakat írd le, majd közvetlenül az elé a rész elé tegyél utasítást, amelynek az előadásmódját meg szeretnéd változtatni. A szögletes zárójeles instrukciók suttogást, szünetet, reakciót, hangsúlyt vagy szabadon leírt beszédstílust fejezhetnek ki. A mondaton belüli változtatást oda helyezd, ahol az előadás megkívánja, és a leíró instrukciókat valódi beszédszöveg kövesse. Egy hasznos magyarázó feladatleírás elkülöníti a tényszerű megfogalmazást a hallgató számára kívánt közvetlenségtől, tempótól vagy hangsúlytól.

Egy beszélőhöz válassz mentett hangazonosítót, vagy adj meg referenciafelvételt a leiratával együtt. A gyártó beszédútmutatója tiszta, 10–30 másodperces mintát javasol az azonnali hangkondicionáláshoz. Olyan referenciát válassz, amelynek hangvétele és felvételi minősége illik a szöveghez, és a kapcsolódó részeknél ugyanazt a referenciát őrizd meg. A hangreferencia a beszélő hangzását, a szöveg és a beágyazott instrukciók a tartalmat és annak előadását adják.

A natív több beszélős szintézis <|speaker:0|> és <|speaker:1|> típusú jelölőket használ, rendezett hangazonosító-tömbbel vagy külön referenciacsoportokkal. A számozott beszélőcímkéket igazítsd ehhez a sorrendhez. Oktató párbeszédnél írd meg minden beszélő sorát, és az előadásmód utasítását a megfelelő beszélőjelölő után helyezd el. Így egyetlen kérésen belül jön létre párbeszéd; ez eltér az S1 külön, egy beszélős szegmenseiből és későbbi összeállításából álló folyamattól.

A gyártó munkafolyamata MP3, WAV, nyers PCM és Opus kimenetet kínál; az alapértelmezés az MP3. Az MP3 64, 128 és 192 kbps értéket támogat; a WAV és a PCM dokumentált, 16 bites monó mintavételi formátumot használ, az Opus pedig 48 kHz-et. A formátumot a megőrzendő narrációs fájlhoz, a streamelt lejátszáshoz vagy a további hangfeldolgozáshoz válaszd. A hanggal együtt őrizd meg a teljes szöveget és a hangválasztást, hogy később egyetlen sor is szerkeszthető legyen a kívánt előadás elvesztése nélkül.

A sebesség 0.5 és 2.0 között állítható, hangerővezérléssel együtt. A szövegnormalizálás az angol és kínai számokat természetes felolvasáshoz bontja ki. A kimeneti hangerő normalizálásának alapértéke true, és az S2 családra alkalmazható; ugyanez a mező az S1 esetén nem fejtett ki hatást. Az S1 repetition_penalty paramétere nem módosítja az S2.1 Pro hangját, ezért egy régi beállítást nem szabad ennél a modellnél hatékony vezérlőnek tekinteni. Az ismétlődő hangokat és szavakat közvetlenül ellenőrizd, ne egy átvett paraméter alapján ítéld meg az eredményt.

A hosszabb szövegek darabokban kerülnek feldolgozásra. A dokumentált darabhossztartomány 100–300, a max_new_tokens pedig darabonkénti hangtokenkeret, nem a teljes időtartam garanciája. Az előző darabbal végzett kondicionálás továbbviheti a hangkontextust. A gyártó kézbesítési folyamata teljes hangot, fokozatosan érkező hangdarabokat és élő szövegstreamelést ír le, ha a szöveg folyamatosan érkezik. Válaszd ki az alkalmazáshoz illő felhasználási módot, és őrizz meg elegendő szövegkörnyezetet a következő rész kiejtéséhez és hangvételéhez.

A hasznos végső eredményhez hallgasd meg, vannak-e kihagyott vagy ismételt szavak, megfelelő-e a számok kiejtése, a beszélőváltás, a szünetek és az instrukciók erőssége. Különböző hangreferenciák eltérő intenzitással értelmezhetnek egy jelzést, ezért egymással versengő címkék hozzáadása előtt egyszerűen irányított sorral kezdj. Többnyelvű munkánál a célnyelvi szöveget add meg, ne a beszédmodelltől várd a tartalom kitalálását vagy lefordítását. Célzott javításkor az eltérést okozó sort, jelzést vagy referenciát módosítsd, megtartva az előadás már megfelelő részeit.