Fish Audio: S2 Pro

Az S2 Pro a Fish Audio második generációs szövegfelolvasó modellje kifejező narrációhoz, karakterpárbeszédhez és társalgási beszédkimenethez. Írott szöveget alakít hanggá, és szó- vagy kifejezésszintű természetes nyelvi irányítást támogat. Az előző S1 generáció kerek zárójeles jelzéseket használ, az S2 Pro viszont natívan szögletes zárójeleket, és egyetlen szintéziskérésben több beszélőt támogat. A gyártó az S2 Pro súlyait és finomhangolási kódját külön testreszabási munkához teszi közzé; egy hagyományos beszédkérés a kiválasztott modellt használja, nem újat tanít.

Először a kimondandó tartalmat írd meg, majd közvetlenül az elé a szó vagy kifejezés elé helyezd az előadási utasítást, amelyre hatnia kell. Az instrukciók suttogást, reakciót, szünetet, érzelmi váltást vagy szabadon leírt beszédstílust adhatnak meg. Rövid termékmagyarázatnál maradjon világos a tényszerű mondat, és csak ott legyen hangsúly, ahol a hallgatónak különbséget kell észrevennie. Karakterszövegnél az érzelmi változást annak pillanatában írd le, ne egyetlen állandó hangulatot rendelj az egész részhez.

A szögletes zárójeles címkék szabad leírások, nem zárt menü elemei. Példák: [whispering], [sigh], [long pause], illetve olyan kifejezés, mint [speaking slowly, almost hesitant]. A címkék mondat közben is szerepelhetnek, és az utánuk következő beszédre hatnak. A leíró címkét tényleges szövegnek kell követnie; egy önálló utasítás kiszámíthatatlan kimenetet adhat. Rétegezés előtt egy-két hasznos instrukcióval kezdj, mert az egymással versengő címkék elfedhetik a szándékolt előadást. Különböző hangreferenciák ugyanarra az instrukcióra eltérő intenzitással reagálhatnak.

Az S2 kiadási leírása körülbelül 80 nyelvet említ, és példákat ad a szöveggel azonos nyelvű előadási utasításokra. A megfogalmazást a beszélni kívánt nyelven készítsd el, és őrizd meg a meghatározott felolvasást igénylő neveket, egységeket és rövidítéseket. A többnyelvű narráció szövegnyelv-váltáskor is megtarthatja a kívánt hangot, de a végső anyag kiejtését és folytonosságát továbbra is meg kell hallgatni. A szintézis a megadott tartalmat alakítja beszéddé, nem dönti el, milyen információt közöljön az alkalmazás.

Egyetlen beszélőhöz válassz mentett hangazonosítót, vagy adj meg referenciahangot a hozzá illő leirattal. A gyártó tiszta, 10–30 másodperces mintát javasol az azonnali kondicionáláshoz. Párbeszédhez használj <|speaker:0|> és <|speaker:1|> típusú beszélőjelölőket, rendezett hangazonosító-listával vagy a beszélők külön referenciacsoportjaival. A számozott jelölő a megfelelő hangbejegyzést választja; a beszélgetés alakulásával is tartsd rögzítve a sorrendet. A természetes nyelvű előadási instrukció és a beszélőválasztás eltérő szerepet tölt be a szövegben.

A hangkimenet MP3, WAV, nyers PCM vagy Opus lehet. Az MP3 alapértéke 128 kbps, és 64 vagy 192 kbps értéket is kínál; az Opus kimenet 48 kHz-et használ, a WAV és a PCM pedig a dokumentált mintavételi frekvenciákat támogatja 16 bites monóként. A formátumot a tényleges célhoz válaszd: megőrzendő fájl narrációhoz, vagy megfelelő hangdarabok lejátszáshoz. A gyártó beszédfolyamata élő szövegstreamelést is leír, amikor a szöveg fokozatosan érkezik. A generált eredmény kapcsolata maradjon meg a teljes szöveggel és a kiválasztott hangokkal.

A sebesség 0.5 és 2.0 között állítható, hangerő- és kimeneti hangerő-normalizálási vezérlőkkel. A szövegnormalizálás javítja az angol és kínai számok felolvasását. A feldolgozás 100–300 tartományú darabokat és darabonkénti hangtokenkeretet használ, ezért ezek a beállítások nem értelmezhetők egy teljes narráció rögzített maximális hosszaként. Az előző darabbal végzett kondicionálás továbbviheti a hangkontextust a következő szegmensbe. A mintavételi vezérlők, például a temperature és a top-p befolyásolják a változatosságot; egy tudatosan irányított sornak is elegendő szöveg és kontextus kell a kívánt hangzáshoz.

Hasznos gyártási feladatleírás különíti el a narrációt, a párbeszédet és az előadási instrukciókat, majd meghatározza az eredmény hangját és formátumát. Hallgasd meg, vannak-e hiányzó szavak, ismétlődő hangrészek, megfelelő-e a számok kiejtése, a beszélőváltás és a reakció időzítése. Az eltérést okozó sort vagy hangreferenciát javítsd, ne feltételezd, hogy több címke minden részleten javít. Az S2 Pro különálló, korábbi S2-generációs modell marad; az S2.1 Pro a későbbi kiadás saját fejlesztésekkel és modellspecifikus beállítási viselkedéssel.