Fish Audio: S2.1 Pro

S2.1 Pro on Fish Audion S2-sukupolven myöhempi tekstistä puheeksi -malli ilmaisuvoimaiseen kerrontaan ja keskusteleviin äänisovelluksiin. Se parantaa S2 Prohon verrattuna puheen laatua, viivettä ja läpäisykykyä säilyttäen luonnollisella kielellä ohjattavan esityksen ja natiivin usean puhujan dialogin. S2.1 Pro ja S2.1 Pro Free jakavat saman taustalla olevan puhemallin.

Toimita kerrottua selitystä varten valmis sanamuoto, tavoiteltu ääni ja kohdat, joissa tahdin tai painotuksen tulee muuttua. Syntetisoi keskustelusovelluksessa sovelluksen valitsema vastaus ja pidä asiasisältö erillään esitysohjeista. Määritä käsikirjoitetussa vuoropuhelussa puhujat ja heidän äänensä ennen puheenvuorojen kirjoittamista. Hyödyllinen tulos on kokonainen äänijakso tai toistettava virta, jonka sanat, esitys ja puhujaroolit vastaavat toimeksiantoa.

Kirjoita ensin sanat, jotka on tarkoitus lausua, ja sijoita ohje välittömästi sen kohdan eteen, jonka esitystavan tulee muuttua. Hakasulkeisiin kirjoitetut ohjeet voivat ilmaista kuiskauksen, tauon, reaktion, painotuksen tai vapaasti kuvatun puhetavan. Sijoita kesken virkkeen tapahtuva muutos siihen kohtaan, jossa esitys sitä tarvitsee, ja lisää kuvailevien ohjeiden jälkeen varsinaista puhetekstiä. Hyödyllinen selityksen toimeksianto erottaa asiasisällön siitä lämpimyydestä, tahdista tai painotuksesta, jota kuulijalle tavoitellaan.

Valitse yhdelle puhujalle tallennettu äänitunniste tai toimita vertailutallenne ja sen litterointi. Valmistajan puheopas suosittelee puhdasta 10–30 sekunnin näytettä äänen välittömään ehdollistamiseen. Valitse viite, jonka sävy ja tallennuslaatu sopivat käsikirjoitukseen, ja käytä samaa viitettä toisiinsa liittyvissä kohdissa. Ääniviite määrittää puhujan soinnin; teksti ja sen sisäiset ohjeet määrittävät sisällön ja esityksen.

Natiivi usean puhujan synteesi käyttää merkintöjä kuten <|speaker:0|> ja <|speaker:1|> sekä järjestettyä äänitunnisteiden taulukkoa tai erillisiä viiteryhmiä. Pidä puhujien numerot tämän järjestyksen mukaisina. Kirjoita opetusdialogissa jokaisen puhujan repliikki ja sijoita esitysohje puhujamerkinnän jälkeen siihen kohtaan, johon se kuuluu. Näin dialogi syntyy yhdellä pyynnöllä; työnkulku eroaa S1:n erillisistä yhden puhujan jaksoista ja niiden myöhemmästä kokoamisesta.

Valmistajan työnkulku tarjoaa tulosteeksi MP3-, WAV-, raakaa PCM- ja Opus-ääntä; oletus on MP3. MP3 tukee bittinopeuksia 64, 128 ja 192 kbps. WAV ja PCM käyttävät dokumentoituja 16-bittisiä mononäytemuotoja, kun taas Opus käyttää 48 kHz:n näytteenottotaajuutta. Valitse muoto tallennettavaa kerronnan äänitiedostoa, suoratoistona tapahtuvaa toistoa tai myöhempää ääniputkea varten. Säilytä koko käsikirjoitus ja äänivalinta äänen mukana, jotta myöhempi muokkaus voi kohdistua yhteen repliikkiin menettämättä tavoiteltua esitystä.

Nopeutta voi säätää välillä 0.5–2.0 yhdessä äänenvoimakkuussäätöjen kanssa. Tekstin normalisointi avaa englannin- ja kiinankieliset numerot luontevaa lukemista varten. Tulosteen äänekkyyden normalisoinnin oletus on true, ja sitä sovelletaan S2-perheeseen; sama kenttä ei vaikuttanut S1:een. S1:n repetition_penalty ei muuta S2.1 Pro -ääntä, joten vanhaa asetusta ei pidä tulkita tämän mallin toimivaksi säätimeksi. Tarkista toistuvat äänteet ja sanamuodot suoraan sen sijaan, että pitäisit siirtynyttä parametria näyttönä lopputuloksesta.

Pidemmät käsikirjoitukset käsitellään lohkoina. Dokumentoitu lohkopituuden vaihteluväli on 100–300, ja max_new_tokens on lohkokohtainen äänitokenien budjetti, ei takuu kokonaiskestosta. Ehdollistaminen edellisen lohkon avulla voi siirtää äänikontekstin eteenpäin. Valmistajan toimitustyönkulku kuvaa kokonaisen äänen, vähitellen toimitettavat äänilohkot ja reaaliaikaisen tekstivirran, kun käsikirjoitus saapuu asteittain. Valitse sovellukselle sopiva vastaanottotapa ja säilytä riittävästi käsikirjoituksen kontekstia seuraavan kohdan ääntämistä ja sävyä varten.

Kuuntele hyödyllistä lopputulosta arvioidessasi puuttuvia tai toistuvia sanoja, numeroiden ääntämistä, puhujanvaihdoksia, taukoja ja ohjeiden voimakkuutta. Eri ääniviitteet voivat tulkita saman vihjeen eri vahvuudella, joten aloita yksinkertaisesta ohjatusta repliikistä ennen kilpailevien tunnisteiden lisäämistä. Monikielisessä työssä toimita kohdekielinen käsikirjoitus sen sijaan, että pyytäisit puhemallia keksimään tai kääntämään sisällön. Kohdennettu korjaus muuttaa ristiriidan aiheuttavaa repliikkiä, vihjettä tai viitettä ja säilyttää toimeksiantoon jo sopivat esityksen osat.