Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free on Fish Audion kehittäjille suunnattu S2.1-tekstistä puheeksi -mallin versio. Se jakaa taustalla olevan mallin ja keskeiset synteesikyvyt S2.1 Pron kanssa: ilmaisuvoimaisen monikielisen puheen, luonnollisella kielellä annetut esitysohjeet ja natiivin usean puhujan dialogin. Sen tehtäviä ovat testaus, prototyypit, kehitys ja pienemmät sovellustyönkulut.

Aloita puheavustajan prototyypissä kokonaisesta esimerkkivastauksesta ja arvioi sen kuulokuvaa ennen asteittain saapuvan tekstin testaamista. Valmistele oppimistuotteeseen lyhyt selitys, jossa on kuulijan tarvitsemat täsmälliset termit ja numeroiden lukutavat. Määritä dialogiprototyypissä puhujat ja heidän ääniviitteensä ennen esitysohjeiden lisäämistä. Näin kehitetään ääni ja sitä ympäröivä sovelluskulku sen sijaan, että synteesipyynnölle annettaisiin vastuu koko keskustelusta.

Kirjoita ensin sanat, jotka on tarkoitus lausua, ja sijoita ohje välittömästi sen kohdan eteen, jonka esitystavan tulee muuttua. Hakasulkeisiin kirjoitetut ohjeet voivat ilmaista kuiskauksen, tauon, reaktion, painotuksen tai vapaasti kuvatun puhetavan. Sijoita kesken virkkeen tapahtuva muutos siihen kohtaan, jossa esitys sitä tarvitsee, ja lisää kuvailevien ohjeiden jälkeen varsinaista puhetekstiä. Hyödyllinen selityksen toimeksianto erottaa asiasisällön siitä lämpimyydestä, tahdista tai painotuksesta, jota kuulijalle tavoitellaan.

Valitse yhdelle puhujalle tallennettu äänitunniste tai toimita vertailutallenne ja sen litterointi. Valmistajan puheopas suosittelee puhdasta 10–30 sekunnin näytettä äänen välittömään ehdollistamiseen. Valitse viite, jonka sävy ja tallennuslaatu sopivat käsikirjoitukseen, ja käytä samaa viitettä toisiinsa liittyvissä kohdissa. Ääniviite määrittää puhujan soinnin; teksti ja sen sisäiset ohjeet määrittävät sisällön ja esityksen.

Natiivi usean puhujan synteesi käyttää merkintöjä kuten <|speaker:0|> ja <|speaker:1|> sekä järjestettyä äänitunnisteiden taulukkoa tai erillisiä viiteryhmiä. Pidä puhujien numerot tämän järjestyksen mukaisina. Kirjoita opetusdialogissa jokaisen puhujan repliikki ja sijoita esitysohje puhujamerkinnän jälkeen siihen kohtaan, johon se kuuluu. Näin dialogi syntyy yhdellä pyynnöllä; työnkulku eroaa S1:n erillisistä yhden puhujan jaksoista ja niiden myöhemmästä kokoamisesta.

Valmistajan työnkulku tarjoaa tulosteeksi MP3-, WAV-, raakaa PCM- ja Opus-ääntä; oletus on MP3. MP3 tukee bittinopeuksia 64, 128 ja 192 kbps. WAV ja PCM käyttävät dokumentoituja 16-bittisiä mononäytemuotoja, kun taas Opus käyttää 48 kHz:n näytteenottotaajuutta. Valitse muoto tallennettavaa kerronnan äänitiedostoa, suoratoistona tapahtuvaa toistoa tai myöhempää ääniputkea varten. Säilytä koko käsikirjoitus ja äänivalinta äänen mukana, jotta myöhempi muokkaus voi kohdistua yhteen repliikkiin menettämättä tavoiteltua esitystä.

Nopeutta voi säätää välillä 0.5–2.0 yhdessä äänenvoimakkuussäätöjen kanssa. Tekstin normalisointi avaa englannin- ja kiinankieliset numerot luontevaa lukemista varten. Tulosteen äänekkyyden normalisoinnin oletus on true, ja sitä sovelletaan S2-perheeseen; sama kenttä ei vaikuttanut S1:een. S1:n repetition_penalty ei muuta S2.1 Pro -ääntä, joten vanhaa asetusta ei pidä tulkita tämän mallin toimivaksi säätimeksi. Tarkista toistuvat äänteet ja sanamuodot suoraan sen sijaan, että pitäisit siirtynyttä parametria näyttönä lopputuloksesta.

Pidemmät käsikirjoitukset käsitellään lohkoina. Dokumentoitu lohkopituuden vaihteluväli on 100–300, ja max_new_tokens on lohkokohtainen äänitokenien budjetti, ei takuu kokonaiskestosta. Ehdollistaminen edellisen lohkon avulla voi siirtää äänikontekstin eteenpäin. Valmistajan toimitustyönkulku kuvaa kokonaisen äänen, vähitellen toimitettavat äänilohkot ja reaaliaikaisen tekstivirran, kun käsikirjoitus saapuu asteittain. Valitse sovellukselle sopiva vastaanottotapa ja säilytä riittävästi käsikirjoituksen kontekstia seuraavan kohdan ääntämistä ja sävyä varten.

Kuuntele hyödyllistä lopputulosta arvioidessasi puuttuvia tai toistuvia sanoja, numeroiden ääntämistä, puhujanvaihdoksia, taukoja ja ohjeiden voimakkuutta. Eri ääniviitteet voivat tulkita saman vihjeen eri vahvuudella, joten aloita yksinkertaisesta ohjatusta repliikistä ennen kilpailevien tunnisteiden lisäämistä. Monikielisessä työssä toimita kohdekielinen käsikirjoitus sen sijaan, että pyytäisit puhemallia keksimään tai kääntämään sisällön. Kohdennettu korjaus muuttaa ristiriidan aiheuttavaa repliikkiä, vihjettä tai viitettä ja säilyttää toimeksiantoon jo sopivat esityksen osat.