Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus muuntaa kirjoitetun tekstin ilmeikkääksi puheeksi. Plus-versio keskittyy synteesin laatuun, luonnollisuuteen ja yksityiskohtaiseen puheilmaisuun. Qwen nimeää pääsovelluksiksi sisällöntuotannon, äänikirjat, elokuva- ja videojälkiäänityksen sekä ammattimaisen puhetuotannon. Mallin päivitetty profiili kuvaa laajempaa tukea vähäresurssisille kielille ja kiinan murteille, parempaa murteiden aitoutta sekä vahvempaa tunteen, sävyn, hahmon, puhenopeuden, äänenvoimakkuuden ja tyylin hallintaa. Valmistaja raportoi myös parempaa selkeyttä, erottelukykyä ja häiriönsietoa meluisissa tai kaikuvissa akustisissa oloissa.

Plus on tämän tekstistä puheeksi -perheen laatuun keskittyvä versio; Flash on erikseen suunnattu reaaliaikaiseen vuorovaikutukseen. Valmistele kerronta puhuttavana käsikirjoituksena ja määritä yleisö, tahti ja tunnesuunta. Äänikirjakatkelman esimerkkiohje voi käyttää selkeää artikulaatiota, harkittua tahtia ja hillittyä lämpöä; videon kertojaäänelle se voi pyytää vakavaa aloitusta ja sen jälkeen energisempää selitystä. Nämä ovat annetun tekstin esitystapavalintoja. Malli on puhesyntetisaattori, ei litterointipalvelu tai kokonaisen visuaalisen kohtauksen generaattori.

Plus-version virallisiin järjestelmä-ääniin kuuluvat lämpimäksi ja empaattiseksi kuvattu Long An Ling Xin sekä kirkkaaksi ja iloiseksi kuvattu Long An Lu Feng. Molemmat on lueteltu mandariinikiinalle ja englannille. Valmistaja tarjoaa myös yli 500 perusääntä tähän versioon ja esikuuntelut niiden arviointiin ennen valintaa. Se suosittelee järjestelmä-ääniä tasaisemman synteesin saavuttamiseksi. Valitse ääni tarkasta Plus-luettelosta ja sovita käsikirjoituksen kieli kyseisen äänen tukemiin kieliin; Flash-ääni ei ole vaihdettavissa vain siksi, että se kuuluu samaan laajempaan perheeseen.

Malli tukee näytepohjaista äänen kloonausta. Sen dokumentoituihin kloonattujen äänien kieliin kuuluvat kiina, englanti, japani, korea, venäjä, ranska, saksa, portugali, thai, indonesia, vietnam, espanja, italia, malaiji, filipino ja arabia. Kiinalaisiin muunnelmiin kuuluvat mandariinikiina, kantoninkiina sekä Chongqingin, Koillis-Kiinan, Gansun, Guizhoun, Zhejiangin, Hebein, Henanin, Hubein, Hunanin, Jiangxin, Ningbon, Ningxian, Qingdaon, Shaanxin, Shanxin, Shandongin, Shanghain, Sichuanin ja Yunnanin murteet, joita ohjataan ohjeilla. Valmistajan mallitaulukko erottaa kloonauksen äänen luomisesta tekstikuvauksen perusteella: Plus tukee kloonausta mutta ei erillistä äänisuunnittelutilaa.

Sopiva kloonausnäyte on selkeää normaalinopeuksista puhetta ilman musiikkia, taustamelua, muita päällekkäisiä puhujia tai laulua. Valmistaja suosittelee 10–20 sekuntia ja sallii enintään 60 sekuntia, tiedoston enimmäiskoon ollessa 10 MB. Näytemuodot ovat 16-bittinen WAV, MP3 ja M4A, ja näytteenottotaajuuden on oltava vähintään 16 kHz. Yhtäjaksoista selkeää puhetta on oltava vähintään viisi sekuntia, ja jäljelle jäävien taukojen tulisi kestää enintään kaksi sekuntia. Stereosta käsitellään vain ensimmäinen kanava. Luotu äänitunniste on sidottu Plus-versioon ja sitä käytetään synteesissä, kun se on valmis; saman näytteen jäljentäminen Flashilla vaatii erikseen luodun Flash-äänen.

Luonnollisen kielen ohjeet voivat muokata sekä järjestelmä-äänien että kloonattujen äänien sävyä, tahtia, tunnetta ja äänenväriä. Käytä konkreettisia kuultavan ilmaisun kuvauksia epämääräisen hyvän äänen pyynnön sijaan. Käsikirjoituksen tunnetagit voivat asettaa tyylin, ja ääni-ilmaisun tehostetagit voivat lisätä äänellisen tehosteen valittuun kohtaan. Esimerkiksi [serious] muuttaa seuraavaa ilmaisua, kun taas [sighing] lisää huokauksen muuttamatta ympäröivää tunnetyyliä. Ohjaustagit ovat voimassa seuraavaan ohjaustagiin tai automaattiseen lausesegmentointiin asti. Tämä tagiominaisuus on dokumentoitu vain yksisuuntaiseen suoratoistoon, joten sen soveltamisala eroaa kaksisuuntaisen tekstisyötteen kanssa käytettävistä ohjeista.

Valmistajan tulostevaihtoehdot ovat PCM, WAV, MP3 ja Opus ilmoitetuilla näytteenottotaajuuksilla 8 000, 16 000, 22 050, 24 000, 44 100 ja 48 000 Hz. MP3 ja 22 050 Hz ovat dokumentoidut oletukset. Äänenvoimakkuus voidaan asettaa välille 0–100, ja nopeus sekä sävelkorkeus välille 0,5–2,0; MP3 ja Opus sallivat lisäksi bittinopeuden 6–510 kbps. Valitse toistoon tai muokkaukseen tarvittava esitysmuoto ja pidä asetukset yhtenäisinä pidemmän teoksen osioissa. Suoratoistotuloste sisältää äänikehyksiä ja lauseiden metatietoja, ja sanatason aikaleimat ovat käytettävissä toimintoa tukeville äänille, myös kloonatuille äänille.

Dokumentoitu WebSocket-tekstisyötteen työnkulku sallii 20 000 merkkiä viestiä kohti ja yhteensä 200 000 merkkiä ja edellyttää enintään 23 sekunnin lähetysväliä. Se voi vastaanottaa kokonaisen käsikirjoituksen tai järjestettyjä tekstisegmenttejä ja päättyä syötteen valmistuttua. Valmistaja dokumentoi myös nykyisen synteesikierroksen peruuttamisen. Nämä ovat protokollan rajoja ja toimintatapoja eivätkä yleispätevä generoidun keston yläraja. Pitkässä kerronnassa järjestä käsikirjoitus yhtenäisiin osioihin ja säilytä niiden järjestys ja teksti tuotetun äänen rinnalla, jotta teos voidaan koota ja tarkistaa johdonmukaisesti.

Ääntämistä varten valmistaja tarjoaa kohdekielivihjeitä, pinyin-merkintöjä ja tekstikorvauksia numeroiden, lyhenteiden, symbolien tai sanojen ei-toivottujen lukutapojen korjaamiseen. SSML on erillinen merkintätila, jonka tuki on rajattu: Qwenin dokumentaatio tukee sitä kloonatuilla äänillä ei-suoratoistavissa tai yksisuuntaisesti suoratoistavissa kutsuissa, joissa sallitaan vain yksi tekstin lähetys tilan ollessa käytössä. Se ei määritä SSML-tukea kaikille järjestelmä-äänille tai kaksisuuntaiseen suoratoistoon. Käytännöllinen Plus-työnkulku alkaa yhteensopivasta äänestä ja valmiista käsikirjoituksesta, minkä jälkeen lisätään tarkat esitys- ja ääntämisvalinnat kerrottavaan katkelmaan.