Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash muuntaa annetun käsikirjoituksen puheeksi, ja Flash-versio keskittyy reaaliaikaiseen vuorovaikutukseen. Qwen nimeää sen pääkäyttökohteiksi puheavustajat, vuorovaikutteisen keskustelun ja älykkään asiakaspalvelun. Valmistaja kuvaa edeltävään versioon verrattuna laajempaa tukea vähäresurssisille kielille ja kiinan murteille, aidompaa murreilmaisua sekä parempaa tunteen, sävyn, luonteen, nopeuden, äänenvoimakkuuden ja puhetyylin hallintaa. Se raportoi myös paremmasta selkeydestä ja toimintavarmuudesta meluisissa tai kaikuvissa akustisissa oloissa. Kyse on tekstistä ääneksi tapahtuvasta synteesistä, ei saapuvan puheen tunnistamisesta tai puhekeskustelumallista.

Flash painottaa puheen nopeaa alkamista vuorovaikutteisessa keskustelussa. Qwen ilmoittaa tämän mallin reaaliaikaisen synteesin ensimmäisen paketin viiveeksi enintään 200 millisekuntia; käyttöopas huomauttaa myös, että yhteyden ensimmäinen muodostaminen vaikuttaa ensimmäisen lähetyksen mitattuun viiveeseen. Valmistele lausuttavat sanat erillään halutusta esitystavasta. Esimerkiksi puheavustajan vastauksen tehtävänannossa voidaan yhdistää ytimekäs vastaus ohjeeseen rauhallisesta ja selkeästä puhetavasta. Olennainen tulos on tästä tekstistä tuotettu puhe, ja sovellus huolehtii toistosta sekä muusta keskustelusta.

Valmistajan järjestelmä-äänien luettelo sisältää mallikohtaisia vaihtoehtoja, kuten Long An Feng Yue luonnolliseen ja ystävälliseen puheeseen sekä Long An Xiao Xin ystävälliseen ja eloisaan puheeseen. Molemmille on merkitty kieliksi mandariinikiina ja englanti. Mukana on myös englanninkielisiä ääniä, kuten brittiaksentilla puhuva loongmary ja rauhallisella, ystävällisellä amerikanenglannin aksentilla puhuva loongjohn. Lisäksi jokaisella mallilla on yli 500 perusääntä. Qwen suosittelee aloittamaan järjestelmä-äänistä tasalaatuisuuden vuoksi ja arvioimaan esikuuntelunäytteitä perusääntä valittaessa. Äänen on kuuluttava valittuun malliin, ja käsikirjoituksen on oltava kyseisen äänen tukemalla kielellä.

Kloonatut äänet laajentavat dokumentoidun kielivalikoiman kiinaan, englantiin, japaniin, koreaan, venäjään, ranskaan, saksaan, portugaliin, thaihin, indonesiaan, vietnamiin, espanjaan, italiaan, malaijiin, filipinoon ja arabiaan. Kiinan kattavuuteen kuuluvat mandariinikiina, kantoninkiina sekä Chongqingin, Koillis-Kiinan, Gansun, Guizhoun, Zhejiangin, Hebein, Henanin, Hubein, Hunanin, Jiangxin, Ningbon, Ningxian, Qingdaon, Shaanxin, Shanxin, Shandongin, Shanghain, Sichuanin ja Yunnanin kielimuodot; murre valitaan ohjeilla. Mallitaulukko ilmoittaa tuen näytteeseen perustuvalle äänen kloonaukselle ja erottaa sen uuden äänen luomisesta pelkän tekstikuvauksen perusteella, mitä tämä versio ei tue.

Kloonausta varten valmistaja suosittelee 10–20 sekunnin tallennetta. Enimmäispituus on 60 sekuntia ja tiedostokoko enintään 10 MB. Tuetut näytemuodot ovat 16-bittinen WAV, MP3 ja M4A, ja näytteenottotaajuuden on oltava vähintään 16 kHz. Tallenteessa tarvitaan vähintään viisi sekuntia yhtäjaksoista selkeää puhetta; muiden taukojen tulisi olla enintään kahden sekunnin pituisia. Vältä taustaääniä, muita puhujia ja laulua. Stereo hyväksytään, mutta vain ensimmäinen kanava käsitellään. Kloonaustyönkulku palauttaa äänitunnisteen, joka on sidottu täsmälliseen kohdemalliin, ja synteesi käyttää tätä tunnistetta, kun ääni on valmis. Samasta tallenteesta on luotava erilliset kloonatut äänet Flash- ja Plus-malleille.

Luonnollisen kielen ohjeilla säädetään sekä järjestelmä-äänien että kloonattujen äänten esitystapaa. Kuvaile kuultavia ominaisuuksia, kuten lempeää sävyä, selkeää artikulaatiota tai hieman hitaampaa tempoa. Tekstin sisäiset tunnisteet tarjoavat toisen säätötavan: [empathetic] tai [serious] asettaa tyylin seuraavalle tekstille, kun taas [laughing] tai [sighing] lisää äänellisen tehosteen tiettyyn kohtaan. Ohjaustunniste vaikuttaa seuraavaan ohjaustunnisteeseen tai automaattiseen lausejakoon asti. Nämä tunne- ja puheen ilmeikkyystunnisteet on dokumentoitu vain yksisuuntaiseen suoratoistoon, ei kaksisuuntaiseen tekstisyötetilaan. Valmistele ilmeikäs repliikki näille säätimille sopivassa tilassa.

Valmistajan puherajapinta tukee PCM-, WAV-, MP3- ja Opus-muotoja. Luetellut näytteenottotaajuudet ovat 8 000, 16 000, 22 050, 24 000, 44 100 ja 48 000 Hz, ja oletukset ovat MP3 ja 22 050 Hz. Äänenvoimakkuuden alue on 0–100; puhenopeuden ja äänenkorkeuden alue on kummallakin 0,5–2,0. MP3 ja Opus tarjoavat myös bittinopeusasetuksen väliltä 6–510 kbps. Valitse muoto ja näytteenottotaajuus aiotun soittimen tai käsittelytyönkulun mukaan. Vuorovaikutteista sovellusta varten valmistaja dokumentoi suoratoistettavat äänikehykset ja lauseiden metatiedot. Soveltuvien äänten, myös kloonattujen äänten, suoratoistotulosteessa on saatavilla sanakohtaiset aikaleimat.

Dokumentoitu WebSocket-tekstiprotokolla hyväksyy enintään 20 000 merkkiä yhdessä tekstiviestissä ja yhteensä 200 000 merkkiä tehtävässä. Lähetysten välillä saa olla enintään 23 sekuntia. Nämä ovat valmistajan protokollan rajoja, eivät mallin tulosäänen yleinen enimmäiskesto. Protokolla tukee nykyisen synteesivuoron perumista ja seuraavan tehtävän suorittamista samalla yhteydellä. Säilytä tekstijaksot aiotussa puhejärjestyksessä ja päätä syöte, kun käsikirjoitus on valmis. Ääntämisen valmistelua varten valmistaja dokumentoi kohdekielivihjeet, pinyin-merkinnät ja tekstikorvaukset, joista on hyötyä numeroiden, lyhenteiden tai symbolien ääntyessä odottamattomasti.

SSML on erillinen merkintätapa, johon liittyy ääntä ja vuorovaikutustilaa koskevia ehtoja: Qwen dokumentoi sen kloonatuille äänille ilman suoratoistoa tai yksisuuntaisessa suoratoistossa tehtävissä kutsuissa sekä yhdellä tekstin lähetyksellä, kun SSML on käytössä. Sen ei pidä olettaa toimivan kaikilla valmiilla äänillä tai kaksisuuntaisissa virroissa. Tavallisessa keskustelussa aloita yhteensopivasta äänestä, siististä puhetekstistä ja täsmällisestä esitystapaohjeesta; lisää kohdennettuja ääntämis- tai ilmaisusäätöjä tehtävän vaatimusten mukaan. Näin Flash-profiilin painopiste pysyy valmiista tekstistä tuotetussa nopeasti reagoivassa puheessa eikä muiden Qwen-audiomallien kyvyissä.