Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash pateiktą kalbėjimo tekstą paverčia kalba, o Flash versija orientuota į sąveiką realiuoju laiku. Qwen pagrindinėmis taikymo sritimis įvardija balso asistentus, interaktyvų dialogą ir išmanų klientų aptarnavimą. Palyginti su ankstesne versija, gamintojas aprašo platesnį mažai išteklių turinčių kalbų ir kinų tarmių palaikymą, autentiškesnę tarminę raišką ir geresnį emocijų, tono, charakterio, greičio, garsumo bei kalbėjimo stiliaus valdymą. Taip pat nurodomas didesnis aiškumas ir atsparumas triukšmingoms ar aidinčioms akustinėms sąlygoms. Tai garso sintezė iš teksto, o ne įeinančios kalbos atpažinimas ar balso dialogo modelis.

Flash pirmenybę teikia greitai kalbos pradžiai interaktyvaus apsikeitimo metu. Qwen nurodo, kad šio modelio sintezėje realiuoju laiku pirmojo paketo delsa neviršija 200 milisekundžių; naudojimo vadove taip pat pažymima, kad pradinis ryšio užmezgimas prisideda prie išmatuotos pirmojo pateikimo delsos. Atskirai paruoškite žodžius, kurie turi būti ištarti, ir norimą jų pateikimo būdą. Pavyzdžiui, balso asistento atsakymo užduotyje galima suderinti glaustą atsakymą su instrukcija kalbėti ramiai ir aiškiai. Reikalingas rezultatas – tam tekstui sugeneruota kalba, o atkūrimą ir likusią pokalbio eigą valdo programa.

Gamintojo sisteminių balsų sąraše yra konkrečiam modeliui skirtų variantų, pavyzdžiui, Long An Feng Yue natūraliam, draugiškam pateikimui ir Long An Xiao Xin draugiškam, gyvam pateikimui; abu nurodyti mandarinų ir anglų kalboms. Sąraše yra ir angliškų balsų, pavyzdžiui, loongmary su britišku akcentu bei loongjohn su ramiu, draugišku amerikietišku akcentu. Kiekvienas modelis papildomai turi daugiau kaip 500 bazinių balsų. Siekdama nuoseklumo Qwen rekomenduoja pradėti nuo sisteminių balsų, o renkantis bazinį balsą įvertinti jo pavyzdžius. Balsas turi priklausyti pasirinktam modeliui, o kalbėjimo tekstas turi būti parašytas to balso palaikoma kalba.

Klonuoti balsai išplečia dokumentuotą kalbų rinkinį iki kinų, anglų, japonų, korėjiečių, rusų, prancūzų, vokiečių, portugalų, tajų, indoneziečių, vietnamiečių, ispanų, italų, malajų, filipiniečių ir arabų kalbų. Kinų kalbos aprėptis apima mandarinų, kantoniečių, Chongqing, šiaurės rytų Kinijos, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Šanchajaus, Sichuan ir Yunnan atmainas; tarmė pasirenkama instrukcijomis. Modelių lentelėje nurodomas balso klonavimo pagal pavyzdį palaikymas ir jis atskiriamas nuo naujo balso kūrimo vien pagal tekstinį aprašymą, kurio ši versija nepalaiko.

Klonavimui gamintojas rekomenduoja 10–20 sekundžių įrašą, kurio didžiausia trukmė – 60 sekundžių, o failo dydis – ne daugiau kaip 10 MB. Palaikomi pavyzdžio formatai yra 16 bitų WAV, MP3 ir M4A, o diskretizavimo dažnis turi būti bent 16 kHz. Įraše reikia bent penkių sekundžių nenutrūkstamos aiškios kalbos; kitos pauzės neturėtų būti ilgesnės kaip dvi sekundės. Venkite foninių garsų, kitų balsų ir dainavimo. Stereofoninis įrašas priimamas, tačiau apdorojamas tik pirmasis kanalas. Klonavimo procesas grąžina su tiksliu tiksliniu modeliu susietą balso identifikatorių, kuris naudojamas sintezei, kai balsas jau parengtas. Tai pačiai įrašytai medžiagai Flash ir Plus versijose reikia atskirų klonuotų balsų.

Instrukcijos natūralia kalba valdo tiek sisteminių, tiek klonuotų balsų pateikimą. Apibūdinkite girdimas savybes, pavyzdžiui, švelnų toną, aiškią artikuliaciją ar kiek lėtesnį tempą. Į tekstą įterptos žymos suteikia kitokį valdymą: [empathetic] arba [serious] nustato tolesnio teksto stilių, o [laughing] arba [sighing] įterpia balso efektą konkrečioje vietoje. Valdymo žyma galioja iki kitos valdymo žymos arba automatinio skaidymo į sakinius. Šios emocijų ir išraiškingos kalbos žymos dokumentuotos tik vienkrypčiam srautiniam režimui, o ne dvikrypčio teksto įvedimo režimui. Išraiškingą repliką paruoškite šiems valdikliams tinkamu režimu.

Gamintojo kalbos sąsaja palaiko PCM, WAV, MP3 ir Opus. Nurodyti diskretizavimo dažniai yra 8 000, 16 000, 22 050, 24 000, 44 100 ir 48 000 Hz; numatytosios reikšmės – MP3 ir 22 050 Hz. Garsumas nustatomas nuo 0 iki 100, o kalbos greitis ir tono aukštis – kiekvienas nuo 0,5 iki 2,0. MP3 ir Opus taip pat turi bitų spartos nustatymą nuo 6 iki 510 kbps. Formatą ir diskretizavimo dažnį pasirinkite pagal numatytą grotuvą ar apdorojimo procesą. Interaktyvioms programoms gamintojas dokumentuoja srautinius garso kadrus ir sakinių metaduomenis; tinkamų balsų, įskaitant klonuotus, srautinėje išvestyje pateikiamos žodžių lygmens laiko žymos.

Dokumentuotas WebSocket teksto protokolas priima iki 20 000 ženklų vienoje teksto žinutėje ir iš viso 200 000 ženklų vienoje užduotyje, o tarpas tarp pateikimų negali viršyti 23 sekundžių. Tai gamintojo protokolo ribos, o ne universali modelio garso išvesties trukmės riba. Protokolas palaiko dabartinio sintezės etapo atšaukimą ir paskesnę užduotį tuo pačiu ryšiu. Teksto segmentus išlaikykite numatyta tarimo tvarka ir užbaikite įvestį, kai visas tekstas pateiktas. Tarimui paruošti gamintojas dokumentuoja tikslinės kalbos užuominas, pinyin anotacijas ir teksto pakeitimus, naudingus tada, kai skaitmenys, santrumpos ar simboliai ištariami netikėtai.

SSML yra atskiras žymėjimo būdas, kuriam taikomos balso ir sąveikos režimo sąlygos: Qwen jį dokumentuoja klonuotiems balsams, nesrautiniams arba vienkrypčiams srautiniams iškvietimams ir vienam teksto pateikimui, kai SSML įjungtas. Jo nereikėtų laikyti prieinamu kiekvienam iš anksto parengtam balsui ar dvikrypčiam srautui. Įprastą dialogą pradėkite nuo suderinamo balso, švaraus kalbėjimo teksto ir konkrečios pateikimo instrukcijos; prireikus pridėkite tikslinius tarimo ar raiškos valdiklius. Taip Flash profilis lieka orientuotas į greitai reaguojančią kalbą iš paruošto teksto, o ne kitų Qwen garso modelių galimybes.