Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus rašytinį tekstą paverčia išraiškinga kalba; Plus versijoje daugiausia dėmesio skiriama sintezės kokybei, natūralumui ir detaliam balso perteikimui. Qwen pagrindinėmis taikymo sritimis įvardija turinio kūrimą, garsines knygas, filmų ir vaizdo įrašų dubliavimą bei profesionalią kalbos gamybą. Atnaujintame modelio profilyje aprašytas platesnis mažai išteklių turinčių kalbų ir kinų tarmių palaikymas, didesnis tarmių autentiškumas ir geresnis emocijos, tono, charakterio, kalbėjimo greičio, garsumo bei stiliaus valdymas. Kūrėjas taip pat nurodo geresnį aiškumą, raišką ir atsparumą triukšmingoms ar aidinčioms akustinėms sąlygoms.

Plus yra į kokybę orientuota šios teksto vertimo į kalbą šeimos versija; Flash atskirai skirta sąveikai realiuoju laiku. Pasakojimą parenkite kaip kalbai skirtą scenarijų, nurodydami auditoriją, tempą ir emocinę kryptį. Garsinės knygos ištraukai pavyzdinėje užduotyje galima prašyti aiškios artikuliacijos, ramaus tempo ir santūrios šilumos; vaizdo įrašo įgarsinimui – rimtos pradžios, po kurios seka energingesnis paaiškinimas. Tai pateiktų žodžių perteikimo pasirinkimai. Modelis yra kalbos sintezatorius, o ne transkribavimo paslauga ar visos vaizdinės scenos generatorius.

Oficialūs Plus sistemos balsai apima Long An Ling Xin, apibūdinamą kaip šiltą ir empatišką, bei Long An Lu Feng, apibūdinamą kaip skambų ir linksmą. Abu nurodyti mandarinų ir anglų kalboms. Kūrėjas šiai versijai taip pat teikia daugiau kaip 500 bazinių balsų su perklausomis, kuriomis galima įvertinti balsą prieš pasirenkant. Nuoseklesnei sintezei rekomenduojami sistemos balsai. Rinkitės balsą iš konkretaus Plus sąrašo ir derinkite scenarijaus kalbą su to balso palaikomomis kalbomis; Flash balsas netampa pakeičiamas vien dėl to, kad priklauso tai pačiai platesnei šeimai.

Modelis palaiko balso klonavimą pagal pavyzdį. Dokumentuotos klonuotų balsų kalbos apima kinų, anglų, japonų, korėjiečių, rusų, prancūzų, vokiečių, portugalų, tajų, indoneziečių, vietnamiečių, ispanų, italų, malajų, filipiniečių ir arabų. Kinų kalbos variantai apima mandarinų, kantoniečių, Chongqing, šiaurės rytų, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Šanchajaus, Sichuan ir Yunnan tarmes, valdomas instrukcijomis. Kūrėjo modelių lentelėje klonavimas atskiriamas nuo balso kūrimo pagal tekstinį aprašą: Plus palaiko klonavimą, bet ne šį atskirą balso projektavimo režimą.

Tinkamas klonavimo pavyzdys yra aiški, įprastu greičiu tariama kalba be muzikos, foninio triukšmo, persidengiančių kalbėtojų ar dainavimo. Kūrėjas rekomenduoja 10–20 sekundžių ir leidžia iki 60 sekundžių ne didesniame kaip 10 MB faile. Pavyzdžio formatai yra 16 bitų WAV, MP3 ir M4A, o minimalus diskretizavimo dažnis – 16 kHz. Reikia bent penkių sekundžių nenutrūkstamos aiškios kalbos, o likusios pauzės turėtų būti ne ilgesnės kaip dvi sekundės. Stereo įraše apdorojamas tik pirmasis kanalas. Sukurtas balso identifikatorius susiejamas su Plus ir naudojamas sintezei, kai paruoštas; tam pačiam pavyzdžiui atkurti per Flash reikia atskirai sukurto Flash balso.

Natūralios kalbos instrukcijomis galima formuoti sistemos ir klonuotų balsų toną, tempą, emociją bei tembrą. Vietoj migloto prašymo pateikti gerą balsą naudokite konkrečius girdimus apibūdinimus. Įterptos emocijų žymos gali nustatyti stilių scenarijuje, o išraiškos žymos – įterpti balso efektą pasirinktoje vietoje. Pavyzdžiui, [serious] pakeičia tolesnį perteikimą, o [sighing] įterpia atodūsį nepakeisdama aplinkinio emocinio stiliaus. Valdymo žymos galioja iki kitos valdymo žymos arba automatinio sakinių skaidymo. Ši žymomis grindžiama funkcija dokumentuota tik vienkrypčiam srautiniam perdavimui, todėl jos taikymo sritis skiriasi nuo instrukcijų, naudojamų su dvikrypte teksto įvestimi.

Kūrėjo išvesties variantai yra PCM, WAV, MP3 ir Opus, su nurodytais 8 000, 16 000, 22 050, 24 000, 44 100 ir 48 000 Hz diskretizavimo dažniais. Dokumentuoti numatytieji nustatymai – MP3 ir 22 050 Hz. Garsumą galima nustatyti nuo 0 iki 100, greitį ir tono aukštį – nuo 0,5 iki 2,0; MP3 ir Opus taip pat leidžia bitų spartą nuo 6 iki 510 kbps. Pasirinkite atkūrimui ar redagavimui reikalingą formatą ir išlaikykite tuos nustatymus vienodus ilgesnio kūrinio dalyse. Srautinėje išvestyje yra garso kadrai ir sakinių metaduomenys, o tinkamiems balsams, įskaitant klonuotus, prieinamos žodžių laiko žymos.

Dokumentuota WebSocket teksto įvesties eiga leidžia 20 000 simbolių viename pranešime ir 200 000 simbolių iš viso, o pateikimo intervalas negali viršyti 23 sekundžių. Ji gali priimti visą scenarijų arba tvarkingai išdėstytas teksto dalis ir baigti darbą, kai įvestis užbaigta. Kūrėjas taip pat dokumentuoja esamo sintezės žingsnio atšaukimą. Tai šio protokolo ribos ir veikimas, o ne universalus generuojamo garso trukmės apribojimas. Ilgam pasakojimui suskirstykite scenarijų į nuoseklias dalis ir išsaugokite jų tvarką bei tekstą kartu su gautu garsu, kad kūrinį būtų galima nuosekliai surinkti ir patikrinti.

Tarimui kūrėjas teikia tikslinės kalbos užuominas, pinyin anotacijas ir teksto pakeitimus, padedančius išvengti nepageidaujamo skaitmenų, santrumpų, simbolių ar žodžių skaitymo. SSML yra atskiras žymėjimo režimas su tinkamumo apribojimais: Qwen dokumentai jį palaiko klonuotiems balsams nesrautiniuose arba vienkrypčiuose srautiniuose iškvietimuose, leidžiant tik vieną teksto pateikimą, kai režimas įjungtas. Tai nereiškia SSML palaikymo kiekvienam sistemos balsui ar dvikrypčiam srautiniam perdavimui. Praktinė Plus darbo eiga prasideda nuo suderinamo balso ir užbaigto scenarijaus, tada pridedami tikslūs perteikimo ir tarimo pasirinkimai skaitomai ištraukai.