Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus pretvarja pisno besedilo v izrazni govor, pri čemer je izdaja Plus osredotočena na kakovost sinteze, naravnost in podrobno glasovno izvedbo. Qwen kot glavne namene uporabe navaja ustvarjanje vsebin, zvočne knjige, sinhronizacijo filmov in videoposnetkov ter profesionalno govorno produkcijo. Posodobljeni profil modela opisuje širšo podporo jezikom z malo razpoložljivimi viri in kitajskim narečjem, bolj pristno narečno izgovarjavo ter močnejši nadzor čustev, tona, značaja, hitrosti govora, glasnosti in sloga. Proizvajalec poroča tudi o izboljšani jasnosti, ločljivosti in robustnosti v hrupnih ali odmevajočih akustičnih razmerah.

Plus je izdaja te družine za pretvorbo besedila v govor, osredotočena na kakovost; Flash je ločeno namenjen interakciji v realnem času. Pripoved pripravite kot besedilo za govor ter določite predvideno občinstvo, tempo in čustveno usmeritev. Pri odlomku zvočne knjige lahko primer navodil zahteva jasno artikulacijo, umirjen tempo in zadržano toplino; pri govoru za videoposnetek pa resen uvod, ki mu sledi bolj energična razlaga. To so izbire izvedbe za podane besede. Model je sintetizator govora, ne storitev za prepisovanje govora ali generator celotnega vizualnega prizora.

Med uradnimi sistemskimi glasovi za Plus sta Long An Ling Xin, opisan kot topel in empatičen, ter Long An Lu Feng, opisan kot vedro in živahno zveneč. Oba sta navedena za mandarinščino in angleščino. Proizvajalec za to izdajo ponuja tudi več kot 500 osnovnih glasov s predogledi, ki jih lahko ocenite pred izbiro. Za bolj enotno sintezo priporoča sistemske glasove. Izberite glas z natančnega seznama za Plus in jezik besedila uskladite z jeziki, ki jih ta glas podpira; glas iz Flash ni zamenljiv zgolj zato, ker sodi v isto širšo družino.

Model podpira kloniranje glasu na podlagi vzorca. Med dokumentiranimi jeziki kloniranih glasov so kitajščina, angleščina, japonščina, korejščina, ruščina, francoščina, nemščina, portugalščina, tajščina, indonezijščina, vietnamščina, španščina, italijanščina, malajščina, filipinščina in arabščina. Kitajske različice vključujejo Mandarin, Cantonese, Chongqing, Northeastern, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghainese, Sichuan in Yunnan, narečja pa se upravljajo z navodili. Proizvajalčeva tabela modelov loči kloniranje od ustvarjanja glasu iz besedilnega opisa: Plus podpira kloniranje, ne pa tega ločenega načina oblikovanja glasu.

Primeren referenčni posnetek za kloniranje je jasen govor z običajno hitrostjo, brez glasbe, hrupa v ozadju, drugih govorcev ali petja. Proizvajalec priporoča 10–20 sekund in dovoljuje do 60 sekund v datoteki, ki ni večja od 10 MB. Referenčne oblike so 16-bitni WAV, MP3 in M4A z najmanjšo frekvenco vzorčenja 16 kHz. Potrebnih je vsaj pet sekund neprekinjenega jasnega govora, za preostale premore pa je priporočeno, da niso daljši od dveh sekund. Pri stereoposnetku se obdeluje le prvi kanal. Ustvarjeni identifikator glasu je vezan na Plus in se za sintezo uporabi, ko je pripravljen; za uporabo iste reference prek Flash je treba posebej ustvariti glas Flash.

Navodila v naravnem jeziku lahko oblikujejo ton, tempo, čustva in barvo tako sistemskih kot kloniranih glasov. Uporabite konkretne opise slišnih lastnosti namesto nejasne zahteve po dobrem glasu. Vstavljene čustvene oznake lahko določijo slog znotraj besedila, oznake za bogato glasovno izraznost pa lahko dodajo glasovni učinek na izbranem mestu. Na primer, [serious] spremeni nadaljnjo govorno izvedbo, [sighing] pa vstavi vzdih, ne da bi spremenil okoliški čustveni slog. Nadzorne oznake veljajo do naslednje nadzorne oznake ali samodejne razmejitve stavkov. Ta funkcija z oznakami je dokumentirana samo za enosmerno pretakanje, zato ima drugačen obseg kot navodila pri dvosmernem besedilnem vhodu.

Proizvajalčeve možnosti izhoda so PCM, WAV, MP3 in Opus, z navedenimi frekvencami vzorčenja 8.000, 16.000, 22.050, 24.000, 44.100 in 48.000 Hz. Dokumentirani privzeti vrednosti sta MP3 in 22.050 Hz. Glasnost je mogoče nastaviti od 0 do 100, hitrost in višino tona pa od 0,5 do 2,0; MP3 in Opus dodatno omogočata bitno hitrost od 6 do 510 kbps. Izberite obliko, potrebno za predvajanje ali urejanje, nato pa te nastavitve ohranite enake v vseh razdelkih daljšega dela. Pretočni izhod vsebuje zvočne okvirje in metapodatke stavkov, časovne oznake besed pa so na voljo za ustrezne glasove, vključno s kloniranimi.

Dokumentirani potek besedilnega vhoda prek WebSocket dovoljuje 20.000 znakov na sporočilo in skupaj 200.000 znakov ter zahteva interval oddaje, ki ni daljši od 23 sekund. Sprejme lahko celotno besedilo ali urejene besedilne segmente in se zaključi, ko je vhod dokončan. Proizvajalec dokumentira tudi preklic trenutnega koraka sinteze. To so omejitve in vedenja tega protokola, ne splošna omejitev trajanja generiranega zvoka. Pri dolgi pripovedi besedilo razdelite v smiselne razdelke ter skupaj z nastalim zvokom ohranite njihov vrstni red in besedilo, da bo mogoče delo enotno sestaviti in pregledati.

Za izgovarjavo proizvajalec ponuja namige o ciljnem jeziku, pripise pinyin in zamenjave besedila za odpravljanje neželenega branja številk, okrajšav, simbolov ali besed. SSML je ločen način označevanja z omejitvami uporabe: dokumentacija Qwen ga podpira za klonirane glasove pri nepretočnih ali enosmerno pretočnih klicih, ob vklopu pa dovoljuje le eno oddajo besedila. Ne določa podpore SSML za vsak sistemski glas ali za dvosmerno pretakanje. Praktičen potek dela s Plus se začne z združljivim glasom in dokončanim besedilom, nato pa doda natančne izbire govorne izvedbe in izgovarjave za odlomek, ki ga je treba prebrati.