Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus prevádza písaný text na expresívnu reč; vydanie Plus sa sústreďuje na kvalitu syntézy, prirodzenosť a detailný hlasový prednes. Qwen ako hlavné využitia uvádza tvorbu obsahu, audioknihy, dabing filmov a videí a profesionálnu produkciu reči. Aktualizovaný profil modelu opisuje širšiu podporu jazykov s malým množstvom zdrojov a čínskych dialektov, lepšiu autenticitu dialektov a výraznejšie ovládanie emócie, tónu, charakteru, tempa reči, hlasitosti a štýlu. Výrobca uvádza aj lepšiu čistotu, rozlíšenie a odolnosť v hlučných alebo doznievajúcich akustických podmienkach.

Plus je vydanie tejto rodiny prevodu textu na reč zamerané na kvalitu; Flash je osobitne určený na interakciu v reálnom čase. Rozprávanie pripravte ako hovorený scenár s určeným publikom, tempom a emočným smerovaním. Pri pasáži audioknihy môže ilustračné zadanie žiadať jasnú artikuláciu, primerané tempo a zdržanlivú srdečnosť; pri komentári k videu môže žiadať vážny úvod nasledovaný energickejším vysvetlením. Sú to voľby prednesu dodaných slov. Model je syntetizátor reči, nie služba prepisu ani generátor celej vizuálnej scény.

Oficiálne systémové hlasy Plus zahŕňajú Long An Ling Xin, opísaný ako srdečný a empatický, a Long An Lu Feng, opísaný ako jasný a veselý. Oba sú uvedené pre mandarínčinu a angličtinu. Výrobca pre toto vydanie poskytuje aj viac ako 500 základných hlasov s ukážkami na posúdenie pred výberom. Pre konzistentnejšiu syntézu odporúča systémové hlasy. Vyberte hlas z konkrétneho zoznamu Plus a prispôsobte jazyk scenára podporovaným jazykom daného hlasu; hlas z Flash nie je zameniteľný iba preto, že patrí do tej istej širšej rodiny.

Model podporuje klonovanie hlasu zo vzorky. Dokumentované jazyky klonovaných hlasov zahŕňajú čínštinu, angličtinu, japončinu, kórejčinu, ruštinu, francúzštinu, nemčinu, portugalčinu, thajčinu, indonézštinu, vietnamčinu, španielčinu, taliančinu, malajčinu, filipínčinu a arabčinu. Medzi čínskymi variantmi sú mandarínčina, kantončina, Chongqing, severovýchodný variant, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, šanghajský variant, Sichuan a Yunnan; dialekty sa ovládajú pokynmi. Tabuľka modelov výrobcu odlišuje klonovanie od vytvorenia hlasu podľa textového opisu: Plus podporuje klonovanie, no nie tento samostatný režim návrhu hlasu.

Vhodnou referenciou na klonovanie je čistá reč bežnou rýchlosťou, bez hudby, hluku na pozadí, prekrývajúcich sa hovoriacich alebo spevu. Výrobca odporúča 10–20 sekúnd a povoľuje až 60 sekúnd v súbore nie väčšom ako 10 MB. Referenčné formáty sú 16-bitový WAV, MP3 a M4A s minimálnou vzorkovacou frekvenciou 16 kHz. Vyžaduje sa aspoň päť sekúnd súvislej čistej reči a zostávajúce pauzy nemajú byť dlhšie ako dve sekundy. Pri stereu sa spracúva iba prvý kanál. Vytvorený identifikátor hlasu je viazaný na Plus a po pripravení sa používa na syntézu; zopakovanie rovnakej referencie cez Flash vyžaduje samostatne vytvorený hlas Flash.

Pokyny v prirodzenom jazyku môžu formovať tón, tempo, emóciu a farbu systémových aj klonovaných hlasov. Použite konkrétne počuteľné opisy namiesto neurčitej požiadavky na dobrý hlas. Emočné značky priamo v texte môžu nastaviť štýl v scenári a značky hlasového prejavu vložiť efekt na vybrané miesto. Napríklad [serious] zmení nasledujúci prednes, kým [sighing] vloží povzdych bez zmeny okolitého emočného štýlu. Riadiace značky platia až po ďalšiu riadiacu značku alebo automatické členenie na vety. Táto funkcia založená na značkách je dokumentovaná iba pre jednosmerné streamovanie, takže má iný rozsah než pokyny používané s obojsmerným textovým vstupom.

Výstupné možnosti výrobcu sú PCM, WAV, MP3 a Opus pri uvedených vzorkovacích frekvenciách 8 000, 16 000, 22 050, 24 000, 44 100 a 48 000 Hz. Dokumentované predvolené hodnoty sú MP3 a 22 050 Hz. Hlasitosť možno nastaviť od 0 do 100 a rýchlosť i výšku tónu od 0,5 do 2,0; MP3 a Opus navyše umožňujú dátový tok od 6 do 510 kbps. Vyberte formát potrebný na prehrávanie alebo úpravy a potom udržujte nastavenia rovnaké naprieč časťami dlhšieho diela. Streamovaný výstup obsahuje zvukové rámce a metadáta viet; pri podporovaných hlasoch vrátane klonovaných sú dostupné časové značky slov.

Dokumentovaný postup textového vstupu WebSocket umožňuje 20 000 znakov v jednej správe a kumulatívne 200 000 znakov, pričom interval medzi odoslaniami nesmie presiahnuť 23 sekúnd. Môže prijať celý scenár alebo zoradené segmenty textu a skončiť po dokončení vstupu. Výrobca dokumentuje aj zrušenie aktuálneho kola syntézy. Sú to limity a správanie daného protokolu, nie univerzálny limit generovanej dĺžky. Pri dlhom rozprávaní usporiadajte scenár do súvislých sekcií a uchovajte ich poradie i text spolu s výsledným zvukom, aby sa dielo dalo konzistentne zostaviť a skontrolovať.

Pre výslovnosť výrobca poskytuje nápovedu cieľového jazyka, anotácie pinyin a náhrady textu na riešenie neželaného čítania číslic, skratiek, symbolov či slov. SSML je samostatný značkovací režim s podmienkami použiteľnosti: dokumentácia Qwen ho podporuje pre klonované hlasy pri nestreamovaných alebo jednosmerne streamovaných volaniach s iba jedným odoslaním textu, keď je zapnutý. Nedokladá SSML pre každý systémový hlas ani pre obojsmerné streamovanie. Praktický postup Plus začína kompatibilným hlasom a hotovým scenárom a potom pridáva presné voľby prednesu a výslovnosti pre rozprávanú pasáž.