Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash prevádza dodaný text na reč, pričom edícia Flash sa zameriava na interakciu v reálnom čase. Qwen ako hlavné využitie uvádza hlasových asistentov, interaktívny dialóg a inteligentnú zákaznícku podporu. V porovnaní s predchádzajúcou verziou výrobca opisuje širšiu podporu jazykov s malým množstvom dostupných dát a čínskych dialektov, autentickejší dialektový prejav a lepšie ovládanie emócií, tónu, charakteru hlasu, rýchlosti, hlasitosti a štýlu reči. Uvádza aj lepšiu zrozumiteľnosť a odolnosť v hlučných akustických podmienkach alebo pri dozvuku. Ide o syntézu zvuku z textu, nie o rozpoznávanie prichádzajúcej reči ani o model na hlasový dialóg.

Flash uprednostňuje rýchly začiatok reči pri interaktívnej výmene. Qwen pri syntéze v reálnom čase pre tento model uvádza latenciu prvého paketu do 200 milisekúnd; návod zároveň upozorňuje, že pri prvom odoslaní sa do nameraného oneskorenia započítava aj úvodné nadviazanie spojenia. Samotné slová, ktoré sa majú vysloviť, pripravte oddelene od požadovaného spôsobu prednesu. Zadanie pre odpoveď hlasového asistenta môže napríklad spojiť stručnú odpoveď s pokynom na pokojný a zreteľný prednes. Výsledkom je vygenerovaná reč pre daný text; prehrávanie a nadväzujúcu konverzáciu zabezpečuje aplikácia.

Zoznam systémových hlasov výrobcu obsahuje možnosti určené pre konkrétny model, napríklad Long An Feng Yue s prirodzeným, priateľským prednesom a Long An Xiao Xin s priateľským, živým prednesom; oba sú uvedené pre mandarínčinu aj angličtinu. Zahŕňa aj anglické hlasy, napríklad loongmary s britským prízvukom a loongjohn s pokojným, priateľským americkým prízvukom. Každý model má navyše viac než 500 základných hlasov. Qwen odporúča začať so systémovými hlasmi pre ich konzistentnosť a pri výbere základného hlasu posúdiť ukážky. Hlas musí patriť k vybranému modelu a text musí byť v jazyku, ktorý tento hlas podporuje.

Klonované hlasy rozširujú dokumentovaný rozsah jazykov na čínštinu, angličtinu, japončinu, kórejčinu, ruštinu, francúzštinu, nemčinu, portugalčinu, thajčinu, indonézštinu, vietnamčinu, španielčinu, taliančinu, malajčinu, filipínčinu a arabčinu. V čínštine sú zahrnuté tieto variety: mandarínčina, kantončina, Chongqing, severovýchodná čínština, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, šanghajčina, Sichuan a Yunnan; dialekt sa vyberá pokynmi. Tabuľka modelov uvádza podporu klonovania hlasu zo vzorky a odlišuje ju od vytvorenia nového hlasu výlučne z textového opisu, ktoré táto edícia nepodporuje.

Na klonovanie výrobca odporúča nahrávku s dĺžkou 10–20 sekúnd, najviac však 60 sekúnd a s veľkosťou súboru do 10 MB. Podporované formáty referenčnej nahrávky sú 16-bitový WAV, MP3 a M4A so vzorkovacou frekvenciou aspoň 16 kHz. Nahrávka musí obsahovať aspoň päť sekúnd súvislej zreteľnej reči; ostatné pauzy nemajú presiahnuť dve sekundy. Vyhnite sa zvukom v pozadí, ďalším hlasom a spevu. Stereo sa prijíma, spracuje sa však iba prvý kanál. Postup klonovania vráti identifikátor hlasu viazaný na presný cieľový model a po pripravení hlasu sa tento identifikátor používa pri syntéze. Aj z rovnakej nahrávky treba pre Flash a Plus vytvoriť samostatné klonované hlasy.

Pokyny v prirodzenom jazyku riadia prednes systémových aj klonovaných hlasov. Opíšte počuteľné vlastnosti, napríklad jemný tón, zreteľnú artikuláciu alebo mierne pomalšie tempo. Značky vložené priamo do textu poskytujú iný spôsob ovládania: [empathetic] alebo [serious] nastaví štýl pre nasledujúci text, zatiaľ čo [laughing] alebo [sighing] vloží hlasový efekt na konkrétne miesto. Riadiaca značka platí do ďalšej riadiacej značky alebo do automatického rozdelenia na vety. Tieto značky emócií a hlasových prejavov sú dokumentované iba pre jednosmerné streamovanie, nie pre obojsmerný režim textového vstupu. Expresívnu repliku pripravte v režime, ktorý zodpovedá týmto ovládacím prvkom.

Hlasové rozhranie výrobcu podporuje PCM, WAV, MP3 a Opus. Uvedené vzorkovacie frekvencie sú 8 000, 16 000, 22 050, 24 000, 44 100 a 48 000 Hz, pričom predvolené hodnoty sú MP3 a 22 050 Hz. Hlasitosť má rozsah od 0 do 100; rýchlosť reči aj výška hlasu majú rozsah od 0,5 do 2,0. MP3 a Opus ponúkajú aj nastavenie bitovej rýchlosti od 6 do 510 kbps. Formát a vzorkovaciu frekvenciu vyberte podľa zamýšľaného prehrávača alebo spôsobu ďalšieho spracovania. Pre interaktívne aplikácie výrobca dokumentuje streamované zvukové rámce a metadáta viet; pri podporovaných hlasoch vrátane klonovaných sú v streamovanom výstupe dostupné časové značky na úrovni slov.

Dokumentovaný textový protokol WebSocket prijíma až 20 000 znakov v jednej textovej správe a spolu 200 000 znakov v jednej úlohe, pričom medzi odoslaniami smie uplynúť najviac 23 sekúnd. Sú to limity protokolu výrobcu, nie všeobecný limit dĺžky zvukového výstupu modelu. Protokol podporuje zrušenie aktuálnej syntézy a následnú úlohu v tom istom spojení. Textové úseky ponechajte v poradí, v akom sa majú vysloviť, a po dokončení textu ukončite vstup. Na prípravu výslovnosti výrobca dokumentuje nápovedy cieľového jazyka, anotácie pinyin a náhrady textu, ktoré sú užitočné, keď sa číslice, skratky alebo symboly vyslovujú neočakávane.

SSML je samostatná možnosť značkovania s podmienkami týkajúcimi sa hlasu a režimu interakcie: Qwen ho dokumentuje pre klonované hlasy, volania bez streamovania alebo s jednosmerným streamovaním a jediné odoslanie textu, keď je SSML zapnuté. Jeho podporu nemožno predpokladať pri každom prednastavenom hlase ani pri obojsmernom streame. Pri bežnom dialógu začnite kompatibilným hlasom, čistým textom určeným na prednes a konkrétnym pokynom, ako ho vysloviť; cielené ovládanie výslovnosti alebo expresivity pridajte tam, kde to úloha vyžaduje. Profil Flash tak zostáva zameraný na pohotovú reč z pripraveného textu, nie na schopnosti iných zvukových modelov Qwen.