Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash pretvori priloženo besedilo za branje v govor, pri čemer je izdaja Flash osredotočena na interakcijo v realnem času. Qwen kot glavne načine uporabe navaja glasovne pomočnike, interaktivni dialog in inteligentno podporo strankam. V primerjavi s predhodno različico proizvajalec opisuje širšo podporo za jezike z manj razpoložljivimi viri in kitajska narečja, pristnejše narečno izražanje ter boljši nadzor nad čustvi, tonom, značajem, hitrostjo, glasnostjo in slogom govora. Poroča tudi o boljši razločnosti in robustnosti v hrupnih akustičnih razmerah ali ob odmevu. Gre za sintezo zvoka iz besedila, ne za prepoznavanje dohodnega govora ali model za glasovni dialog.

Flash daje prednost hitremu začetku govora v interaktivni izmenjavi. Qwen za sintezo tega modela v realnem času navaja zakasnitev prvega paketa največ 200 milisekund; priročnik za uporabo opozarja tudi, da začetna vzpostavitev povezave prispeva k izmerjeni zakasnitvi ob prvem pošiljanju. Besede, ki naj bodo dejansko izgovorjene, pripravite ločeno od želenega načina podajanja. Za odgovor glasovnega pomočnika lahko primer navodila združi jedrnat odgovor z zahtevo po mirnem, jasnem govoru. Ustrezen rezultat je ustvarjeni govor za to besedilo, predvajanje in potek pogovora pa ureja aplikacija.

Proizvajalčev seznam sistemskih glasov vključuje možnosti za posamezni model, kot sta Long An Feng Yue za naravno, prijazno podajanje in Long An Xiao Xin za prijazno, živahno podajanje; oba sta navedena za mandarinščino in angleščino. Vključuje tudi angleške glasove, kot sta loongmary z britanskim naglasom in loongjohn z mirnim, prijaznim ameriškim naglasom. Vsak model ima poleg tega več kot 500 osnovnih glasov. Qwen za doslednost priporoča, da začnete s sistemskimi glasovi, pri izbiri osnovnega glasu pa ocenite predoglede. Glas mora pripadati izbranemu modelu, besedilo pa mora biti v jeziku, ki ga ta glas podpira.

Klonirani glasovi razširijo dokumentirani nabor jezikov na kitajščino, angleščino, japonščino, korejščino, ruščino, francoščino, nemščino, portugalščino, tajščino, indonezijščino, vietnamščino, španščino, italijanščino, malajščino, filipinščino in arabščino. Kitajski nabor vključuje mandarinščino, kantonščino, narečje severovzhodne Kitajske in šanghajščino ter različice Chongqing, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Sichuan in Yunnan; narečje izberete z navodili. Tabela modelov navaja podporo za kloniranje glasu na podlagi vzorca in ga ločuje od ustvarjanja novega glasu zgolj iz besedilnega opisa, česar ta izdaja ne podpira.

Za kloniranje proizvajalec priporoča 10–20-sekundni posnetek, pri čemer je največja dolžina 60 sekund, velikost datoteke pa ne sme presegati 10 MB. Podprti referenčni formati so 16-bitni WAV, MP3 in M4A s frekvenco vzorčenja vsaj 16 kHz. Posnetek mora vsebovati vsaj pet sekund neprekinjenega razločnega govora; drugi premori naj ne bodo daljši od dveh sekund. Izogibajte se zvokom v ozadju, drugim glasovom in petju. Stereo je dovoljen, vendar se obdela le prvi kanal. Postopek kloniranja vrne identifikator glasu, vezan na točno določen ciljni model; sinteza ga uporabi, ko je glas pripravljen. Za isti posnetek morate ustvariti ločena klonirana glasova za Flash in Plus.

Navodila v naravnem jeziku nadzorujejo podajanje tako sistemskih kot kloniranih glasov. Opišite slišne značilnosti, kot so nežen ton, jasna izgovarjava ali nekoliko počasnejši tempo. Oznake znotraj besedila omogočajo drugačen nadzor: [empathetic] ali [serious] nastavi slog za nadaljnje besedilo, [laughing] ali [sighing] pa vstavi glasovni učinek na določeno mesto. Nadzorna oznaka velja do druge nadzorne oznake ali samodejne razdelitve na stavke. Te oznake za čustva in bogatejše izražanje so dokumentirane le za enosmerno pretakanje, ne za način z dvosmernim vnosom besedila. Izrazno poved pripravite v načinu, ki ustreza tem možnostim nadzora.

Proizvajalčev govorni vmesnik podpira PCM, WAV, MP3 in Opus. Navedene frekvence vzorčenja so 8.000, 16.000, 22.050, 24.000, 44.100 in 48.000 Hz, privzeti vrednosti pa sta MP3 in 22.050 Hz. Glasnost je v razponu od 0 do 100; hitrost govora in višina tona sta vsaka v razponu od 0,5 do 2,0. MP3 in Opus omogočata tudi nastavitev bitne hitrosti od 6 do 510 kbps. Format in frekvenco vzorčenja izberite glede na predvideni predvajalnik ali postopek obdelave. Za interaktivne aplikacije proizvajalec dokumentira pretočne zvočne okvirje in metapodatke stavkov, pri čemer so v pretočnem izhodu za ustrezne glasove, vključno s kloniranimi, na voljo časovne oznake na ravni besed.

Dokumentirani besedilni protokol WebSocket sprejme do 20.000 znakov v enem besedilnem sporočilu in skupno 200.000 znakov v nalogi, med zaporednima pošiljanjema pa ne sme preteči več kot 23 sekund. To so omejitve proizvajalčevega protokola, ločene od splošne omejitve trajanja izhoda modela. Podpira preklic trenutne sinteze v pogovoru in naslednjo nalogo na isti povezavi. Besedilne segmente ohranite v predvidenem vrstnem redu izgovarjanja in zaključite vnos, ko je celotno besedilo oddano. Za pripravo izgovarjave proizvajalec dokumentira namige o ciljnem jeziku, opombe v pinjinu in zamenjave besedila, ki so uporabni, ko so števke, kratice ali simboli izgovorjeni drugače od pričakovanj.

SSML je ločena možnost označevalnega zapisa s pogoji glede glasu in načina interakcije: Qwen ga dokumentira za klonirane glasove, pri nepretočnih klicih ali enosmernem pretakanju ter z enim samim pošiljanjem besedila, ko je SSML omogočen. Ne predpostavljajte, da je na voljo za vsak prednastavljen glas ali dvosmerni tok. Pri običajnem dialogu začnite z združljivim glasom, urejenim besedilom za branje in natančnim navodilom za podajanje; ciljni nadzor nad izgovarjavo ali izraznostjo dodajte, kadar ga naloga zahteva. Tako ostaja profil Flash osredotočen na odziven govor iz pripravljenega besedila in ne na zmožnosti drugih Qwenovih zvočnih modelov.