Qwen: Qwen-Audio-3.0-TTS Flash

A Qwen-Audio-3.0-TTS-Flash a megadott szöveget beszéddé alakítja, a Flash kiadás pedig a valós idejű interakcióra összpontosít. A Qwen a hangasszisztenseket, az interaktív párbeszédet és az intelligens ügyfélszolgálatot nevezi meg fő alkalmazási területként. Az előző verzióhoz képest a gyártó a kevesebb nyelvi adattal rendelkező nyelvek és a kínai nyelvjárások szélesebb körű támogatásáról, hitelesebb nyelvjárási megszólalásról, valamint az érzelem, hangvétel, karakter, sebesség, hangerő és beszédstílus erősebb vezérléséről számol be. Emellett jobb érthetőséget és megbízhatóbb működést jelez zajos vagy visszhangos akusztikai környezetben. Ez szövegből hangot előállító szintézis, nem bejövő beszéd felismerése vagy hangalapú párbeszédmodell.

A Flash az interaktív beszélgetésben a beszéd gyors elindítását helyezi előtérbe. A Qwen ennél a modellnél legfeljebb 200 milliszekundumos elsőcsomag-késleltetést közöl a valós idejű szintézishez; a használati útmutató azt is jelzi, hogy a kezdeti kapcsolatfelépítés hozzájárul az első beküldésnél mért késleltetéshez. A ténylegesen elhangzó szavakat a kívánt előadásmódtól külön készítse elő. Egy hangasszisztens válaszához például tömör választ és nyugodt, tiszta megszólalást kérő utasítást lehet összekapcsolni. Az eredmény az adott szöveghez előállított beszéd, míg a lejátszást és a környező beszélgetést az alkalmazás kezeli.

A gyártó rendszerhanglistáján modellspecifikus lehetőségek szerepelnek: a Long An Feng Yue természetes, barátságos megszólalást, a Long An Xiao Xin barátságos, élénk előadásmódot kínál; mindkettőt mandarin és angol nyelvre sorolják fel. Angol hangok is szerepelnek benne, például a brit akcentusú loongmary és a nyugodt, barátságos amerikai akcentusú loongjohn. Minden modellhez további több mint 500 alaphang tartozik. A Qwen az egyenletes eredmények érdekében a rendszerhangokkal való kezdést és alaphang választásakor a hangminták meghallgatását javasolja. A hangnak a kiválasztott modellhez kell tartoznia, a felolvasandó szövegnek pedig az adott hang által támogatott nyelven kell készülnie.

A klónozott hangok a dokumentált nyelvkört kínaira, angolra, japánra, koreaira, oroszra, franciára, németre, portugálra, thaira, indonézre, vietnámira, spanyolra, olaszra, malájra, filippínóra és arabra bővítik. A kínai lefedettséghez a mandarin, kantoni, Chongqing, északkelet-kínai, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, sanghaji, Sichuan és Yunnan változatok tartoznak; a nyelvjárás utasításokkal választható ki. A modelltáblázat támogatottként jelöli a hangmintán alapuló hangklónozást, és megkülönbözteti azt egy új hang kizárólag szöveges leírásból történő létrehozásától, amelyet ez a kiadás nem támogat.

Klónozáshoz a gyártó 10–20 másodperces felvételt javasol, legfeljebb 60 másodperces hosszal és legfeljebb 10 MB-os fájlmérettel. A támogatott referenciaformátumok a 16 bites WAV, az MP3 és az M4A, legalább 16 kHz-es mintavételi frekvenciával. A felvételnek legalább öt másodpercnyi folyamatos, tiszta beszédet kell tartalmaznia; az egyéb szünetek ne legyenek két másodpercnél hosszabbak. Kerülje a háttérhangokat, más beszélők hangját és az éneklést. Sztereó felvétel is elfogadott, de csak az első csatorna kerül feldolgozásra. A klónozási folyamat a pontos célmodellhez kötött hangazonosítót ad vissza; ha a hang elkészült, a szintézis ezt az azonosítót használja. Ugyanabból a felvételből külön klónozott hangot kell létrehozni a Flash és a Plus számára.

A természetes nyelvű utasítások a rendszerhangok és a klónozott hangok előadásmódját egyaránt vezérlik. Írjon le hallható tulajdonságokat, például szelíd hangvételt, tiszta artikulációt vagy valamivel lassabb tempót. A szövegközi címkék másféle vezérlést adnak: az [empathetic] vagy [serious] a következő szöveg stílusát állítja be, míg a [laughing] vagy [sighing] egy adott helyen hangeffektust illeszt be. A vezérlőcímke hatása egy másik vezérlőcímkéig vagy az automatikus mondatszegmentálásig tart. Ezek az érzelmi és kifejező beszédet vezérlő címkék csak az egyirányú streaminghez dokumentáltak, nem a kétirányú szövegbeviteli módhoz. A kifejező megszólalást az adott vezérlőknek megfelelő módban készítse elő.

A gyártó beszédinterfésze támogatja a PCM, WAV, MP3 és Opus formátumot. A felsorolt mintavételi frekvenciák 8 000, 16 000, 22 050, 24 000, 44 100 és 48 000 Hz; az alapértelmezés az MP3 és a 22 050 Hz. A hangerő 0 és 100 között, a beszédsebesség és a hangmagasság egyaránt 0,5 és 2,0 között állítható. Az MP3 és az Opus esetében 6 és 510 kbps közötti bitráta is beállítható. A formátumot és a mintavételi frekvenciát a tervezett lejátszóhoz vagy feldolgozási folyamathoz válassza meg. Interaktív alkalmazásokhoz a gyártó streaming hangkereteket és mondatszintű metaadatokat dokumentál; a megfelelő hangoknál, a klónozott hangokat is beleértve, a streaming kimenetben szószintű időbélyegek is elérhetők.

A dokumentált WebSocket-szövegprotokoll egy szöveges üzenetben legfeljebb 20 000 karaktert, egy feladaton belül összesen legfeljebb 200 000 karaktert fogad el, a beküldések között pedig legfeljebb 23 másodperc telhet el. Ezek a gyártói protokoll korlátai, és nem azonosak a modell kimeneti időtartamának általános felső határával. Támogatja az aktuális szintéziskör megszakítását és egy következő feladat indítását ugyanazon a kapcsolaton. A szövegrészeket a kívánt felolvasási sorrendben tartsa, és fejezze be a bevitelt, amikor a felolvasandó szöveg teljes. A kiejtés előkészítéséhez a gyártó célnyelvi jelzéseket, pinjinjelöléseket és szövegcseréket dokumentál, amelyek hasznosak lehetnek, ha a számjegyek, rövidítések vagy szimbólumok nem a várt módon hangzanak el.

Az SSML külön jelölőnyelvi lehetőség, amelyhez a hangra és az interakció módjára vonatkozó feltételek tartoznak: a Qwen klónozott hangokhoz, nem streaming vagy egyirányú streaming hívásokhoz dokumentálja, bekapcsolt SSML esetén pedig egyetlen szövegbeküldéssel. Nem szabad minden előre beállított hang vagy kétirányú stream esetében támogatottnak tekinteni. Hétköznapi párbeszédhez kezdjen kompatibilis hanggal, tiszta felolvasandó szöveggel és konkrét előadásmódbeli utasítással; ahol a feladat megkívánja, adjon hozzá célzott kiejtési vagy kifejező vezérlőket. Így a Flash profil középpontjában az előkészített szövegből gyorsan megszólaló beszéd marad, nem más Qwen-audiomodellek képességei.