Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash omvandlar ett tillhandahållet manus till tal, med Flash-versionens fokus på interaktion i realtid. Qwen anger röstassistenter, interaktiv dialog och intelligent kundservice som de främsta användningsområdena. Jämfört med föregående version beskriver tillverkaren ett bredare stöd för språk med begränsade språkresurser och kinesiska dialekter, mer autentiskt dialektuttryck samt bättre styrning av känsla, ton, karaktär, hastighet, volym och talstil. Tillverkaren rapporterar också förbättrad tydlighet och robusthet i akustiska miljöer med buller eller efterklang. Detta är syntes från text till ljud, inte igenkänning av inkommande tal eller en modell för röstdialog.

Flash prioriterar att talet kommer i gång snabbt i ett interaktivt utbyte. Qwen rapporterar en latens på högst 200 millisekunder till det första paketet för modellens realtidssyntes; användarguiden påpekar också att den inledande anslutningen bidrar till den uppmätta fördröjningen vid den första textinlämningen. Förbered de ord som faktiskt ska sägas separat från det önskade framförandet. För ett svar från en röstassistent kan ett exempel på en instruktion kombinera ett kortfattat svar med ett lugnt och tydligt framförande. Det relevanta resultatet är det genererade talet för den texten, medan applikationen hanterar uppspelningen och den omgivande konversationen.

Tillverkarens lista över systemröster innehåller modellspecifika alternativ som Long An Feng Yue för ett naturligt, vänligt framförande och Long An Xiao Xin för ett vänligt, livligt framförande, båda angivna för mandarin och engelska. Den innehåller också engelska röster som loongmary med brittisk accent och loongjohn med lugn, vänlig amerikansk accent. Varje modell har dessutom fler än 500 basröster. Qwen rekommenderar att börja med systemröster för ett konsekvent resultat och att bedöma förhandslyssningar när en basröst väljs. Rösten måste tillhöra den valda modellen och manuset måste vara på ett språk som rösten stöder.

Klonade röster utökar det dokumenterade språkstödet till kinesiska, engelska, japanska, koreanska, ryska, franska, tyska, portugisiska, thailändska, indonesiska, vietnamesiska, spanska, italienska, malajiska, filipino och arabiska. Stödet för kinesiska omfattar mandarin och kantonesiska samt varieteter från Chongqing, nordöstra Kina, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghai, Sichuan och Yunnan, med dialektval genom instruktioner. Modelltabellen stöder röstkloning från ljudprov och skiljer det från att skapa en ny röst enbart utifrån en textbeskrivning, vilket denna version inte stöder.

För kloning rekommenderar tillverkaren en inspelning på 10–20 sekunder, med en maximal längd på 60 sekunder och en filstorlek på högst 10 MB. Referensformaten som stöds är 16-bitars WAV, MP3 och M4A, med en samplingsfrekvens på minst 16 kHz. Inspelningen behöver innehålla minst fem sekunders sammanhängande, tydligt tal; övriga pauser bör vara högst två sekunder långa. Undvik bakgrundsljud, andra röster och sång. Stereo accepteras, men bara den första kanalen bearbetas. Kloningsflödet returnerar en röstidentifierare som är bunden till den exakta målmodellen, och syntesen använder identifieraren när rösten är klar. Samma inspelning kräver separata klonade röster för Flash och Plus.

Instruktioner på naturligt språk styr framförandet för både systemröster och klonade röster. Beskriv hörbara egenskaper som en mjuk ton, tydlig artikulation eller ett något långsammare tempo. Infogade taggar ger en annan typ av styrning: [empathetic] eller [serious] anger en stil för efterföljande text, medan [laughing] eller [sighing] infogar en rösteffekt på en viss plats. En styrtagg gäller fram till en annan styrtagg eller automatisk meningssegmentering. Dessa känslo- och uttryckstaggar dokumenteras endast för enkelriktad strömning, inte för det dubbelriktade textinmatningsläget. Förbered en uttrycksfull replik i det läge som passar dessa kontroller.

Tillverkarens talgränssnitt stöder PCM, WAV, MP3 och Opus. De angivna samplingsfrekvenserna är 8 000, 16 000, 22 050, 24 000, 44 100 och 48 000 Hz, med MP3 och 22 050 Hz som standardvärden. Volymen går från 0 till 100; talhastighet och tonhöjd går vardera från 0,5 till 2,0. MP3 och Opus har också en inställning för bithastighet från 6 till 510 kbps. Välj format och samplingsfrekvens efter den avsedda spelaren eller bearbetningsprocessen. För en interaktiv applikation dokumenterar tillverkaren strömmande ljudramar och meningsmetadata, med tidsstämplar på ordnivå i strömmande utdata för röster som omfattas av stödet, inklusive klonade röster.

Det dokumenterade textprotokollet via WebSocket accepterar upp till 20 000 tecken i ett textmeddelande och sammanlagt 200 000 tecken i en uppgift, med högst 23 sekunder mellan textinlämningarna. Detta är gränser i tillverkarens protokoll, skilda från en generell gräns för längden på modellens utgående ljud. Protokollet stöder att den aktuella syntesomgången avbryts och att en efterföljande uppgift körs på samma anslutning. Behåll textsegmenten i den ordning de ska läsas upp och avsluta inmatningen när manuset är komplett. För uttalsförberedelser dokumenterar tillverkaren ledtrådar om målspråk, pinyinmarkeringar och textersättningar, som är användbara när siffror, förkortningar eller symboler uttalas oväntat.

SSML är ett separat märkspråksalternativ med villkor för röst och interaktionsläge: Qwen dokumenterar det för klonade röster, med anrop utan strömning eller med enkelriktad strömning, och endast en textinlämning när SSML är aktiverat. Det bör inte förutsättas för varje förinställd röst eller dubbelriktad ström. För vanlig dialog börjar du med en kompatibel röst, ett rent talmanus och en specifik instruktion för framförandet; lägg till riktade uttals- eller uttryckskontroller där uppgiften kräver dem. Det håller Flash-profilen inriktad på responsivt tal från förberedd text, snarare än på andra Qwen-ljudmodellers funktioner.