Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus omvandlar skriven text till uttrycksfullt tal. Plus-versionen fokuserar på synteskvalitet, naturlighet och detaljerat röstframförande. Qwen anger innehållsskapande, ljudböcker, film- och videodubbning och professionell talproduktion som de främsta användningsområdena. Modellens uppdaterade profil beskriver bredare stöd för språk med begränsade träningsresurser och kinesiska dialekter, förbättrad dialektautenticitet och starkare kontroll över känsla, ton, karaktär, taltempo, volym och stil. Tillverkaren rapporterar också förbättrad tydlighet, upplösning och robusthet i akustiska miljöer med brus eller efterklang.

Plus är den kvalitetsinriktade versionen i denna text-till-tal-familj; Flash är separat inriktad på interaktion i realtid. Förbered en berättarröst som ett talmanus med angiven målgrupp, takt och känslomässig riktning. Ett exempel för ett ljudboksavsnitt kan använda tydlig artikulation, lugn takt och återhållsam värme; för en videoberättarröst kan det begära en allvarlig inledning följd av en mer energisk förklaring. Det är val för hur de tillhandahållna orden framförs. Modellen är en talsyntesmodell, inte en transkriptionstjänst eller en generator av en komplett visuell scen.

De officiella systemrösterna för Plus inkluderar Long An Ling Xin, som beskrivs som varm och empatisk, och Long An Lu Feng, som beskrivs som ljus och glad. Båda anges för mandarin och engelska. Tillverkaren tillhandahåller också fler än 500 basröster för denna version, med förhandslyssning för bedömning före valet. Den rekommenderar systemröster för mer konsekvent syntes. Välj en röst från den exakta Plus-listan och matcha manusets språk mot röstens stödda språk; en Flash-röst är inte utbytbar bara för att den hör till samma övergripande familj.

Modellen stöder röstkloning från ett prov. De dokumenterade språken för klonade röster inkluderar kinesiska, engelska, japanska, koreanska, ryska, franska, tyska, portugisiska, thailändska, indonesiska, vietnamesiska, spanska, italienska, malajiska, filipino och arabiska. Kinesiska varianter inkluderar mandarin, kantonesiska och dialekter från Chongqing, nordöstra Kina, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghai, Sichuan och Yunnan. Dialekter styrs genom instruktioner. Tillverkarens modelltabell skiljer kloning från skapande av en röst utifrån en textbeskrivning: kloning stöds för Plus, men inte det separata läget för röstdesign.

En lämplig referens för kloning är tydligt tal i normal hastighet utan musik, bakgrundsbrus, konkurrerande talare eller sång. Tillverkaren rekommenderar 10–20 sekunder och tillåter upp till 60 sekunder i en fil på högst 10 MB. Referensformaten är 16-bitars WAV, MP3 och M4A, med en samplingsfrekvens på minst 16 kHz. Minst fem sekunders sammanhängande tydligt tal krävs, och återstående pauser bör inte vara längre än två sekunder. För stereo bearbetas bara den första kanalen. Den skapade röstidentifieraren är bunden till Plus och används för syntes när den är klar; att återskapa samma referens med Flash kräver en separat skapad Flash-röst.

Instruktioner på naturligt språk kan styra ton, takt, känsla och klangfärg hos både systemröster och klonade röster. Använd konkreta beskrivningar av hur det ska låta i stället för en vag begäran om en bra röst. Känslotaggar inne i manuset kan ange en stil, och taggar för vokala effekter kan infoga en rösteffekt på en vald plats. Till exempel ändrar [serious] det efterföljande framförandet, medan [sighing] infogar en suck utan att ändra den omgivande känslostilen. Kontrolltaggar gäller fram till nästa kontrolltagg eller automatisk meningssegmentering. Denna taggbaserade funktion är dokumenterad enbart för enkelriktad strömning och har därför en annan omfattning än instruktioner som används med dubbelriktad textindata.

Tillverkarens utdataalternativ är PCM, WAV, MP3 och Opus vid angivna samplingsfrekvenser på 8 000, 16 000, 22 050, 24 000, 44 100 och 48 000 Hz. MP3 och 22 050 Hz är de dokumenterade standardvalen. Volym kan ställas från 0 till 100, och hastighet och tonhöjd från 0,5 till 2,0; MP3 och Opus tillåter dessutom en bithastighet från 6 till 510 kbps. Välj den representation som behövs för uppspelning eller redigering och håll sedan inställningarna konsekventa genom delarna i ett längre verk. Strömmande utdata innehåller ljudramar och meningsmetadata, med ordtidsstämplar för röster som stöder funktionen, inklusive klonade röster.

Det dokumenterade WebSocket-flödet för textindata tillåter 20 000 tecken per meddelande och totalt 200 000 tecken och kräver ett inlämningsintervall på högst 23 sekunder. Det kan ta emot ett komplett manus eller ordnade textsegment och avslutas när indata är kompletta. Tillverkaren dokumenterar också att den aktuella syntesomgången kan avbrytas. Det är gränser och beteenden för detta protokoll, inte ett allmänt tak för genererad längd i tid. För en lång berättarröst ska du organisera manuset i sammanhängande avsnitt och behålla deras ordning och text tillsammans med det resulterande ljudet, så att verket kan sättas ihop och granskas konsekvent.

För uttal tillhandahåller tillverkaren målspråksledtrådar, pinyin-annoteringar och textersättningar för att hantera oönskade läsningar av siffror, förkortningar, symboler eller ord. SSML är ett separat märkningsläge med villkor för när det stöds: Qwens dokumentation stöder det för klonade röster i icke-strömmande eller enkelriktat strömmande anrop, med bara en textinlämning när det är aktiverat. Det fastställer inte SSML för varje systemröst eller för dubbelriktad strömning. Ett praktiskt Plus-arbetssätt börjar med en kompatibel röst och ett färdigt manus och lägger sedan till precisa val för framförande och uttal i det avsnitt som ska läsas.