Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus omdanner skrevet tekst til udtryksfuld tale. Plus-versionen fokuserer på syntesekvalitet, naturlighed og detaljeret stemmeføring. Qwen angiver indholdsproduktion, lydbøger, film- og videodubbing og professionel taleproduktion som de vigtigste anvendelser. Modellens opdaterede profil beskriver bredere støtte til sprog med få træningsressourcer og kinesiske dialekter, forbedret dialektautenticitet og stærkere kontrol over følelse, tone, karakter, talehastighed, lydstyrke og stil. Producenten rapporterer også forbedret klarhed, opløsning og robusthed under støjende eller efterklangsprægede akustiske forhold.

Plus er den kvalitetsorienterede version i denne tekst-til-tale-familie; Flash er særskilt rettet mod interaktion i realtid. Forbered en fortællerstemme som et talemanuskript med angivet målgruppe, tempo og følelsesmæssig retning. For et lydbogsafsnit kan en eksempelbeskrivelse bruge tydelig artikulation, et roligt tempo og afdæmpet varme; for en videofortællerstemme kan den bede om en alvorlig åbning efterfulgt af en mere energisk forklaring. Dette er fremførelsesvalg for de givne ord. Modellen er en talesyntesemodel, ikke en transskriptionstjeneste eller en generator af en komplet visuel scene.

De officielle systemstemmer for Plus omfatter Long An Ling Xin, beskrevet som varm og empatisk, og Long An Lu Feng, beskrevet som lys og munter. Begge er angivet til mandarin og engelsk. Producenten leverer også mere end 500 basisstemmer til denne version med lydprøver, som kan vurderes før valget. Den anbefaler systemstemmer for mere ensartet syntese. Vælg en stemme fra den præcise Plus-liste, og tilpas manuskriptets sprog til den pågældende stemmes understøttede sprog; en Flash-stemme er ikke udskiftelig blot fordi den tilhører samme overordnede familie.

Modellen understøtter stemmekloning ud fra en prøve. De dokumenterede sprog for klonede stemmer omfatter kinesisk, engelsk, japansk, koreansk, russisk, fransk, tysk, portugisisk, thai, indonesisk, vietnamesisk, spansk, italiensk, malajisk, filipino og arabisk. Kinesiske varianter omfatter mandarin, kantonesisk og dialekter fra Chongqing, det nordøstlige Kina, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghai, Sichuan og Yunnan. Dialekterne styres gennem instruktioner. Producentens modeltabel skelner kloning fra at skabe en stemme ud fra en tekstbeskrivelse: kloning understøttes for Plus, mens den separate stemmedesigntilstand ikke understøttes.

En egnet kloningsreference er tydelig tale ved normal hastighed uden musik, baggrundsstøj, konkurrerende talere eller sang. Producenten anbefaler 10–20 sekunder og tillader op til 60 sekunder i en fil på højst 10 MB. Referenceformater er 16-bit WAV, MP3 og M4A med en samplingsfrekvens på mindst 16 kHz. Der kræves mindst fem sekunders sammenhængende tydelig tale, og de resterende pauser bør højst vare to sekunder. Ved stereo behandles kun den første kanal. Den oprettede stemmeidentifikator er bundet til Plus og bruges til syntese, når den er klar; gengivelse af samme reference gennem Flash kræver en særskilt oprettet Flash-stemme.

Instruktioner på naturligt sprog kan forme tone, tempo, følelse og klangfarve for både systemstemmer og klonede stemmer. Brug konkrete beskrivelser af, hvordan stemmen skal lyde, frem for en vag anmodning om en god stemme. Følelsestags i manuskriptet kan fastlægge en stil, og tags til vokale effekter kan indsætte en stemmeeffekt et bestemt sted. For eksempel ændrer [serious] den efterfølgende fremførelse, mens [sighing] indsætter et suk uden at ændre den omgivende følelsesmæssige stil. Kontroltags gælder indtil næste kontroltag eller automatisk sætningssegmentering. Denne tagbaserede funktion er kun dokumenteret til envejsstreaming og har derfor en anden anvendelse end instruktioner med tovejs tekstinput.

Producentens outputmuligheder er PCM, WAV, MP3 og Opus med angivne samplingsfrekvenser på 8.000, 16.000, 22.050, 24.000, 44.100 og 48.000 Hz. MP3 og 22.050 Hz er de dokumenterede standardvalg. Lydstyrken kan indstilles fra 0 til 100, og hastighed og tonehøjde fra 0,5 til 2,0; MP3 og Opus tillader desuden en bitrate fra 6 til 510 kbps. Vælg den repræsentation, der skal bruges til afspilning eller redigering, og hold indstillingerne ens på tværs af afsnittene i et længere værk. Streamingoutput indeholder lydframes og sætningsmetadata, med ordtidsstempler for stemmer, der understøtter funktionen, herunder klonede stemmer.

Den dokumenterede WebSocket-arbejdsgang for tekstinput tillader 20.000 tegn pr. meddelelse og 200.000 tegn i alt og kræver et indsendelsesinterval på højst 23 sekunder. Den kan modtage et komplet manuskript eller ordnede tekstsegmenter og afsluttes, når input er komplet. Producenten dokumenterer også annullering af den aktuelle synteserunde. Dette er grænser og adfærd for protokollen, ikke et universelt loft over genereret varighed. Ved en lang fortællerstemme skal manuskriptet organiseres i sammenhængende afsnit, og rækkefølge og tekst bevares ved siden af den resulterende lyd, så værket kan samles og gennemgås ensartet.

Til udtale tilbyder producenten hints om målsprog, pinyin-annoteringer og teksterstatninger for at håndtere uønsket oplæsning af cifre, forkortelser, symboler eller ord. SSML er en separat markup-tilstand med begrænsninger i understøttelsen: Qwens dokumentation understøtter den for klonede stemmer ved ikke-streamende eller envejsstreamende kald med kun én tekstindsendelse, når den er aktiveret. Det fastlægger ikke SSML for alle systemstemmer eller for tovejsstreaming. En praktisk Plus-arbejdsgang starter med en kompatibel stemme og et færdigt manuskript og tilføjer derefter præcise valg for fremførelse og udtale i det afsnit, der skal fortælles.