Qwen: Qwen-Audio-3.0-TTS Plus

Qwen-Audio-3.0-TTS-Plus gjør skrevet tekst om til uttrykksfull tale, med Plus-utgaven rettet mot syntesekvalitet, naturlighet og detaljert stemmefremføring. Qwen oppgir innholdsproduksjon, lydbøker, film- og videodubbing og profesjonell taleproduksjon som hovedbruksområder. Modellens oppdaterte profil beskriver bredere støtte for språk med begrensede språkdata og kinesiske dialekter, mer autentiske dialekter og sterkere kontroll over følelser, tone, karakter, talehastighet, volum og stil. Produsenten melder også om bedre klarhet, oppløsning og robusthet under akustiske forhold med støy eller gjenklang.

Plus er den kvalitetsrettede utgaven i denne tekst-til-tale-familien; Flash er separat posisjonert for samhandling i sanntid. Forbered en fortellertekst som et manus som skal leses opp, med angitt målgruppe, tempo og følelsesmessig retning. Et eksempel for en lydbokpassasje kan bruke tydelig artikulasjon, et rolig tempo og dempet varme; for en videoforteller kan det be om en alvorlig åpning etterfulgt av en mer energisk forklaring. Dette er fremføringsvalg for oppgitte ord. Modellen er en talesyntetiserer, ikke en transkripsjonstjeneste eller en generator av en fullstendig visuell scene.

De offisielle systemstemmene for Plus inkluderer Long An Ling Xin, beskrevet som varm og empatisk, og Long An Lu Feng, beskrevet som lys og munter. Begge er oppført for mandarin og engelsk. Produsenten leverer også mer enn 500 grunnstemmer for denne utgaven, med forhåndslytting som kan vurderes før du velger. Systemstemmer anbefales for mer ensartet syntese. Velg en stemme fra den nøyaktige Plus-listen og tilpass manusspråket til språkene stemmen støtter; en Flash-stemme er ikke ombyttbar bare fordi den tilhører samme bredere familie.

Modellen støtter stemmekloning basert på en prøve. Dokumenterte språk for klonede stemmer omfatter kinesisk, engelsk, japansk, koreansk, russisk, fransk, tysk, portugisisk, thai, indonesisk, vietnamesisk, spansk, italiensk, malayisk, filippinsk og arabisk. Kinesiske varianter inkluderer mandarin, kantonesisk, Chongqing, nordøstlige dialekter, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, shanghainesisk, Sichuan og Yunnan, med dialekter styrt gjennom instruksjoner. Produsentens modelltabell skiller kloning fra stemmeoppretting fra en tekstbeskrivelse: Kloning støttes for Plus, men den separate modusen for stemmedesign gjør det ikke.

En egnet kloningsreferanse er tydelig tale med normal hastighet, uten musikk, bakgrunnsstøy, samtidige andre talere eller sang. Produsenten anbefaler 10–20 sekunder og tillater opptil 60 sekunder, i en fil som ikke er større enn 10 MB. Referanseformatene er 16-bits WAV, MP3 og M4A, med minst 16 kHz samplingsfrekvens. Minst fem sekunder med sammenhengende, tydelig tale kreves, og de øvrige pausene bør ikke være lengre enn to sekunder. For stereo behandles bare første kanal. Den opprettede stemmeidentifikatoren er knyttet til Plus og brukes til syntese når stemmen er klar; å gjenskape samme referanse gjennom Flash krever en separat opprettet Flash-stemme.

Instruksjoner i naturlig språk kan forme tone, tempo, følelser og klang hos både systemstemmer og klonede stemmer. Bruk konkrete hørbare beskrivelser i stedet for en vag forespørsel om en god stemme. Følelsestagger inne i manuset kan angi en stil, og tagger for stemmeeffekter kan sette inn en effekt på et valgt sted. For eksempel endrer [serious] den følgende fremføringen, mens [sighing] setter inn et sukk uten å endre den omkringliggende følelsesmessige stilen. Kontrolltagger gjelder til neste kontrolltagg eller automatisk setningssegmentering. Denne taggbaserte funksjonen er bare dokumentert for enveisstrømming, så den har et annet omfang enn instruksjoner ved toveis tekstinndata.

Produsentens utdataalternativer er PCM, WAV, MP3 og Opus, med oppgitte samplingsfrekvenser på 8 000, 16 000, 22 050, 24 000, 44 100 og 48 000 Hz. MP3 og 22 050 Hz er de dokumenterte standardinnstillingene. Volum kan angis fra 0 til 100, og hastighet og tonehøyde fra 0,5 til 2,0; MP3 og Opus tillater også en bitrate fra 6 til 510 kbps. Velg representasjonen som trengs for avspilling eller redigering, og behold de samme innstillingene gjennom delene av et lengre verk. Strømmet utdata inkluderer lydrammer og setningsmetadata, med tidsstempler for ord tilgjengelig for kvalifiserte stemmer, inkludert klonede stemmer.

Den dokumenterte WebSocket-flyten for tekstinndata tillater 20 000 tegn per melding og totalt 200 000 tegn og krever at intervallet mellom innsendinger ikke er større enn 23 sekunder. Den kan ta imot et helt manus eller ordnede tekstsegmenter og avslutte når inndata er komplette. Produsenten dokumenterer også kansellering av den gjeldende synteseturen. Dette er grenser og oppførsel for den protokollen, ikke en universell grense for generert varighet. For en lang fortellertekst organiserer du manuset i sammenhengende deler og beholder rekkefølgen og teksten sammen med den resulterende lyden, slik at verket kan settes sammen og gjennomgås konsekvent.

For uttale tilbyr produsenten målspråkhint, pinyin-merknader og teksterstatninger for å håndtere uønsket opplesing av tall, forkortelser, symboler eller ord. SSML er en separat markeringsmodus med vilkår for bruk: Qwen-dokumentasjonen støtter den for klonede stemmer i ikke-strømmende eller enveisstrømmende kall, med bare én tekstinnsending når den er aktivert. Den fastslår ikke SSML for alle systemstemmer eller for toveisstrømming. En praktisk Plus-arbeidsflyt starter med en kompatibel stemme og et ferdig manus og legger deretter til presise valg for fremføring og uttale for passasjen som skal fortelles.