Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash gjør et innsendt manus om til tale, og Flash-utgaven er rettet mot samhandling i sanntid. Qwen oppgir taleassistenter, interaktiv dialog og intelligent kundeservice som hovedbruksområder. Sammenlignet med forrige versjon beskriver produsenten bredere støtte for språk med begrensede ressurser og kinesiske dialekter, mer autentisk dialektuttrykk og bedre kontroll over følelser, tone, karakter, hastighet, volum og talestil. Produsenten oppgir også bedre tydelighet og robusthet under akustiske forhold med støy eller etterklang. Dette er syntese fra tekst til lyd, ikke gjenkjenning av innkommende tale eller en modell for taledialog.

Flash prioriterer oppstarten av tale i en interaktiv utveksling. Qwen oppgir en forsinkelse på opptil 200 millisekunder før første pakke for denne modellens sanntidssyntese; bruksveiledningen påpeker også at den første tilkoblingsetableringen bidrar til den målte forsinkelsen ved første innsending. Klargjør ordene som faktisk skal sies, separat fra ønsket fremføring. For et svar fra en taleassistent kan en illustrerende beskrivelse kombinere et kortfattet svar med en instruksjon om rolig og tydelig fremføring. Det relevante resultatet er den genererte talen for teksten, mens applikasjonen håndterer avspilling og den omkringliggende samtalen.

Produsentens liste over systemstemmer omfatter modellspesifikke alternativer som Long An Feng Yue for en naturlig og vennlig fremføring og Long An Xiao Xin for en vennlig og livlig fremføring; begge er oppført for mandarin og engelsk. Listen omfatter også engelske stemmer som loongmary med britisk aksent og loongjohn med en rolig og vennlig amerikansk aksent. Hver modell har i tillegg mer enn 500 basisstemmer. Qwen anbefaler å begynne med systemstemmer for å få konsistente resultater og å vurdere forhåndslytting når du velger en basisstemme. En stemme må tilhøre den valgte modellen, og manuset må bruke et språk som stemmen støtter.

Klonede stemmer utvider det dokumenterte språkutvalget til kinesisk, engelsk, japansk, koreansk, russisk, fransk, tysk, portugisisk, thai, indonesisk, vietnamesisk, spansk, italiensk, malayisk, filippinsk og arabisk. Den kinesiske dekningen omfatter variantene mandarin, kantonesisk, Chongqing, nordøstkinesisk, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghai, Sichuan og Yunnan, med dialektvalg gjennom instruksjoner. Modelltabellen støtter stemmekloning basert på et lydutvalg og skiller dette fra å lage en ny stemme utelukkende fra en tekstbeskrivelse, noe denne utgaven ikke støtter.

For kloning anbefaler produsenten et opptak på 10–20 sekunder, med en maksimal lengde på 60 sekunder og en filstørrelse på høyst 10 MB. De støttede referanseformatene er 16-biters WAV, MP3 og M4A, med en samplingsfrekvens på minst 16 kHz. Opptaket må inneholde minst fem sekunder med sammenhengende, tydelig tale; øvrige pauser skal ikke være lengre enn to sekunder. Unngå bakgrunnslyd, andre stemmer og sang. Stereo godtas, men bare den første kanalen behandles. Kloningsprosessen returnerer en stemmeidentifikator knyttet til den nøyaktige målmodellen, og syntesen bruker identifikatoren når stemmen er klar. Det samme opptaket krever separate klonede stemmer for Flash og Plus.

Instruksjoner på naturlig språk styrer fremføringen for både systemstemmer og klonede stemmer. Beskriv hørbare egenskaper, som en mild tone, tydelig artikulasjon eller et litt lavere tempo. Tagger i teksten gir en annen type kontroll: [empathetic] eller [serious] angir en stil for teksten som følger, mens [laughing] eller [sighing] setter inn en vokaleffekt på et bestemt sted. En kontrolltagg varer til en annen kontrolltagg eller automatisk setningssegmentering. Disse følelses- og uttrykkstaggene er bare dokumentert for enveis strømming, ikke for den toveis modusen for tekstinndata. Klargjør en uttrykksfull replikk i modusen som passer til disse kontrollene.

Produsentens talegrensesnitt støtter PCM, WAV, MP3 og Opus. De oppførte samplingsfrekvensene er 8 000, 16 000, 22 050, 24 000, 44 100 og 48 000 Hz, med MP3 og 22 050 Hz som standardverdier. Volumet går fra 0 til 100; talehastighet og tonehøyde går hver fra 0,5 til 2,0. MP3 og Opus har også en innstilling for bitrate fra 6 til 510 kbps. Velg format og samplingsfrekvens ut fra den tiltenkte avspilleren eller behandlingsflyten. For en interaktiv applikasjon dokumenterer produsenten strømmende lydrammer og setningsmetadata, med tidsstempler på ordnivå tilgjengelig i strømmende utdata for stemmer som oppfyller vilkårene, inkludert klonede stemmer.

Den dokumenterte WebSocket-tekstprotokollen godtar opptil 20 000 tegn i én tekstmelding og til sammen 200 000 tegn i en oppgave, med høyst 23 sekunder mellom innsendingene. Dette er produsentens protokollgrenser, atskilt fra en universell varighetsgrense for modellens utdata. Protokollen støtter avbryting av den gjeldende synteseturen og en etterfølgende oppgave på samme tilkobling. Behold tekstsegmentene i den rekkefølgen de skal sies, og avslutt inndataene når manuset er komplett. For klargjøring av uttale dokumenterer produsenten hint om målspråk, pinyin-annotasjoner og teksterstatninger, som er nyttige når sifre, forkortelser eller symboler uttales uventet.

SSML er et separat markeringsalternativ med vilkår knyttet til stemme og samhandlingsmodus: Qwen dokumenterer det for klonede stemmer, med ikke-strømmende kall eller enveis strømmende kall, og én enkelt tekstinnsending når SSML er aktivert. Det bør ikke forutsettes for alle forhåndsdefinerte stemmer eller toveis strømming. For vanlig dialog begynner du med en kompatibel stemme, et rent talemanus og en konkret instruksjon om fremføring; legg til målrettede uttale- eller uttrykkskontroller når oppgaven krever det. Dette holder Flash-profilen rettet mot responsiv tale fra klargjort tekst fremfor egenskapene til andre Qwen-lydmodeller.