Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash omdanner et leveret manuskript til tale, og Flash-udgaven fokuserer på interaktion i realtid. Qwen angiver stemmeassistenter, interaktiv dialog og intelligent kundeservice som modellens vigtigste anvendelser. Sammenlignet med den foregående version beskriver producenten bredere understøttelse af sprog med få træningsressourcer og kinesiske dialekter, mere autentisk dialektudtryk og bedre styring af følelser, tone, karakter, hastighed, lydstyrke og talestil. Producenten beskriver også forbedret klarhed og robusthed i akustiske omgivelser med støj eller efterklang. Det er syntese fra tekst til lyd og ikke genkendelse af indgående tale eller en model til stemmedialog.

Flash prioriterer at få talen i gang i en interaktiv udveksling. Qwen angiver en forsinkelse på højst 200 millisekunder for den første datapakke ved denne models syntese i realtid; brugsvejledningen bemærker også, at oprettelsen af den første forbindelse bidrager til den målte forsinkelse ved første forespørgsel. Forbered de ord, der faktisk skal siges, adskilt fra den ønskede fremførelse. Et illustrativt oplæg til et svar fra en stemmeassistent kan kombinere et kort svar med en instruktion om rolig og tydelig fremførelse. Det relevante resultat er den genererede tale til denne tekst, mens applikationen håndterer afspilning og den omgivende samtale.

Producentens liste over systemstemmer omfatter modelspecifikke muligheder som Long An Feng Yue til en naturlig og venlig fremførelse og Long An Xiao Xin til en venlig og livlig fremførelse; begge er angivet til mandarin og engelsk. Listen omfatter også engelske stemmer som loongmary med britisk accent og loongjohn med en rolig og venlig amerikansk accent. Hver model har desuden mere end 500 basisstemmer. Qwen anbefaler at begynde med systemstemmer for at opnå ensartethed og at vurdere forhåndslytninger, når en basisstemme vælges. En stemme skal høre til den valgte model, og manuskriptet skal være på et sprog, som stemmen understøtter.

Klonede stemmer udvider den dokumenterede sprogdækning til kinesisk, engelsk, japansk, koreansk, russisk, fransk, tysk, portugisisk, thai, indonesisk, vietnamesisk, spansk, italiensk, malajisk, filipino og arabisk. Den kinesiske dækning omfatter mandarin, kantonesisk, Chongqing, nordøstkinesisk, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, shanghainesisk, Sichuan og Yunnan, og dialekten vælges gennem instruktioner. Modeltabellen understøtter stemmekloning fra en lydprøve og skelner mellem dette og at skabe en ny stemme alene ud fra en tekstbeskrivelse, hvilket denne udgave ikke understøtter.

Til kloning anbefaler producenten en optagelse på 10–20 sekunder med højst 60 sekunders varighed og en filstørrelse på højst 10 MB. De understøttede referenceformater er 16-bit WAV, MP3 og M4A med en samplingsfrekvens på mindst 16 kHz. Optagelsen skal indeholde mindst fem sekunders sammenhængende, tydelig tale; øvrige pauser må højst vare to sekunder. Undgå baggrundslyd, andre stemmer og sang. Stereo accepteres, men kun den første kanal behandles. Kloningsprocessen returnerer en stemmeidentifikator, der er bundet til den præcise målmodel, og syntesen bruger denne identifikator, når stemmen er klar. Den samme optagelse kræver særskilte klonede stemmer til Flash og Plus.

Instruktioner på naturligt sprog styrer fremførelsen for både systemstemmer og klonede stemmer. Beskriv hørbare egenskaber som en blid tone, tydelig artikulation eller et lidt langsommere tempo. Tags indsat i teksten giver en anden form for styring: [empathetic] eller [serious] angiver en stil for den efterfølgende tekst, mens [laughing] eller [sighing] indsætter en vokal effekt på et bestemt sted. Et styringstag gælder indtil et andet styringstag eller automatisk sætningsopdeling. Disse tags til følelser og udtryksfuldt sprog er kun dokumenteret til envejsstreaming og ikke til tilstanden med tovejs tekstinput. Forbered en udtryksfuld replik i den tilstand, der passer til disse styringsmuligheder.

Producentens talegrænseflade understøtter PCM, WAV, MP3 og Opus. De angivne samplingsfrekvenser er 8.000, 16.000, 22.050, 24.000, 44.100 og 48.000 Hz, med MP3 og 22.050 Hz som standard. Lydstyrken går fra 0 til 100; talehastighed og tonehøjde går hver fra 0,5 til 2,0. MP3 og Opus har også en indstilling for bitrate fra 6 til 510 kbps. Vælg format og samplingsfrekvens, så de passer til den tilsigtede afspiller eller behandlingsproces. Til en interaktiv applikation dokumenterer producenten streamede lydframes og sætningsmetadata, med tidsstempler på ordniveau i streamingoutput for stemmer, der understøtter funktionen, herunder klonede stemmer.

Den dokumenterede WebSocket-tekstprotokol accepterer op til 20.000 tegn i én tekstbesked og samlet 200.000 tegn i en opgave, med højst 23 sekunder mellem indsendelser. Det er grænser i producentens protokol og ikke en universel grænse for varigheden af modellens output. Protokollen understøtter annullering af den aktuelle syntesetur og en efterfølgende opgave på samme forbindelse. Bevar tekstsegmenterne i den rækkefølge, de skal siges, og afslut inputtet, når manuskriptet er komplet. Til forberedelse af udtale dokumenterer producenten angivelse af målsprog, pinyin-annotationer og teksterstatninger, som er nyttige, når tal, forkortelser eller symboler udtales uventet.

SSML er en særskilt mulighed for opmærkning med betingelser for stemme og interaktionstilstand: Qwen dokumenterer den til klonede stemmer ved kald uden streaming eller med envejsstreaming samt med en enkelt tekstindsendelse, når SSML er aktiveret. Den bør ikke antages at gælde for alle forudindstillede stemmer eller tovejsstreams. Til almindelig dialog skal du begynde med en kompatibel stemme, et rent talemanuskript og en konkret instruktion om fremførelsen; tilføj målrettede styringsmuligheder for udtale eller udtryk, hvor opgaven kræver det. Det holder Flash-profilen fokuseret på hurtigt reagerende tale ud fra forberedt tekst frem for på funktioner fra andre Qwen-lydmodeller.