Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash zet een aangeleverde tekst om in spraak, waarbij de Flash-editie zich richt op realtime-interactie. Qwen noemt spraakassistenten, interactieve gesprekken en intelligente klantenservice als belangrijkste toepassingen. Vergeleken met de vorige versie beschrijft de maker een bredere ondersteuning voor talen met weinig beschikbare taaldata en Chinese dialecten, authentiekere dialectuitspraak en meer controle over emotie, toon, personage, snelheid, volume en spreekstijl. Ook meldt de maker verbeterde verstaanbaarheid en robuustheid in lawaaiige of galmende akoestische omstandigheden. Dit is tekst-naar-audiosynthese, geen herkenning van binnenkomende spraak of model voor gesproken dialogen.

Flash geeft prioriteit aan het begin van de spraak in een interactieve uitwisseling. Qwen meldt voor de realtime-synthese van dit model een latentie van het eerste pakket van hoogstens 200 milliseconden; de gebruikshandleiding vermeldt ook dat het aanvankelijk opzetten van de verbinding bijdraagt aan de gemeten vertraging van de eerste verzending. Bereid de woorden die moeten worden uitgesproken afzonderlijk van de gewenste voordracht voor. Een voorbeeldopdracht voor een antwoord van een spraakassistent kan een beknopt antwoord combineren met een instructie om rustig en duidelijk te spreken. Het relevante resultaat is de gegenereerde spraak voor die tekst, waarbij de toepassing het afspelen en het omringende gesprek afhandelt.

De lijst met systeemstemmen van de maker bevat modelspecifieke opties zoals Long An Feng Yue voor een natuurlijke, vriendelijke voordracht en Long An Xiao Xin voor een vriendelijke, levendige voordracht, beide vermeld voor Mandarijn en Engels. De lijst bevat ook Engelse stemmen, zoals loongmary met een Brits accent en loongjohn met een rustig, vriendelijk Amerikaans accent. Elk model heeft daarnaast meer dan 500 basisstemmen. Qwen raadt aan te beginnen met systeemstemmen voor consistentie en voorvertoningen te beoordelen bij het kiezen van een basisstem. Een stem moet bij het geselecteerde model horen en de tekst moet in een taal zijn die de stem ondersteunt.

Gekloonde stemmen verbreden het gedocumenteerde taalaanbod tot Chinees, Engels, Japans, Koreaans, Russisch, Frans, Duits, Portugees, Thai, Indonesisch, Vietnamees, Spaans, Italiaans, Maleis, Filipino en Arabisch. De Chinese dekking omvat Mandarijn, Kantonees en varianten uit Chongqing, Noordoost-China, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghai, Sichuan en Yunnan, waarbij het dialect via instructies wordt geselecteerd. De modeltabel ondersteunt stemklonen op basis van een voorbeeldopname en onderscheidt dit van het maken van een nieuwe stem op basis van alleen een tekstbeschrijving, wat deze editie niet ondersteunt.

Voor klonen adviseert de maker een opname van 10–20 seconden, met een maximum van 60 seconden en een bestandsgrootte van hoogstens 10 MB. Ondersteunde referentieformaten zijn 16-bits WAV, MP3 en M4A, met een samplefrequentie van minstens 16 kHz. De opname moet minstens vijf seconden ononderbroken, heldere spraak bevatten; overige pauzes zouden niet langer dan twee seconden moeten duren. Vermijd achtergrondgeluid, andere stemmen en zang. Stereo wordt geaccepteerd, maar alleen het eerste kanaal wordt verwerkt. Het kloonproces retourneert een stemidentificatie die aan het exacte doelmodel is gekoppeld; de synthese gebruikt die identificatie zodra de stem gereed is. Voor dezelfde opname zijn afzonderlijke gekloonde stemmen nodig voor Flash en Plus.

Instructies in natuurlijke taal sturen de voordracht van zowel systeemstemmen als gekloonde stemmen. Beschrijf hoorbare eigenschappen, zoals een zachte toon, duidelijke articulatie of een iets lager spreektempo. Tags in de tekst bieden een andere vorm van sturing: [empathetic] of [serious] stelt een stijl in voor de tekst die volgt, terwijl [laughing] of [sighing] op een specifieke plaats een stemeffect invoegt. Een besturingstag blijft geldig tot een andere besturingstag of automatische zinssegmentatie. Deze emotietags en tags voor rijkere spraak zijn alleen gedocumenteerd voor unidirectionele streaming, niet voor de bidirectionele tekstinvoermodus. Bereid een expressieve zin voor in de modus die bij deze besturing past.

De spraakinterface van de maker ondersteunt PCM, WAV, MP3 en Opus. De vermelde samplefrequenties zijn 8.000, 16.000, 22.050, 24.000, 44.100 en 48.000 Hz, met MP3 en 22.050 Hz als standaardinstellingen. Het volume loopt van 0 tot 100; spreeksnelheid en toonhoogte lopen elk van 0,5 tot 2,0. MP3 en Opus bieden ook een bitrate-instelling van 6 tot 510 kbps. Kies een formaat en samplefrequentie die passen bij de beoogde speler of verwerking. Voor een interactieve toepassing documenteert de maker streamingaudioframes en zinsmetadata, met tijdstempels op woordniveau in de streaminguitvoer voor daarvoor geschikte stemmen, waaronder gekloonde stemmen.

Het gedocumenteerde WebSocket-tekstprotocol accepteert maximaal 20.000 tekens in één tekstbericht en in totaal 200.000 tekens binnen een taak, met hoogstens 23 seconden tussen verzendingen. Dit zijn protocollimieten van de maker, geen universele limiet voor de duur van de audio-uitvoer van het model. Het protocol ondersteunt het annuleren van de huidige synthesebeurt en een volgende taak via dezelfde verbinding. Bewaar tekstsegmenten in de volgorde waarin ze moeten worden uitgesproken en sluit de invoer af wanneer de tekst compleet is. Voor uitspraakvoorbereiding documenteert de maker hints voor de doeltaal, pinyinannotaties en tekstvervangingen, die nuttig zijn wanneer cijfers, afkortingen of symbolen onverwacht worden uitgesproken.

SSML is een afzonderlijke opmaakoptie met voorwaarden voor de stem en interactiemodus: Qwen documenteert deze voor gekloonde stemmen, met aanroepen zonder streaming of met unidirectionele streaming, en één tekstverzending wanneer SSML is ingeschakeld. Ga er niet van uit dat dit voor elke vooraf ingestelde stem of bidirectionele stream geldt. Begin voor gewone dialogen met een compatibele stem, een schone spreektekst en een specifieke voordrachtsinstructie; voeg gerichte uitspraak- of expressieve besturing toe waar de taak dat vereist. Zo blijft het Flash-profiel gericht op snel reagerende spraak uit voorbereide tekst, in plaats van op mogelijkheden van andere Qwen-audiomodellen.