Qwen: Qwen-Audio-3.0-TTS Flash

Qwen-Audio-3.0-TTS-Flash zamienia dostarczony tekst w mowę, a edycja Flash koncentruje się na interakcji w czasie rzeczywistym. Qwen wskazuje asystentów głosowych, interaktywny dialog i inteligentną obsługę klienta jako główne zastosowania. W porównaniu z poprzednią wersją producent opisuje szerszą obsługę języków o niewielkich zasobach i chińskich dialektów, bardziej autentyczny sposób wyrażania się w dialektach oraz większą kontrolę nad emocjami, tonem, charakterem, szybkością, głośnością i stylem mówienia. Informuje także o poprawie wyrazistości i odporności w warunkach akustycznych z hałasem lub pogłosem. Jest to synteza tekstu do postaci dźwięku, a nie rozpoznawanie przychodzącej mowy czy model dialogu głosowego.

Flash priorytetowo traktuje szybkie rozpoczęcie mowy podczas interakcji. Qwen podaje dla syntezy tego modelu w czasie rzeczywistym opóźnienie do pierwszego pakietu nieprzekraczające 200 milisekund; przewodnik użytkowania zaznacza również, że początkowe nawiązanie połączenia wpływa na zmierzone opóźnienie pierwszego przesłania. Przygotuj właściwe słowa do wypowiedzenia oddzielnie od opisu pożądanego sposobu mówienia. Przykładowe zlecenie odpowiedzi asystenta głosowego może łączyć zwięzłą odpowiedź z instrukcją spokojnego, wyraźnego mówienia. Istotnym wynikiem jest mowa wygenerowana dla tego tekstu, podczas gdy aplikacja odpowiada za odtwarzanie i otaczającą rozmowę.

Lista głosów systemowych producenta zawiera opcje właściwe dla modelu, takie jak Long An Feng Yue do naturalnego, przyjaznego mówienia oraz Long An Xiao Xin do przyjaznej, żywej wypowiedzi; oba są wymienione dla języka mandaryńskiego i angielskiego. Zawiera również głosy angielskie, takie jak loongmary z brytyjskim akcentem oraz loongjohn o spokojnym, przyjaznym brzmieniu i amerykańskim akcencie. Każdy model ma ponadto ponad 500 głosów bazowych. Qwen zaleca rozpoczęcie od głosów systemowych dla zachowania spójności oraz ocenę próbek odsłuchowych przy wyborze głosu bazowego. Głos musi należeć do wybranego modelu, a tekst musi być w języku obsługiwanym przez ten głos.

Sklonowane głosy rozszerzają udokumentowany zakres języków o chiński, angielski, japoński, koreański, rosyjski, francuski, niemiecki, portugalski, tajski, indonezyjski, wietnamski, hiszpański, włoski, malajski, filipiński i arabski. Zakres chińskiego obejmuje mandaryński, kantoński oraz odmiany z Chongqing, północno-wschodnich Chin, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Szanghaju, Sichuanu i Yunnanu, z wyborem dialektu przez instrukcje. Tabela modelu wskazuje obsługę klonowania głosu na podstawie próbki i odróżnia je od tworzenia nowego głosu wyłącznie z opisu tekstowego, czego ta edycja nie obsługuje.

Do klonowania producent zaleca nagranie o długości 10–20 sekund, z maksimum 60 sekund i rozmiarem pliku nieprzekraczającym 10 MB. Obsługiwane formaty referencyjne to 16-bitowy WAV, MP3 i M4A, przy częstotliwości próbkowania co najmniej 16 kHz. Nagranie musi zawierać przynajmniej pięć sekund ciągłej, wyraźnej mowy; pozostałe przerwy nie powinny przekraczać dwóch sekund. Unikaj dźwięków tła, innych głosów i śpiewu. Stereo jest akceptowane, ale przetwarzany jest tylko pierwszy kanał. Proces klonowania zwraca identyfikator głosu powiązany z dokładnym modelem docelowym, a synteza używa go, gdy głos jest gotowy. To samo nagranie wymaga osobnych sklonowanych głosów dla Flash i Plus.

Instrukcje w języku naturalnym sterują sposobem mówienia zarówno głosów systemowych, jak i sklonowanych. Opisz słyszalne cechy, takie jak łagodny ton, wyraźna artykulacja czy nieco wolniejsze tempo. Tagi umieszczone w tekście oferują inny rodzaj kontroli: [empathetic] lub [serious] ustawia styl kolejnego tekstu, natomiast [laughing] lub [sighing] wstawia efekt głosowy w określonym miejscu. Tag sterujący działa do następnego tagu sterującego albo automatycznego podziału na zdania. Te tagi emocji i ekspresji językowej są udokumentowane tylko dla strumieniowania jednokierunkowego, nie dla dwukierunkowego trybu wprowadzania tekstu. Przygotuj ekspresyjną kwestię w trybie odpowiednim dla tych elementów sterujących.

Interfejs mowy producenta obsługuje PCM, WAV, MP3 i Opus. Wymienione częstotliwości próbkowania to 8 000, 16 000, 22 050, 24 000, 44 100 i 48 000 Hz, z domyślnymi ustawieniami MP3 i 22 050 Hz. Głośność mieści się w zakresie od 0 do 100; szybkość mowy i wysokość tonu — każda od 0,5 do 2,0. MP3 i Opus udostępniają również ustawienie przepływności od 6 do 510 kbps. Wybierz format i częstotliwość próbkowania dopasowane do docelowego odtwarzacza lub procesu przetwarzania. Dla aplikacji interaktywnej producent dokumentuje strumieniowe ramki audio i metadane zdań, a w wyjściu strumieniowym dostępne są znaczniki czasu na poziomie słów dla odpowiednich głosów, w tym głosów sklonowanych.

Udokumentowany protokół tekstowy WebSocket przyjmuje do 20 000 znaków w jednej wiadomości tekstowej i łącznie 200 000 znaków w zadaniu, przy przerwach między przesłaniami nie dłuższych niż 23 sekundy. Są to limity protokołu producenta, odrębne od uniwersalnego limitu czasu trwania wyjścia modelu. Obsługuje on anulowanie bieżącej tury syntezy i kolejne zadanie na tym samym połączeniu. Zachowaj segmenty tekstu w zamierzonej kolejności wypowiadania i zakończ wejście, gdy cały tekst został przesłany. Do przygotowania wymowy producent dokumentuje wskazówki dotyczące języka docelowego, adnotacje pinyin i zamiany tekstu, przydatne, gdy cyfry, skróty lub symbole są wypowiadane w nieoczekiwany sposób.

SSML to osobna opcja znaczników, z warunkami dotyczącymi głosu i trybu interakcji: Qwen dokumentuje ją dla sklonowanych głosów, przy wywołaniach bez strumieniowania lub ze strumieniowaniem jednokierunkowym i pojedynczym przesłaniem tekstu, gdy SSML jest włączone. Nie należy zakładać jej obsługi dla każdego gotowego głosu ani strumienia dwukierunkowego. Przy zwykłym dialogu zacznij od zgodnego głosu, uporządkowanego tekstu do wypowiedzenia i konkretnej instrukcji sposobu mówienia; dodawaj ukierunkowane sterowanie wymową lub ekspresją tam, gdzie wymaga tego zadanie. Dzięki temu profil Flash pozostaje skoncentrowany na szybko reagującej syntezie mowy z przygotowanego tekstu, a nie na możliwościach innych modeli audio Qwen.