Mistral: Voxtral Mini TTS

A Voxtral TTS a Mistral AI 4B szövegfelolvasó modellje beszédhang generálásához szövegből és hangreferenciából. A gyártó modelloldala a 2603 változatot voxtral-mini-tts-2603-ként azonosítja, míg a kiadott súlyok kártyája Voxtral 4B TTS 2603 néven szerepel. Ez a bejegyzés erre a beszédgeneráló kiadásra vonatkozik, külön a Voxtral Small hangmegértési, átírási és későbbi valós idejű bemeneti modellektől.

Kifejező beszéd és hangadaptáció

A modell célja a referenciahang szüneteinek, ritmusának, intonációjának, akcentusának és érzelmi előadásának megragadása. A hang utasításként hat arra, hogyan szóljon a szöveg; a gyártó áttekintése nem követel meg külön prozódia- vagy érzelemcímkéket, sem a referenciafelvétel átiratát. A forrásszöveg határozza meg, mi hangzik el, a hangreferencia pedig az előadását irányítja.

Az áttekintés már két–három másodpercnyi hangból történő adaptációt ír le. Az architektúraleírás öt–huszonöt másodperces hangpromptokat tárgyal. Ezek az állítások eltérő hatókörűek: egy rövid adaptációs példa nem írja elő a lehető legrövidebb referencia használatát. Tiszta beszédet válassz, amely képviseli a végső eredményhez kívánt stílust és akcentust.

A kiadott kártya húsz előre beállított hangot és új hangokhoz való adaptációt tartalmaz. A gyártó beszédmunkafolyamata mentett hangprofilt vagy egyszeri referenciaklipet használhat. A profil mentése lehetővé teszi ugyanazon hangreferencia újrahasználatát külön beszédkérésekben, míg az egyszeri klip az aktuális feladathoz adja azt. A profil és a generált felvétel eltérő anyagok.

Nyelvek és nyelvek közötti előadás

A kiadás angolt, franciát, spanyolt, németet, olaszt, portugált, hollandot, arabot és hindit támogat; a gyártó dialektusváltozatokat, nyelvek közötti hangátvitelt és nyelvkeverést ír le. A legjobb eredményhez a beszédútmutató a referencia és a szöveg nyelvének egyezését ajánlja. A nyelvek közötti átvitel megőrizheti a referencia akcentusát, miközben másik támogatott nyelven mondja el az előkészített szöveget.

Gyakorlati narrációs feladatban ugyanaz a hangstílus használható egy magyarázathoz különböző támogatott nyelveken, minden szöveget a kívánt hallgatóhoz készítve. Hangasszisztens-válasz rövid, társalgási szöveget használhat szerkesztetlen dokumentum felolvasása helyett. A szövegfelolvasó modell az előkészített szavakat szólaltatja meg; az azokat létrehozó fordítási vagy válaszírási szakasz külön lépés.

A szöveg előkészítése

A gyártó beszédútmutatója kimondható szöveget ajánl. A számokat és szimbólumokat abban az alakban írd, ahogyan el kell hangozniuk, hogy a modellnek ne kelljen lehetséges olvasatok között választania. Egy szám lehet mennyiség, idő vagy azonosító; szintézis előtt határozd meg a kívánt kimondott megfogalmazást. Ha fontos a kiejtés, bontsd ki a rövidítéseket, különálló betűkkel, ha ez a kívánt olvasat.

Kerüld a gazdag formázást, emojikat és speciális karaktereket, amelyek nem válnak elmondott tartalommá. Teljes mondatokat készíts az előadáshoz szükséges írásjelekkel és megfogalmazással. Az útmutató a legjobb eredményhez 300 szónál rövidebb promptot ajánl. Ez minőségi javaslat, nem deklarált szigorú maximális bemenethossz.

Eljárásmagyarázatnál a műveletet és feltételt olyan mondatba írd, amelyet a hallgató követni tud. Közleménynél a fontos információ előzze meg az opcionális részleteket. Hangos válasznál tartsd meg a tényszerű választ, és távolítsd el a csak megjelenítésre szolgáló formázást vagy forrásjelölést, amelynek nem kell elhangoznia. Ezek az előkészületek magát a szöveget teszik hanghoz alkalmassá, mielőtt a referencia meghatározza a stílust.

Streamelés, kimenet és időtartam

A gyártó alap- és streamelt átadást dokumentál, és legfeljebb kétpercnyi hang natív generálását írja le. A kiadott súlykártya kötegelt következtetést is felsorol több beszédfeladat előkészítéséhez. Hosszabb szolgáltatási generálásai összefűző váltogatást használnak, nem tekintenek egyetlen natív darabot korlátlannak. Hosszabb narrációhoz összefüggő szakaszokat készíts, és hang- valamint szövegelőkészítésük maradjon következetes a folytatást kezelő átadási munkafolyamattal.

A kiadott kártya 24 kHz-es hangot ad meg, és WAV, PCM, FLAC, MP3, AAC és Opus kimeneti formátumokat nevez meg. A beszédszolgáltatás útmutatója tömörített átadáshoz MP3-at, tömörítetlen PCM-hez WAV-ot, veszteségmentes tömörítéshez FLAC-ot, streameléshez PCM-et vagy Opust tárgyal. Olyan formátumot válassz, amelyet a kapcsolódó munkafolyamat támogat, és amely illik a lejátszóhoz vagy feldolgozási lépéshez. A formátumválasztás és streamelési viselkedés különbözik magától a hangadaptációtól.

Modellarchitektúra és gyakorlati határok

A bejelentés autoregresszív, flow-matching architektúrát ír le 3.4B Transformer-dekóderalappal, 390 millió paraméteres akusztikus Transformerrel és 300 millió paraméteres neurális hangkodekkel. A dekóder szemantikai tartalmat jósol, az akusztikai komponens beszédreprezentációt készít, a kodek pedig a hangot kezeli. Ezek a komponensek magyarázzák a hozzávetőleges 4B modellcímkét; nem további bemeneti nyelvek vagy másik válaszgeneráló modell.

A gyakorlati kimenet az előkészített szöveghez és kiválasztott hanghoz rendelt szintetizált felvétel vagy hangstream. Több szakasz generálásakor őrizd meg ezeket a kapcsolatokat, hogy az alkalmazás a megfelelő anyagot menthesse, játszhassa le vagy állíthassa össze. A modell hangot készít, nem átiratot, szemantikus keresővektort vagy újonnan megírt tényszerű választ.

Őrizd meg a 2603 beszédváltozatot, a támogatott nyelvet és a referencia stílusát. Az olvasott források tartalmazzák a natív kétperces állítást és a 300 szó alatti előkészítési ajánlást, de nem igazolnak külön szigorú szövegkarakter-korlátot vagy teljes összefűzött felvételidőtartamot. A kész hanganyagot a tényleges szöveg-, hang- és átadási követelményekkel határozd meg.