Mistral: Voxtral Mini TTS

Voxtral TTS je model podjetja Mistral AI s 4B parametri za pretvorbo besedila v govor in ustvarjanje govornega zvoka iz besedila ter glasovne reference. Razvijalčeva stran modela izdajo 2603 označuje kot voxtral-mini-tts-2603, kartica izdanih uteži pa se imenuje Voxtral 4B TTS 2603. Ta vnos se nanaša na to izdajo za ustvarjanje govora, ločeno od zvočnega razumevanja Voxtral Small, prepisovanja in poznejših modelov za vhod v realnem času.

Izrazni govor in prilagajanje glasu

Model je zasnovan za zajem premorov, ritma, intonacije, naglasa in čustvene upodobitve referenčnega glasu. Glas deluje kot navodilo, kako naj besedilo zveni; razvijalčev pregled ne zahteva ločenih oznak prozodije ali čustev oziroma prepisa referenčnega posnetka. Izvorno besedilo določa, kaj je izgovorjeno, zvočna referenca pa usmerja podajanje.

Pregled opisuje prilagajanje glasu že iz dveh do treh sekund zvoka. Opis arhitekture obravnava glasovna navodila s petimi do petindvajsetimi sekundami. Ti izjavi imata različen obseg: primer kratkega prilagajanja ni zahteva po uporabi najkrajše možne reference. Izberite jasen govor, ki predstavlja slog in naglas, želena za končni rezultat.

Izdana kartica vključuje dvajset prednastavljenih glasov in prilagajanje novim glasovom. Razvijalčev govorni potek lahko uporabi shranjen glasovni profil ali enkraten referenčni izsek. Shranjevanje profila omogoča ponovno uporabo iste glasovne reference v ločenih govornih zahtevah, enkraten izsek pa jo zagotovi za trenutno nalogo. Profil in ustvarjeni posnetek sta različna izdelka.

Jeziki in medjezikovno podajanje

Izdaja podpira angleščino, francoščino, španščino, nemščino, italijanščino, portugalščino, nizozemščino, arabščino in hindijščino, z različnimi narečji, medjezikovnim prenosom glasu in mešanjem jezikov, ki jih opisuje razvijalec. Za najboljši rezultat govorni vodnik priporoča ujemanje jezika reference z jezikom besedila. Medjezikovni prenos lahko ohrani naglas reference, medtem ko govori pripravljeno besedilo v drugem podprtem jeziku.

Praktična pripovedna naloga lahko za razlago v različnih podprtih jezikih uporabi isti glasovni slog, z vsakim besedilom, pripravljenim za predvidenega poslušalca. Odgovor glasovnega pomočnika lahko uporabi kratek pogovorni scenarij namesto glasnega branja neurejenega dokumenta. Model za pretvorbo besedila v govor upodobi pripravljene besede; prevajalska stopnja ali stopnja pisanja odgovora, ki ustvari te besede, je ločen korak.

Priprava besedila

Razvijalčev govorni vodnik priporoča besedilo, ki ga je mogoče izgovoriti. Številke in simbole zapišite v obliki, ki naj bo izgovorjena, da modelu ni treba izbirati med možnimi branji. Število je lahko količina, čas ali identifikator; pred sintezo določite želeno govorjeno besedilo. Okrajšave izpišite, kadar je izgovarjava pomembna, in uporabite ločene črke, kadar je to predvideno branje.

Izogibajte se bogatemu oblikovanju, emodžijem in posebnim znakom, ki ne bodo upodobljeni kot govorna vsebina. Pripravite cele stavke z ločili in besedilom, potrebnimi za podajanje. Vodnik za najboljše rezultate priporoča navodila pod 300 besedami. To je priporočilo za kakovost, ne razglašena trda meja dolžine vnosa.

Pri postopkovni razlagi dejanje in pogoj zapišite v stavek, ki mu poslušalec lahko sledi. Pri obvestilu pomembne informacije postavite pred neobvezne podrobnosti. Pri glasovnem odgovoru ohranite dejanski odgovor in odstranite oblikovanje samo za prikaz ali zapis virov, ki ne sme biti izgovorjen. Ta priprava naredi sam scenarij primeren za zvok, preden referenca določi njegov slog.

Pretakanje, izhod in trajanje

Razvijalec dokumentira osnovno in pretočno dostavo ter opisuje izvorno ustvarjanje do dveh minut zvoka. Kartica izdanih uteži navaja tudi paketno izvajanje za pripravo več govornih nalog. Daljša ustvarjanja storitve uporabljajo prepletanje, namesto da bi en izvorni del obravnavala kot neomejen. Za daljšo pripoved pripravite povezane razdelke ter ohranite njihovo pripravo glasu in besedila dosledno s potekom dostave, ki obravnava nadaljevanje.

Izdana kartica določa zvok pri 24 kHz in navaja izhodne formate WAV, PCM, FLAC, MP3, AAC in Opus. Vodnik govorne storitve obravnava MP3 za stisnjeno dostavo, WAV za nestisnjen PCM, FLAC za stiskanje brez izgub ter PCM ali Opus za pretakanje. Izberite format, ki ga povezani potek podpira in ki ustreza njegovemu predvajalniku ali koraku obdelave. Izbira formata in vedenje pretakanja sta ločena od samega prilagajanja glasu.

Arhitektura modela in praktične meje

Objava opisuje avtoregresivno arhitekturo s poravnavanjem tokov, z osnovnim dekodirnikom Transformer s 3,4 milijarde parametrov, akustičnim Transformerjem s 390 milijoni parametrov in nevronskim zvočnim kodekom s 300 milijoni parametrov. Dekodirnik napoveduje semantično vsebino, akustična komponenta ustvari predstavitev govora, kodek pa obravnava zvok. Te komponente pojasnjujejo približno oznako modela 4B; niso dodatni vhodni jeziki ali drug model za ustvarjanje odgovorov.

Praktičen izhod je sintetizirani posnetek ali zvočni tok, povezan s pripravljenim scenarijem in izbranim glasom. Te povezave ohranite pri ustvarjanju več razdelkov, da lahko aplikacija shrani, predvaja ali sestavi pravilno gradivo. Model ustvarja zvok, ne prepisa, vektorja za semantično iskanje ali na novo napisanega stvarnega odgovora.

Ohranite govorno izdajo 2603, podprti jezik in slog reference. Prebrani viri zagotavljajo navedbo o izvornih dveh minutah in priporočilo priprave pod 300 besedami, ne določajo pa ločene trde največje omejitve znakov besedila ali skupnega trajanja sestavljenega posnetka. Končni zvočni izdelek določite glede na dejansko besedilo, glas in zahteve podajanja.