Mistral: Voxtral Mini TTS

Voxtral TTS är Mistral AI:s text-till-tal-modell med 4B parametrar för att generera talat ljud från text och en röstreferens. Tillverkarens modellsida identifierar 2603-versionen som voxtral-mini-tts-2603, medan det släppta viktkortet heter Voxtral 4B TTS 2603. Den här posten gäller denna talgenereringsutgåva, separat från Voxtral Small för ljudförståelse, transkribering och senare modeller för realtidsindata.

Uttrycksfullt tal och röstanpassning

Modellen är utformad för att fånga en referensrösts pauser, rytm, intonation, accent och känslomässiga återgivning. Rösten fungerar som en instruktion för hur texten ska låta; tillverkarens översikt kräver inte separata prosodi- eller känslotaggar eller en transkription av referensinspelningen. Källtexten bestämmer vad som sägs, medan ljudreferensen styr framförandet.

Översikten beskriver anpassning av en röst från så lite som två till tre sekunders ljud. Arkitekturbeskrivningen diskuterar röstpromptar på fem till tjugofem sekunder. Påståendena har olika omfattning: ett exempel på kort anpassning är inte ett krav att använda kortast möjliga referens. Välj tydligt tal som representerar den stil och accent som önskas i slutresultatet.

Det släppta kortet omfattar tjugo förinställda röster och anpassning till nya röster. Tillverkarens talarbetsflöde kan använda en sparad röstprofil eller ett tillfälligt referensklipp. Att spara en profil låter samma röstreferens återanvändas i separata talbegäranden, medan ett tillfälligt klipp tillhandahåller den för den aktuella uppgiften. En profil och en genererad inspelning är olika leveranser.

Språk och framförande mellan språk

Utgåvan stöder engelska, franska, spanska, tyska, italienska, portugisiska, nederländska, arabiska och hindi, med dialektvariation, röstöverföring mellan språk och språkblandning beskrivna av tillverkaren. För bästa resultat rekommenderar talguiden att referensens språk matchas med textens språk. Överföring mellan språk kan bevara referensens accent medan den förberedda texten uttalas på ett annat språk som stöds.

En praktisk berättarröstuppgift kan använda samma röststil för en förklaring på olika språk som stöds, med varje text förberedd för avsedd lyssnare. Ett röstassistentsvar kan använda ett kort samtalsmanus i stället för att läsa upp ett oredigerat dokument. Text-till-tal-modellen återger de förberedda orden; varje översättnings- eller svarsskrivningssteg som producerar dessa ord är ett separat steg.

Förberedelse av texten

Tillverkarens talguide rekommenderar text som går att uttala. Skriv tal och symboler i den form som ska sägas så att modellen inte behöver välja mellan möjliga läsningar. Ett tal kan vara en mängd, en tid eller en identifierare; definiera den avsedda talade ordalydelsen före syntesen. Skriv ut förkortningar när uttalet är viktigt och använd separerade bokstäver där det är den avsedda läsningen.

Undvik avancerad formatering, emojier och specialtecken som inte ska återges som talat innehåll. Förbered fullständiga meningar med den interpunktion och ordalydelse som framförandet behöver. Guiden rekommenderar promptar under 300 ord för bästa resultat. Det är en kvalitetsrekommendation, inte en angiven hård gräns för indatalängd.

Skriv handlingen och villkoret i en mening som lyssnaren kan följa för en procedurförklaring. Placera viktig information före valfria detaljer i ett utrop. Behåll det faktiska svaret för en röstrespons och ta bort formatering enbart för visning eller källnotation som inte ska läsas upp. Förberedelserna gör själva manuset lämpligt för ljud innan referensen bestämmer stilen.

Strömning, utdata och längd

Tillverkaren dokumenterar grundläggande och strömmande leverans och beskriver inbyggd generering av upp till två minuters ljud. Det släppta viktkortet listar också batchinferens för att förbereda flera taluppgifter. Längre genereringar i tjänsten använder sammanflätning i stället för att behandla en inbyggd del som obegränsad. För längre berättarröst förbereder du sammanhängande avsnitt och håller deras röst- och textförberedelser konsekventa med leveransarbetsflödet som hanterar fortsättningen.

Det släppta kortet anger ljud vid 24 kHz och namnger utdataformaten WAV, PCM, FLAC, MP3, AAC och Opus. Taltjänstguiden diskuterar MP3 för komprimerad leverans, WAV för okomprimerad PCM, FLAC för förlustfri komprimering och PCM eller Opus för strömning. Välj ett format som stöds av det anslutna arbetsflödet och passar dess spelare eller bearbetningssteg. Formatval och strömningsbeteende är separata från själva röstanpassningen.

Modellarkitektur och praktiska gränser

Lanseringen beskriver en autoregressiv flow-matching-arkitektur med en Transformer-decoderbas med 3,4 miljarder parametrar, en akustisk Transformer med 390 miljoner parametrar och en neural ljudkodek med 300 miljoner parametrar. Decodern förutsäger semantiskt innehåll och den akustiska komponenten skapar talrepresentation, medan kodeken hanterar ljud. Komponenterna förklarar den ungefärliga modellbeteckningen 4B; de är inte extra indataspråk eller en annan modell för svarsgenerering.

Praktiska utdata är den syntetiserade inspelningen eller ljudströmmen kopplad till sitt förberedda manus och vald röst. Behåll kopplingarna när flera avsnitt genereras så att applikationen kan spara, spela upp eller sammanställa rätt material. Modellen skapar ljud snarare än en transkription, en semantisk sökvektor eller ett nyskrivet faktasvar.

Bevara talversionen 2603, det språk som stöds och referensstilen. De lästa källorna anger uppgiften om inbyggd generering av upp till två minuters ljud och rekommendationen om förberedelse under 300 ord, men fastställer inte en separat hård maximal textgräns i tecken eller en total längd för sammanfogade inspelningar. Använd de faktiska kraven på text, röst och leverans för att definiera den färdiga ljudleveransen.