Mistral: Voxtral Mini TTS

Voxtral TTS er Mistral AIs 4B-tekst-til-tale-modell for å generere talelyd fra tekst og en stemmereferanse. Produsentens modellside identifiserer 2603-utgaven som voxtral-mini-tts-2603, mens kortet for de utgitte vektene heter Voxtral 4B TTS 2603. Denne oppføringen gjelder den talegenererende utgivelsen, adskilt fra Voxtral Small for lydforståelse, transkripsjon og senere sanntidsmodeller for inndata.

Uttrykksfull tale og stemmetilpasning

Modellen er laget for å fange referansestemmens pauser, rytme, intonasjon, aksent og følelsesmessige gjengivelse. Stemmen fungerer som en instruksjon for hvordan teksten skal høres ut; produsentens oversikt krever ikke separate prosodi- eller følelsestagger eller en transkripsjon av referanseopptaket. Kildeteksten bestemmer hva som sies, mens lydreferansen styrer fremføringen.

Oversikten beskriver tilpasning av en stemme fra så lite som to til tre sekunder lyd. Arkitekturbeskrivelsen omtaler stemmeprompter på fem til tjuefem sekunder. Utsagnene har forskjellig omfang: et eksempel på kort tilpasning er ikke et krav om å bruke kortest mulig referanse. Velg tydelig tale som representerer stilen og aksenten du ønsker i sluttresultatet.

Det utgitte kortet omfatter tjue forhåndsdefinerte stemmer og tilpasning til nye stemmer. Produsentens talearbeidsflyt kan bruke en lagret stemmeprofil eller et referanseklipp til engangsbruk. En lagret profil lar samme stemmereferanse gjenbrukes på tvers av separate taleforespørsler, mens et engangsklipp leverer den til den aktuelle oppgaven. En profil og et generert opptak er forskjellige resultater.

Språk og fremføring på tvers av språk

Utgivelsen støtter engelsk, fransk, spansk, tysk, italiensk, portugisisk, nederlandsk, arabisk og hindi, med dialektvariasjon, stemmeoverføring mellom språk og kodeblanding beskrevet av produsenten. For best resultat anbefaler taleveiledningen at referansespråket samsvarer med tekstspråket. Overføring mellom språk kan bevare referansens aksent mens den ferdige teksten sies på et annet støttet språk.

En praktisk fortelleroppgave kan bruke samme stemmestil til en forklaring på forskjellige støttede språk, med hver tekst forberedt for den tiltenkte lytteren. Et taleassistentsvar kan bruke et kort samtalemanus i stedet for å lese et uredigert dokument høyt. Tekst-til-tale-modellen gjengir de ferdige ordene; ethvert oversettelses- eller svarskrivingssteg som lager ordene, er et separat steg.

Forberedelse av teksten

Produsentens taleveiledning anbefaler tekst som egner seg for muntlig gjengivelse. Skriv tall og symboler i formen som skal sies, slik at modellen ikke trenger å velge mellom mulige lesemåter. Et tall kan være en mengde, et klokkeslett eller en identifikator; definer den tiltenkte muntlige ordlyden før syntese. Skriv ut forkortelser når uttalen betyr noe, med separate bokstaver når det er ønsket lesemåte.

Unngå rik formatering, emojier og spesialtegn som ikke skal gjengis som muntlig innhold. Forbered fullstendige setninger med tegnsettingen og ordlyden fremføringen trenger. Veiledningen anbefaler prompter under 300 ord for best resultat. Dette er en kvalitetsanbefaling, ikke en erklært hard maksimal inndatalengde.

Til en prosedyreforklaring skriver du handlingen og betingelsen i en setning lytteren kan følge. Til en kunngjøring plasserer du viktig informasjon før valgfrie detaljer. Til et stemmesvar beholder du faktasvaret og fjerner formatering eller kildenotasjon som bare skal vises og ikke sies. Disse forberedelsene gjør selve manuset egnet til lyd før referansen bestemmer stilen.

Strømming, utdata og varighet

Produsenten dokumenterer grunnleggende og strømmet levering og beskriver innebygd generering av opptil to minutter lyd. Kortet for de utgitte vektene oppgir også satsvis inferens for å forberede flere taleoppgaver. Lengre tjenestegenereringer bruker innfletting i stedet for å behandle én innebygd del som ubegrenset. Til lengre fortellerinnhold forbereder du sammenhengende avsnitt og holder stemme- og tekstforberedelsen konsistent med leveringsarbeidsflyten som håndterer videreføring.

Det utgitte kortet spesifiserer 24 kHz-lyd og nevner utdataformatene WAV, PCM, FLAC, MP3, AAC og Opus. Taletjenesteveiledningen omtaler MP3 for komprimert levering, WAV for ukomprimert PCM, FLAC for tapsfri komprimering og PCM eller Opus for strømming. Velg et format som støttes av den tilkoblede arbeidsflyten og passer til avspilleren eller behandlingssteget. Formatvalg og strømmeatferd er adskilt fra selve stemmetilpasningen.

Modellarkitektur og praktiske grenser

Kunngjøringen beskriver en autoregressiv flow-matching-arkitektur med en Transformer-dekoder som grunnlag med 3,4 milliarder parametere, en akustisk Transformer med 390 millioner parametere og en nevral lydkodek med 300 millioner parametere. Dekoderen predikerer semantisk innhold, og den akustiske komponenten lager talerepresentasjon, mens kodeken håndterer lyd. Komponentene forklarer den omtrentlige modellbetegnelsen 4B; de er ikke ekstra inndataspråk eller en annen modell for svargenerering.

Et praktisk resultat er det syntetiserte opptaket eller lydstrømmen knyttet til ferdig manus og valgt stemme. Behold disse koblingene når flere avsnitt genereres, slik at applikasjonen kan lagre, spille av eller sette sammen riktig materiale. Modellen lager lyd fremfor en transkripsjon, en semantisk søkevektor eller et nyskrevet faktasvar.

Bevar 2603-taleutgaven, støttet språk og referansestil. De leste kildene oppgir den innebygde tominuttersvarigheten og anbefalingen om forberedelse under 300 ord, men etablerer ikke en separat hard grense på teksttegn eller samlet varighet for sammensatte opptak. Bruk faktisk tekst, stemme og leveringskrav til å definere det ferdige lydresultatet.