Mistral: Voxtral Mini TTS

Voxtral TTS er Mistral AI's 4B-tekst-til-tale-model til at generere talt lyd ud fra tekst og en stemmereference. Producentens modelside identificerer 2603-udgaven som voxtral-mini-tts-2603, mens kortet for de offentliggjorte vægte hedder Voxtral 4B TTS 2603. Denne post omhandler den talegenereringsudgivelse, adskilt fra Voxtral Small til lydforståelse, transskription og senere inputmodeller til realtid.

Udtryksfuld tale og stemmetilpasning

Modellen er udviklet til at indfange en referencestemmes pauser, rytme, intonation, accent og følelsesmæssige gengivelse. Stemmen fungerer som en instruktion om, hvordan teksten skal lyde; producentens oversigt kræver ikke særskilte prosodi- eller følelsestags eller en transskription af referenceoptagelsen. Kildeteksten bestemmer, hvad der siges, mens lydreferencen styrer fremførelsen.

Oversigten beskriver tilpasning af en stemme ud fra så lidt som to til tre sekunders lyd. Arkitekturbeskrivelsen omtaler stemmeprompts på fem til femogtyve sekunder. Udsagnene har forskelligt anvendelsesområde: et kort tilpasningseksempel er ikke et krav om at bruge den kortest mulige reference. Vælg tydelig tale, som repræsenterer den ønskede stil og accent til det færdige resultat.

Udgivelseskortet omfatter tyve forudindstillede stemmer og tilpasning til nye stemmer. Producentens talearbejdsgang kan bruge en gemt stemmeprofil eller et enkeltstående referenceklip. En gemt profil gør det muligt at genbruge den samme stemmereference i særskilte taleanmodninger, mens et enkeltstående klip leverer den til den aktuelle opgave. En profil og en genereret optagelse er forskellige artefakter.

Sprog og fremførelse på tværs af sprog

Udgivelsen understøtter engelsk, fransk, spansk, tysk, italiensk, portugisisk, nederlandsk, arabisk og hindi, og producenten beskriver dialektvariation, stemmeoverførsel på tværs af sprog og kodeblanding. For det bedste resultat anbefaler talevejledningen at matche referencesproget med tekstsproget. Overførsel på tværs af sprog kan bevare referencens accent, mens den forberedte tekst udtales på et andet understøttet sprog.

En praktisk fortælleopgave kan bruge samme stemmestil til en forklaring på forskellige understøttede sprog, hvor hver tekst er forberedt til den tilsigtede lytter. Et svar fra en stemmeassistent kan bruge et kort samtalemanuskript frem for at læse et uredigeret dokument højt. Tekst-til-tale-modellen gengiver de forberedte ord; ethvert oversættelses- eller svarskrivningstrin, der producerer ordene, er et særskilt trin.

Forberedelse af teksten

Producentens talevejledning anbefaler tekst, der kan udtales. Skriv tal og symboler i den form, de skal siges, så modellen ikke skal vælge mellem mulige læsninger. Et tal kan være en mængde, et tidspunkt eller en identifikator; definer den ønskede talte ordlyd før syntese. Skriv forkortelser ud, når udtalen er vigtig, og brug adskilte bogstaver, når det er den ønskede læsning.

Undgå rig formatering, emojis og specialtegn, som ikke gengives som talt indhold. Forbered hele sætninger med den tegnsætning og ordlyd, som fremførelsen kræver. Vejledningen anbefaler prompts under 300 ord for de bedste resultater. Det er en kvalitetsanbefaling frem for en erklæret hård grænse for inputlængden.

Til en procedureforklaring skal handling og betingelse skrives i en sætning, som en lytter kan følge. Til en meddelelse skal den vigtige information placeres før valgfrie detaljer. Til et stemmesvar skal det faktuelle svar bevares, og formatering eller kildenotation, der kun er beregnet til visning og ikke skal siges, fjernes. Disse forberedelser gør selve manuskriptet egnet til lyd, før referencen bestemmer stilen.

Streaming, output og varighed

Producenten dokumenterer almindelig og streamet levering og beskriver indbygget generering af op til to minutters lyd. Kortet for de offentliggjorte vægte angiver også batchinferens til forberedelse af flere taleopgaver. Længere servicegenereringer bruger sammenfletning frem for at behandle én indbygget bid som ubegrænset. Til længere fortælling skal du forberede sammenhængende afsnit og holde deres stemme- og tekstforberedelse ensartet i forhold til den leveringsarbejdsgang, der håndterer fortsættelsen.

Udgivelseskortet angiver lyd ved 24 kHz og nævner outputformaterne WAV, PCM, FLAC, MP3, AAC og Opus. Taleservicevejledningen omtaler MP3 til komprimeret levering, WAV til ukomprimeret PCM, FLAC til tabsfri komprimering og PCM eller Opus til streaming. Vælg et format, som den tilsluttede arbejdsgang understøtter, og som passer til dens afspiller eller behandlingstrin. Formatvalg og streamingadfærd er adskilt fra selve stemmetilpasningen.

Modelarkitektur og praktiske grænser

Annonceringen beskriver en autoregressiv flow-matching-arkitektur med en Transformer-dekoder som grundstruktur på 3.4B, en akustisk Transformer med 390 millioner parametre og et neuralt lydcodec med 300 millioner parametre. Dekoderen forudsiger semantisk indhold, og den akustiske komponent producerer talerepræsentationen, mens codec'et håndterer lyd. Komponenterne forklarer den omtrentlige 4B-modelbetegnelse; de er ikke ekstra inputsprog eller en anden model til svargenerering.

Et praktisk output er den syntetiserede optagelse eller lydstrøm knyttet til det forberedte manuskript og den valgte stemme. Bevar disse forbindelser, når flere afsnit genereres, så applikationen kan gemme, afspille eller samle det korrekte materiale. Modellen producerer lyd frem for en transskription, en semantisk søgevektor eller et nyforfattet faktuelt svar.

Bevar taleudgaven 2603, det understøttede sprog og referencestilen. De læste kilder giver udsagnet om indbygget generering på to minutter og anbefalingen om forberedelse under 300 ord, men fastslår ikke en særskilt hård maksimal grænse for teksttegn eller samlet længde af en sammenklippet optagelse. Brug de faktiske krav til tekst, stemme og levering til at definere den færdige lydleverance.