Mistral: Voxtral Mini TTS

Voxtral TTS is het tekst-naar-spraakmodel van Mistral AI met 4 miljard parameters voor het genereren van gesproken audio uit tekst en een stemreferentie. De modelpagina van de maker identificeert de 2603-versie als voxtral-mini-tts-2603, terwijl de gepubliceerde kaart van de modelgewichten Voxtral 4B TTS 2603 heet. Deze vermelding betreft die spraakgeneratierelease en staat los van audiobegrip met Voxtral Small, transcriptie en latere modellen voor realtime-invoer.

Expressieve spraak en stemaanpassing

Het model is ontworpen om de pauzes, het ritme, de intonatie, het accent en de emotionele voordracht van een referentiestem vast te leggen. De stem fungeert als instructie voor hoe de tekst moet klinken; het overzicht van de maker vereist geen afzonderlijke prosodie- of emotietags of een transcript van de referentieopname. De brontekst bepaalt wat wordt gezegd, terwijl de audioreferentie de voordracht stuurt.

Het overzicht beschrijft stemaanpassing op basis van slechts twee tot drie seconden audio. De architectuurbeschrijving bespreekt stemprompts van vijf tot vijfentwintig seconden. Die uitspraken hebben verschillende reikwijdtes: een voorbeeld van korte aanpassing is geen vereiste om de kortst mogelijke referentie te gebruiken. Kies heldere spraak die de gewenste stijl en het gewenste accent voor het uiteindelijke resultaat vertegenwoordigt.

De gepubliceerde kaart omvat twintig vooraf ingestelde stemmen en aanpassing aan nieuwe stemmen. De spraakworkflow van de maker kan een opgeslagen stemprofiel of een eenmalige referentieclip gebruiken. Met een opgeslagen profiel kan dezelfde stemreferentie in afzonderlijke spraakverzoeken worden hergebruikt, terwijl een eenmalige clip de referentie voor de huidige taak levert. Een profiel en een gegenereerde opname zijn verschillende artefacten.

Talen en taaloverschrijdende voordracht

De release ondersteunt Engels, Frans, Spaans, Duits, Italiaans, Portugees, Nederlands, Arabisch en Hindi, waarbij de maker dialectvariatie, stemoverdracht tussen talen en het mengen van talen beschrijft. Voor het beste resultaat beveelt de spraakgids aan de taal van de referentie te laten overeenkomen met de taal van de tekst. Overdracht tussen talen kan het accent van de referentie behouden terwijl de voorbereide tekst in een andere ondersteunde taal wordt uitgesproken.

Een praktische taak voor vertelteksten kan dezelfde stemstijl gebruiken voor een uitleg in verschillende ondersteunde talen, waarbij elke tekst voor de bedoelde luisteraar is voorbereid. Een antwoord van een stemassistent kan een kort script in spreektaal gebruiken in plaats van een onbewerkt document voor te lezen. Het tekst-naar-spraakmodel spreekt de voorbereide woorden uit; een vertaal- of antwoordschrijfstap die die woorden produceert is een afzonderlijke stap.

De tekst voorbereiden

De spraakgids van de maker beveelt uitspreekbare tekst aan. Schrijf getallen en symbolen in de vorm die moet worden uitgesproken zodat het model niet tussen mogelijke lezingen hoeft te kiezen. Een getal kan een hoeveelheid, tijd of identificatiecode zijn; leg de bedoelde gesproken formulering vóór de synthese vast. Schrijf afkortingen voluit wanneer uitspraak belangrijk is en gebruik losse letters wanneer dat de bedoelde lezing is.

Vermijd rijke opmaak, emoji's en speciale tekens die niet als gesproken inhoud worden weergegeven. Bereid volledige zinnen voor met de leestekens en formulering die de voordracht nodig heeft. De gids beveelt voor de beste resultaten prompts van minder dan 300 woorden aan. Dit is een kwaliteitsaanbeveling en geen vastgelegde harde maximale invoerlengte.

Schrijf voor een procedurele uitleg de actie en de voorwaarde in een zin die een luisteraar kan volgen. Plaats bij een aankondiging de belangrijke informatie vóór optionele details. Behoud voor een gesproken antwoord het feitelijke antwoord en verwijder opmaak die alleen voor weergave dient of bronnotatie die niet moet worden uitgesproken. Deze voorbereidingen maken het script zelf geschikt voor audio voordat de referentie de stijl bepaalt.

Streaming, uitvoer en duur

De maker beschrijft gewone en gestreamde levering en native generatie van maximaal twee minuten audio. De gepubliceerde kaart van de modelgewichten vermeldt ook batchinferentie voor het voorbereiden van meerdere spraaktaken. Langere generaties via de dienst gebruiken interleaving, in plaats van één native deel als onbeperkt te behandelen. Bereid voor langere vertelteksten samenhangende onderdelen voor en houd de stem- en tekstvoorbereiding consistent met de leveringsworkflow die het vervolg afhandelt.

De gepubliceerde kaart specificeert audio op 24 kHz en noemt WAV, PCM, FLAC, MP3, AAC en Opus als uitvoerformaten. De gids voor de spraakdienst bespreekt MP3 voor gecomprimeerde levering, WAV voor ongecomprimeerde PCM, FLAC voor verliesvrije compressie en PCM of Opus voor streaming. Kies een formaat dat door de aangesloten workflow wordt ondersteund en past bij de speler of verwerkingsstap. Formaatselectie en streaminggedrag staan los van de stemaanpassing zelf.

Modelarchitectuur en praktische grenzen

De aankondiging beschrijft een autoregressieve flow-matching-architectuur met een Transformer-decoder als basis met 3,4 miljard parameters, een akoestische Transformer met 390 miljoen parameters en een neurale audiocodec met 300 miljoen parameters. De decoder voorspelt semantische inhoud en het akoestische onderdeel produceert de spraakrepresentatie, terwijl de codec de audio afhandelt. Deze onderdelen verklaren de benaderende modelaanduiding 4B; het zijn geen extra invoertalen of een ander model voor het genereren van antwoorden.

Een praktisch resultaat is de gesynthetiseerde opname of audiostream die is gekoppeld aan het voorbereide script en de gekozen stem. Behoud die koppelingen wanneer u meerdere onderdelen genereert zodat de toepassing het juiste materiaal kan opslaan, afspelen of samenstellen. Het model produceert audio in plaats van een transcript, vector voor semantisch zoeken of nieuw geschreven feitelijk antwoord.

Behoud de 2603-spraakversie, de ondersteunde taal en de referentiestijl. De gelezen bronnen leveren de uitspraak over een native duur van twee minuten en de aanbeveling om minder dan 300 woorden voor te bereiden, maar leggen geen afzonderlijke harde maximumlimiet voor teksttekens of totale duur van een samengevoegde opname vast. Gebruik de concrete tekst-, stem- en leveringseisen om het uiteindelijke audiobestand te definiëren.