Mistral: Voxtral Mini TTS

Voxtral TTS est le modèle 4B de synthèse vocale de Mistral AI pour générer de l’audio parlé à partir de texte et d’une référence vocale. La page de modèle du fabricant identifie l’édition 2603 comme voxtral-mini-tts-2603, tandis que la fiche des poids publiés est nommée Voxtral 4B TTS 2603. Cette entrée concerne cette publication de génération vocale, distincte de la compréhension audio Voxtral Small, de la transcription et des modèles ultérieurs d’entrée en temps réel.

Parole expressive et adaptation vocale

Le modèle est conçu pour capturer les pauses, le rythme, l’intonation, l’accent et le rendu émotionnel d’une voix de référence. La voix agit comme une instruction sur la manière dont le texte doit sonner ; la présentation du fabricant n’exige pas de balises distinctes de prosodie ou d’émotion ni de transcription de l’enregistrement de référence. Le texte source détermine ce qui est dit, tandis que la référence audio guide l’interprétation.

La présentation décrit l’adaptation d’une voix à partir de seulement deux à trois secondes d’audio. La description d’architecture traite de références vocales de cinq à vingt-cinq secondes. Ces affirmations ont des périmètres différents : un exemple d’adaptation courte n’impose pas d’utiliser la référence la plus courte possible. Choisissez une parole claire représentative du style et de l’accent souhaités pour le résultat final.

La fiche publiée comprend vingt voix prédéfinies et l’adaptation à de nouvelles voix. Le processus vocal du fabricant peut utiliser un profil vocal enregistré ou un extrait ponctuel de référence. Sauvegarder un profil permet de réutiliser la même référence vocale entre plusieurs requêtes, tandis qu’un extrait ponctuel la fournit pour la tâche actuelle. Un profil et un enregistrement généré sont des artefacts différents.

Langues et interprétation entre langues

La publication prend en charge l’anglais, le français, l’espagnol, l’allemand, l’italien, le portugais, le néerlandais, l’arabe et l’hindi, avec des variantes dialectales, un transfert vocal entre langues et un mélange de langues décrits par le fabricant. Pour le meilleur résultat, le guide vocal recommande de faire correspondre la langue de la référence à celle du texte. Le transfert entre langues peut préserver l’accent de la référence tout en prononçant le texte préparé dans une autre langue prise en charge.

Une tâche concrète de narration peut utiliser le même style vocal pour une explication dans différentes langues prises en charge, chaque texte étant préparé pour l’auditeur visé. Une réponse d’assistant vocal peut utiliser un court script conversationnel, plutôt que de lire un document non retravaillé à voix haute. Le modèle de synthèse vocale restitue les mots préparés ; toute étape de traduction ou de rédaction de réponse produisant ces mots est distincte.

Préparer le texte

Le guide vocal du fabricant recommande un texte prononçable. Écrivez les nombres et les symboles sous la forme qui doit être prononcée afin que le modèle n’ait pas à choisir entre les lectures possibles. Un nombre peut être une quantité, une heure ou un identifiant ; définissez la formulation parlée visée avant la synthèse. Développez les abréviations lorsque la prononciation importe, avec des lettres séparées lorsque cette lecture est souhaitée.

Évitez la mise en forme riche, les emojis et les caractères spéciaux qui ne seront pas restitués comme du contenu parlé. Préparez des phrases complètes avec la ponctuation et la formulation nécessaires à l’interprétation. Le guide recommande des prompts de moins de 300 mots pour les meilleurs résultats. Il s’agit d’une recommandation de qualité, plutôt que d’une longueur maximale stricte déclarée d’entrée.

Pour une explication procédurale, écrivez l’action et la condition dans une phrase compréhensible à l’écoute. Pour une annonce, placez les informations importantes avant les détails facultatifs. Pour une réponse vocale, conservez la réponse factuelle et retirez la mise en forme réservée à l’affichage ou les références sources qui ne doivent pas être prononcées. Ces préparations rendent le script lui-même adapté à l’audio avant que la référence ne détermine son style.

Streaming, sortie et durée

Le fabricant documente la fourniture simple et en streaming et décrit une génération native allant jusqu’à deux minutes d’audio. La fiche des poids publiés répertorie aussi l’inférence par lots pour préparer plusieurs tâches vocales. Ses générations de service plus longues utilisent l’entrelacement, plutôt que de traiter un segment natif comme illimité. Pour une narration plus longue, préparez des sections cohérentes et gardez leur préparation vocale et textuelle alignée sur le processus de fourniture gérant la continuation.

La fiche publiée spécifie un audio à 24 kHz et cite les formats de sortie WAV, PCM, FLAC, MP3, AAC et Opus. Le guide du service vocal décrit MP3 pour la fourniture compressée, WAV pour le PCM non compressé, FLAC pour la compression sans perte et PCM ou Opus pour le streaming. Choisissez un format pris en charge par le processus connecté et adapté à son lecteur ou à son étape de traitement. Le choix de format et le comportement de streaming sont distincts de l’adaptation vocale elle-même.

Architecture du modèle et limites pratiques

L’annonce décrit une architecture autorégressive à flow matching avec une base de décodeur Transformer de 3,4 milliards de paramètres, un Transformer acoustique de 390 millions de paramètres et un codec audio neuronal de 300 millions de paramètres. Le décodeur prédit le contenu sémantique et le composant acoustique produit la représentation vocale, tandis que le codec gère l’audio. Ces composants expliquent l’étiquette approximative de modèle 4B ; ce ne sont pas des langues d’entrée supplémentaires ni un autre modèle de génération de réponses.

Une sortie concrète est l’enregistrement synthétisé ou le flux audio associé à son script préparé et à la voix choisie. Gardez ces associations lorsque vous générez plusieurs sections afin que l’application puisse sauvegarder, lire ou assembler les bons matériaux. Le modèle produit de l’audio, plutôt qu’une transcription, un vecteur de recherche sémantique ou une réponse factuelle nouvellement rédigée.

Préservez l’édition vocale 2603, la langue prise en charge et le style de référence. Les sources lues fournissent l’indication native de deux minutes et la recommandation de préparation de moins de 300 mots, mais n’établissent pas de limite maximale stricte distincte en caractères ni de durée totale d’enregistrement raccordé. Utilisez les exigences réelles de texte, de voix et de fourniture pour définir l’artefact audio terminé.