Mistral: Voxtral Mini TTS

Voxtral TTS es el modelo de conversión de texto a voz de 4B de Mistral AI para generar audio hablado a partir de texto y una referencia de voz. La página del modelo del fabricante identifica la edición 2603 como voxtral-mini-tts-2603, mientras que la ficha de los pesos publicados se denomina Voxtral 4B TTS 2603. Esta entrada corresponde a esa versión de generación de voz, distinta de Voxtral Small para comprensión de audio, transcripción y modelos posteriores de entrada en tiempo real.

Voz expresiva y adaptación de voz

El modelo está diseñado para captar las pausas, el ritmo, la entonación, el acento y la expresión emocional de una voz de referencia. La voz actúa como una instrucción sobre cómo debe sonar el texto; la presentación del fabricante no exige etiquetas independientes de prosodia o emoción ni una transcripción de la grabación de referencia. El texto de origen determina lo que se dice, mientras que la referencia de audio orienta la interpretación.

La presentación describe la adaptación de una voz con tan solo dos o tres segundos de audio. La descripción de la arquitectura habla de referencias de voz de cinco a veinticinco segundos. Esas afirmaciones tienen alcances diferentes: un ejemplo de adaptación breve no obliga a utilizar la referencia más corta posible. Elija voz clara que represente el estilo y el acento deseados para el resultado final.

La ficha publicada incluye veinte voces predefinidas y adaptación a voces nuevas. El flujo de voz del fabricante puede utilizar un perfil de voz guardado o un clip de referencia de un solo uso. Guardar un perfil permite reutilizar la misma referencia de voz en solicitudes de voz independientes, mientras que un clip de un solo uso la proporciona para la tarea actual. Un perfil y una grabación generada son recursos diferentes.

Idiomas y locución entre idiomas

La versión admite inglés, francés, español, alemán, italiano, portugués, neerlandés, árabe e hindi, con variación dialectal, transferencia de voz entre idiomas y mezcla de idiomas descritas por el fabricante. Para obtener el mejor resultado, la guía de voz recomienda que el idioma de la referencia coincida con el del texto. La transferencia entre idiomas puede conservar el acento de la referencia al pronunciar el texto preparado en otro idioma compatible.

Una tarea práctica de narración puede utilizar el mismo estilo de voz para una explicación en distintos idiomas compatibles, con cada texto preparado para su oyente previsto. La respuesta de un asistente de voz puede utilizar un guion breve y conversacional, en lugar de leer en voz alta un documento sin editar. El modelo de conversión de texto a voz pronuncia las palabras preparadas; cualquier fase de traducción o redacción de respuestas que produzca esas palabras es un paso independiente.

Preparación del texto

La guía de voz del fabricante recomienda texto que pueda verbalizarse. Escriba los números y los símbolos tal como deban pronunciarse para que el modelo no tenga que elegir entre distintas lecturas. Un número puede ser una cantidad, una hora o un identificador; defina la redacción oral prevista antes de la síntesis. Desarrolle las abreviaturas cuando importe la pronunciación y utilice letras separadas cuando esa sea la lectura deseada.

Evite formato enriquecido, emojis y caracteres especiales que no vayan a reproducirse como contenido hablado. Prepare oraciones completas con la puntuación y las palabras necesarias para la interpretación. La guía recomienda entradas de menos de 300 palabras para obtener mejores resultados. Es una recomendación de calidad, no una longitud máxima de entrada declarada como límite estricto.

Para una explicación de un procedimiento, escriba la acción y la condición en una frase que el oyente pueda seguir. Para un anuncio, coloque la información importante antes de los detalles opcionales. Para una respuesta de voz, conserve la respuesta factual y elimine el formato exclusivo de pantalla o las anotaciones de fuentes que no deban pronunciarse. Estos preparativos hacen que el propio guion sea adecuado para audio antes de que la referencia determine su estilo.

Streaming, salida y duración

El fabricante documenta entrega básica y en streaming y describe la generación nativa de hasta dos minutos de audio. La ficha de los pesos publicados también incluye inferencia por lotes para preparar varias tareas de voz. Las generaciones más largas del servicio utilizan intercalado, en lugar de tratar un bloque nativo como ilimitado. Para narraciones más largas, prepare secciones coherentes y mantenga constantes la voz y la preparación del texto de acuerdo con el flujo de entrega que gestiona la continuación.

La ficha publicada especifica audio de 24 kHz y enumera los formatos de salida WAV, PCM, FLAC, MP3, AAC y Opus. La guía del servicio de voz trata MP3 para entrega comprimida, WAV para PCM sin comprimir, FLAC para compresión sin pérdida y PCM u Opus para streaming. Elija un formato admitido por el flujo conectado y adecuado para su reproductor o fase de procesamiento. La selección del formato y el comportamiento del streaming son distintos de la propia adaptación de voz.

Arquitectura del modelo y límites prácticos

El anuncio describe una arquitectura autorregresiva de flow matching con una base de decodificador Transformer de 3.4B, un Transformer acústico de 390 millones de parámetros y un códec de audio neuronal de 300 millones de parámetros. El decodificador predice el contenido semántico y el componente acústico produce la representación del habla, mientras que el códec se encarga del audio. Estos componentes explican la denominación aproximada de modelo de 4B; no son idiomas de entrada adicionales ni un modelo distinto de generación de respuestas.

Una salida práctica es la grabación sintetizada o el flujo de audio asociado a su guion preparado y a la voz elegida. Conserve esas asociaciones al generar varias secciones para que la aplicación pueda guardar, reproducir o ensamblar el material correcto. El modelo produce audio, en lugar de una transcripción, un vector de búsqueda semántica o una respuesta factual recién redactada.

Conserve la edición de voz 2603, el idioma compatible y el estilo de referencia. Las fuentes consultadas aportan la afirmación de dos minutos nativos y la recomendación de preparar menos de 300 palabras, pero no establecen un límite estricto independiente de caracteres de texto ni de duración total de una grabación ensamblada. Utilice los requisitos reales de texto, voz y entrega para definir el recurso de audio terminado.