Mistral: Voxtral Mini TTS

Voxtral TTS es el modelo de texto a voz de 4B de Mistral AI para generar audio hablado a partir de texto y una referencia de voz. La página del fabricante identifica la edición 2603 como voxtral-mini-tts-2603, mientras que la ficha de pesos publicada se llama Voxtral 4B TTS 2603. Esta entrada trata de esa versión de generación de voz, distinta de Voxtral Small para comprensión de audio, transcripción y modelos posteriores de entrada en tiempo real.

Voz expresiva y adaptación de voz

El modelo está diseñado para captar pausas, ritmo, entonación, acento y expresión emocional de una voz de referencia. La voz indica cómo debe sonar el texto; la descripción general del fabricante no exige etiquetas separadas de prosodia o emoción ni una transcripción de la grabación de referencia. El texto fuente determina qué se dice y la referencia de audio orienta cómo se interpreta.

La descripción general explica la adaptación de una voz con apenas dos a tres segundos de audio. La descripción de arquitectura trata referencias de voz de cinco a veinticinco segundos. Son afirmaciones de alcances distintos: un ejemplo de adaptación breve no exige usar la referencia más corta posible. Elige voz clara que represente el estilo y acento deseados para el resultado.

La ficha publicada incluye veinte voces predefinidas y adaptación a voces nuevas. El flujo de voz del fabricante puede usar un perfil guardado o un clip de referencia de un solo uso. Guardar un perfil permite reutilizar la misma referencia en solicitudes de voz distintas, mientras que un clip de un solo uso la aporta para la tarea actual. Un perfil y una grabación generada son recursos diferentes.

Idiomas e interpretación entre idiomas

La versión admite inglés, francés, español, alemán, italiano, portugués, neerlandés, árabe e hindi, con variaciones dialectales, transferencia de voz entre idiomas y mezcla de idiomas descritas por el fabricante. Para obtener el mejor resultado, la guía recomienda que el idioma de la referencia coincida con el del texto. La transferencia entre idiomas puede conservar el acento de la referencia al pronunciar el texto preparado en otro idioma compatible.

Una tarea práctica de narración puede usar el mismo estilo de voz para explicar algo en distintos idiomas compatibles, con cada texto preparado para su público. Una respuesta de asistente de voz puede utilizar un guion breve y conversacional en vez de leer un documento sin editar. El modelo de texto a voz reproduce las palabras preparadas; cualquier traducción o redacción de respuestas que las produzca es una etapa separada.

Preparación del texto

La guía de voz del fabricante recomienda texto pronunciable. Escribe números y símbolos en la forma en que deben escucharse para que el modelo no tenga que elegir entre lecturas posibles. Un número puede ser cantidad, hora o identificador; define su redacción hablada antes de sintetizar. Desarrolla las abreviaturas cuando importe la pronunciación y separa las letras cuando esa sea la lectura prevista.

Evita formato enriquecido, emojis y caracteres especiales que no se reproducirán como contenido hablado. Prepara frases completas con la puntuación y redacción necesarias para la interpretación. La guía recomienda instrucciones de menos de 300 palabras para mejores resultados. Es una recomendación de calidad, no un máximo estricto declarado de longitud de entrada.

Para explicar un procedimiento, escribe la acción y la condición en una frase que pueda seguirse al escucharla. Para un anuncio, coloca la información importante antes del detalle opcional. Para una respuesta de voz, conserva la respuesta factual y elimina el formato exclusivo de pantalla o la notación de fuentes que no deba pronunciarse. Así, el guion queda adecuado para audio antes de que la referencia determine el estilo.

Streaming, salida y duración

El fabricante documenta entrega básica y en streaming, y describe generación nativa de hasta dos minutos de audio. La ficha de pesos también enumera inferencia por lotes para preparar varias tareas de voz. Las generaciones de servicio más largas utilizan intercalado, en vez de tratar un bloque nativo como ilimitado. Para narraciones largas, prepara secciones coherentes y mantén consistentes su voz y preparación textual con el flujo de entrega que gestiona la continuación.

La ficha publicada especifica audio de 24 kHz y enumera WAV, PCM, FLAC, MP3, AAC y Opus como formatos de salida. La guía del servicio trata MP3 para entrega comprimida, WAV para PCM sin comprimir, FLAC para compresión sin pérdida y PCM u Opus para streaming. Elige un formato compatible con el flujo conectado y adecuado para su reproductor o etapa de procesamiento. La elección de formato y el comportamiento en streaming son independientes de la adaptación de voz.

Arquitectura del modelo y límites prácticos

El anuncio describe una arquitectura autorregresiva con flow matching: una base de decodificador Transformer de 3.4B, un Transformer acústico de 390 millones de parámetros y un códec de audio neuronal de 300 millones. El decodificador predice contenido semántico y el componente acústico produce la representación de voz, mientras el códec gestiona el audio. Estos componentes explican la etiqueta aproximada de modelo de 4B; no son idiomas de entrada adicionales ni otro modelo de generación de respuestas.

Una salida práctica es la grabación sintetizada o el flujo de audio asociado a su guion preparado y voz elegida. Mantén esas asociaciones al generar varias secciones para que la aplicación guarde, reproduzca o ensamble el material correcto. El modelo produce audio, no una transcripción, vector de búsqueda semántica o respuesta factual de nueva redacción.

Conserva la edición de voz 2603, el idioma compatible y el estilo de referencia. Las fuentes consultadas aportan la afirmación de dos minutos nativos y la recomendación de preparación de menos de 300 palabras, pero no establecen un máximo estricto independiente de caracteres de texto ni de duración total de una grabación ensamblada. Usa los requisitos reales de texto, voz e interpretación para definir el recurso de audio terminado.