NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B es el modelo de reconocimiento de voz de NVIDIA, con 600 millones de parámetros, para transcripción en vivo y cargas de trabajo con audio grabado. Amplía la línea de streaming en inglés con condicionamiento mediante un identificador de idioma. El habla se convierte en texto en el idioma de entrada, con puntuación y uso de mayúsculas integrados en la salida.

La cobertura lingüística del fabricante tiene tres niveles. Diecinueve variantes regionales listas para transcribir abarcan inglés de Estados Unidos y Reino Unido, español de Estados Unidos y España, francés de Francia y Canadá, italiano, portugués de Brasil y Portugal, neerlandés, alemán, turco, ruso, árabe, hindi, japonés, coreano, vietnamita y ucraniano. Trece variantes de cobertura amplia añaden polaco, sueco, checo, noruego bokmål, danés, búlgaro, finés, croata, eslovaco, mandarín, húngaro, rumano y estonio. En conjunto, estas 32 variantes producen transcripciones sin ajuste fino adicional.

Ocho variantes preparadas para la adaptación —griego, lituano, letón, maltés, esloveno, hebreo, tailandés y noruego nynorsk— son reconocidas por el tokenizador, pero requieren ajuste fino con datos del dominio para permitir la transcripción completa. Por tanto, la cifra de 40 variantes del fabricante no implica que las cuarenta tengan la misma capacidad de uso inmediato. Un checkpoint personalizado es un resultado distinto del modelo de base.

La arquitectura combina un codificador FastConformer de 24 capas que conserva estados en caché con un decodificador RNN-T. Mantiene los estados de atención y convolución del codificador de las tramas anteriores y procesa cada nuevo fragmento de audio sin recalcular repetidamente las ventanas superpuestas. Se proporciona una señal de identificación de idioma junto a la representación acústica para condicionar la transcripción o dejar que el modelo infiera el idioma.

La configuración de NeMo de NVIDIA documenta tamaños de fragmento de 80, 160, 320, 560 y 1120 milisegundos. El ajuste de atención controla cuánto audio futuro recibe un fragmento antes de emitir texto, lo que permite equilibrar el tiempo de espera y el contexto acústico de una tarea. Son configuraciones de streaming del fabricante, no tiempos de respuesta garantizados de extremo a extremo; una implementación puede exponer su propio subconjunto compatible.

Prepara audio WAV mono a la frecuencia de muestreo de 16 kHz del procesador del fabricante. Cuando se conozca el idioma, utiliza el condicionamiento de la variante regional correspondiente; el modo automático detecta el idioma hablado. El ejemplo básico del flujo de procesamiento utiliza de forma predeterminada una instrucción para inglés de Estados Unidos, por lo que el comportamiento multilingüe debe configurarse de manera deliberada en lugar de darlo por supuesto a partir de ese ejemplo.

En modo automático, el flujo de trabajo del fabricante puede añadir una etiqueta de idioma después del signo de puntuación final de la transcripción. Conservar la etiqueta permite que una aplicación que gestiona tráfico multilingüe disponga del idioma; eliminarla devuelve el texto limpio de la transcripción. Mantén la distinción entre las palabras reconocidas, su puntuación y estos metadatos de idioma al mostrar o procesar el resultado.

Una aplicación de subtitulado puede enviar el audio en orden, reunir la transcripción y utilizar el texto completado para mostrarlo o procesarlo en etapas posteriores. Una aplicación de voz puede enviar el habla reconocida a su etapa de comprensión del lenguaje. El análisis de llamadas puede conservar juntos la grabación original y la transcripción para que los nombres, números y términos desconocidos sigan siendo revisables. El modelo ASR proporciona la transcripción; el resumen, las acciones y la generación de voz son etapas separadas de la aplicación.

NVIDIA entrena el modelo con una mezcla de datos de voz públicos y propios, con etiquetas humanas y sintéticas normalizadas a texto con puntuación y uso correcto de mayúsculas. Su guía de adaptación destaca la importancia de hacer coincidir las etiquetas de idioma y el estilo del texto, y después evaluar audio reservado para evaluación con la configuración de streaming prevista para el uso. Describe la adaptación al idioma, al acento y al dominio sin atribuir esos resultados personalizados al checkpoint original.

La ficha del modelo vincula la duración práctica de la grabación a la memoria disponible, en lugar de publicar un único límite universal de duración. Mantén la edición multilingüe diferenciada del modelo exclusivo de inglés y conserva el idioma y la configuración de streaming seleccionados junto al resultado de la transcripción. El resultado es el texto reconocido, con metadatos opcionales de idioma del fabricante, en lugar de una respuesta conversacional general.