NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 es el modelo multilingüe de reconocimiento de voz de NVIDIA, con 600 millones de parámetros. Amplía el modelo v2, limitado al inglés, a 25 lenguas europeas y detecta automáticamente el idioma del audio sin una instrucción de idioma aparte. El resultado es una transcripción del habla, con puntuación y uso de mayúsculas.

Los idiomas compatibles son búlgaro, croata, checo, danés, neerlandés, inglés, estonio, finés, francés, alemán, griego, húngaro, italiano, letón, lituano, maltés, polaco, portugués, rumano, eslovaco, esloveno, español, sueco, ruso y ucraniano. Esta lista corresponde a la edición v3; los demás tipos de decodificador y variantes lingüísticas de Parakeet son modelos distintos.

La arquitectura combina un codificador FastConformer con un decodificador transductor de tokens y duración. El codificador transforma la señal acústica en representaciones; el decodificador predice tokens de texto junto con las duraciones necesarias para avanzar por las tramas de audio. Este comportamiento TDT lo distingue de los decodificadores CTC y RNN-T convencionales de la familia.

Prepara audio de un solo canal muestreado a 16 kHz. Los formatos de entrada directa del fabricante son WAV y FLAC, y sus ejemplos de implementación utilizan un procesador para preparar la forma de onda para el reconocimiento. Conserva el identificador de la grabación y el audio original junto al texto devuelto para poder comprobar la transcripción o alinearla con la fuente.

Las marcas de tiempo añaden información temporal al habla reconocida. El ejemplo de NeMo de NVIDIA devuelve tiempos por carácter, palabra y segmento cuando se activa su generación. Una aplicación de subtitulado o archivo puede utilizar los límites de los segmentos para vincular un pasaje con la grabación, o los tiempos por palabra para localizar una frase concreta. La transcripción y sus campos temporales son partes distintas del resultado y deben permanecer asociadas.

Para las grabaciones largas, la configuración de atención es relevante. El fabricante describe hasta 24 minutos con atención completa en una A100 de 80 GB y hasta tres horas con atención local. Su ejemplo para audio largo cambia el codificador a atención local con un contexto izquierdo y derecho acotado. Esas duraciones describen configuraciones concretas del fabricante, en lugar de un límite incondicional para cualquier despliegue.

El fabricante también publica un flujo de inferencia por fragmentos para su uso en streaming. Su ejemplo define la longitud del fragmento y el contexto de audio izquierdo y derecho que rodea a cada uno. Es un procedimiento de procesamiento distinto del modelo Nemotron de streaming nativo que conserva estados en caché. Una aplicación debe conservar el procedimiento elegido y la referencia temporal original al reunir la transcripción de una grabación a partir de sus secciones.

La mezcla de entrenamiento incluye 10,000 horas de voz transcrita por personas y 660,000 horas de datos Granary con pseudoetiquetas, manteniendo la puntuación y las mayúsculas. El fabricante también permite ajustar este checkpoint publicado con otro conjunto de datos de voz mediante su flujo de trabajo documentado para modelos; el checkpoint ajustado sigue siendo distinto del modelo v3 de base. Por tanto, la salida de texto del modelo resulta adecuada como etapa de voz a texto de un flujo de trabajo más amplio. Un archivo de reuniones puede adjuntar la transcripción a la grabación; una aplicación de búsqueda puede indexar el pasaje reconocido; una herramienta de subtitulado puede utilizar los metadatos temporales devueltos.

La calidad del reconocimiento varía según el idioma, el acento, el ruido y el tipo de habla. El fabricante señala expresamente que puede omitirse vocabulario que no estuviera representado durante el entrenamiento y que las palabras aisladas o las frases incompletas aportan menos contexto. Conserva el audio original para revisar nombres y términos especializados, en lugar de convertir un reconocimiento incierto en un hecho verificado.

El resultado útil es la transcripción con la información temporal solicitada. Los resúmenes, las traducciones, el análisis de hablantes y las acciones son tareas separadas de la aplicación, no funciones implícitas en el nombre voz a texto. Mantén diferenciadas la identidad v3 y el modo de atención del fabricante frente a otros checkpoints y a los archivos de modelos convertidos o cuantizados.