NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B est le modèle de reconnaissance vocale de NVIDIA à 600 millions de paramètres pour la transcription en direct et le traitement d’enregistrements audio. Il étend la gamme anglophone de traitement en flux en y ajoutant un conditionnement par identifiant de langue. La parole devient du texte dans la langue d’entrée, avec ponctuation et majuscules intégrées à la sortie.

La couverture linguistique du fabricant comporte trois niveaux. Dix-neuf variantes prêtes à transcrire couvrent l’anglais des États-Unis et du Royaume-Uni, l’espagnol des États-Unis et d’Espagne, le français de France et du Canada, l’italien, le portugais du Brésil et du Portugal, le néerlandais, l’allemand, le turc, le russe, l’arabe, l’hindi, le japonais, le coréen, le vietnamien et l’ukrainien. Treize variantes à couverture étendue ajoutent le polonais, le suédois, le tchèque, le norvégien bokmål, le danois, le bulgare, le finnois, le croate, le slovaque, le mandarin, le hongrois, le roumain et l’estonien. Ensemble, ces 32 variantes produisent des transcriptions sans affinage supplémentaire.

Huit variantes prêtes à être adaptées — grec, lituanien, letton, maltais, slovène, hébreu, thaï et norvégien nynorsk — sont reconnues par le tokenizer, mais nécessitent un affinage sur des données du domaine pour permettre une transcription complète. Le chiffre de 40 variantes du producteur ne signifie donc pas que les quarante offrent la même capacité dès leur mise en service. Un point de contrôle personnalisé constitue un livrable distinct du modèle de base.

L’architecture associe un encodeur FastConformer à 24 couches tenant compte du cache à un décodeur RNN-T. Elle conserve les états d’attention et de convolution de l’encodeur issus des trames antérieures et traite chaque nouveau bloc audio sans recalculer sans cesse les fenêtres qui se chevauchent. Un signal d’identifiant de langue est fourni avec la représentation acoustique pour conditionner la transcription ou laisser le modèle déduire la langue.

La configuration NeMo de NVIDIA documente des blocs de 80, 160, 320, 560 et 1120 millisecondes. Le réglage d’attention détermine la quantité d’audio futur reçue par un bloc avant l’émission de texte, ce qui permet d’équilibrer le temps d’attente et le contexte acoustique selon la tâche. Ce sont des configurations de traitement en flux du producteur, pas des temps de réponse de bout en bout garantis ; une implémentation peut n’en proposer qu’un sous-ensemble.

Préparez de l’audio WAV mono à la fréquence d’échantillonnage de 16 kHz du processeur du producteur. Lorsque la langue est connue, utilisez le conditionnement correspondant à sa variante ; le mode automatique détecte la langue parlée. L’exemple de pipeline de base utilise par défaut une consigne en anglais des États-Unis ; configurez donc explicitement le comportement multilingue plutôt que de le supposer à partir de cet exemple.

En mode automatique, la procédure du producteur peut ajouter une étiquette de langue après la ponctuation finale de la transcription. Conserver cette étiquette rend la langue disponible pour une application traitant du trafic multilingue ; la supprimer restitue un texte de transcription épuré. Préservez la distinction entre les mots reconnus, leur ponctuation et ces métadonnées de langue lorsque vous affichez ou traitez le résultat.

Une application de sous-titrage peut fournir l’audio dans l’ordre, recueillir la transcription et utiliser le texte finalisé pour l’affichage ou un traitement en aval. Une application vocale peut transmettre la parole reconnue à son étape de compréhension du langage. L’analyse d’appels peut conserver ensemble l’enregistrement original et sa transcription pour permettre l’examen des noms, des nombres et des termes peu familiers. Le modèle ASR fournit la transcription ; le résumé, les actions et la génération de parole sont des étapes distinctes de l’application.

NVIDIA entraîne le modèle sur un mélange de données vocales publiques et propriétaires, avec des étiquettes humaines et synthétiques normalisées en texte ponctué avec une casse correcte. Son guide d’adaptation insiste sur la concordance des étiquettes de langue et du style du texte, puis sur l’évaluation d’enregistrements réservés à cet usage avec le réglage de flux prévu. Il décrit l’adaptation à une langue, à un accent et à un domaine sans attribuer ces résultats personnalisés au point de contrôle d’origine.

La fiche du modèle lie la longueur pratique d’un enregistrement à la mémoire disponible, plutôt que de publier une durée maximale universelle. Distinguez l’édition multilingue du modèle limité à l’anglais et conservez la langue choisie ainsi que la configuration de flux avec le résultat de transcription. Le livrable est le texte reconnu, avec éventuellement les métadonnées de langue du producteur, plutôt qu’une réponse conversationnelle générale.