NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 est le modèle de reconnaissance vocale multilingue de NVIDIA à 600 millions de paramètres. Il étend le modèle v2, limité à l’anglais, à 25 langues européennes et détecte automatiquement la langue de l’audio sans consigne de langue séparée. Le résultat est une transcription de la parole, avec ponctuation et majuscules.

Les langues prises en charge sont le bulgare, le croate, le tchèque, le danois, le néerlandais, l’anglais, l’estonien, le finnois, le français, l’allemand, le grec, le hongrois, l’italien, le letton, le lituanien, le maltais, le polonais, le portugais, le roumain, le slovaque, le slovène, l’espagnol, le suédois, le russe et l’ukrainien. Cette liste appartient à l’édition v3 ; les autres types de décodeur et variantes linguistiques de Parakeet sont des modèles distincts.

L’architecture associe un encodeur FastConformer à un décodeur transducteur prédisant des tokens et leurs durées. L’encodeur transforme le signal acoustique en représentations ; le décodeur prédit les tokens textuels ainsi que les durées nécessaires pour avancer dans les trames audio. Ce fonctionnement TDT le distingue des décodeurs CTC et RNN-T classiques de la famille.

Préparez un audio monocanal échantillonné à 16 kHz. Les formats d’entrée directs du fabricant sont WAV et FLAC, et ses exemples d’implémentation utilisent un processeur pour préparer la forme d’onde à la reconnaissance. Conservez l’identifiant de l’enregistrement et l’audio original avec le texte renvoyé, afin de pouvoir vérifier une transcription ou l’aligner sur sa source.

L’horodatage ajoute des informations temporelles à la parole reconnue. L’exemple NeMo de NVIDIA renvoie les repères temporels des caractères, des mots et des segments lorsque la génération d’horodatages est activée. Une application de sous-titrage ou d’archivage peut utiliser les limites des segments pour relier un passage à l’enregistrement, ou les repères des mots pour retrouver une expression précise. La transcription et ses champs temporels sont des parties différentes du résultat et doivent rester associés.

Pour les enregistrements longs, la configuration d’attention est déterminante. Le fabricant décrit jusqu’à 24 minutes avec une attention complète sur un A100 de 80 Go, et jusqu’à trois heures avec une attention locale. Son exemple de traitement long fait passer l’encodeur en attention locale avec un contexte gauche et droit borné. Ces durées décrivent des configurations précises du producteur, plutôt qu’une limite inconditionnelle valable pour tous les déploiements.

Le fabricant publie également une procédure d’inférence par blocs pour le traitement en flux. Son exemple définit la longueur des blocs et le contexte audio à gauche et à droite de chacun. Cette méthode de traitement est distincte de celle du modèle Nemotron natif pour le flux, qui tient compte du cache. Une application doit conserver la méthode choisie et la référence temporelle d’origine lorsqu’elle rassemble la transcription d’un enregistrement à partir de plusieurs sections.

Le mélange d’entraînement comprend 10 000 heures de parole transcrite par des humains et 660 000 heures de données Granary pseudo-étiquetées, avec conservation de la ponctuation et des majuscules. Le producteur permet également d’affiner ce point de contrôle publié sur un autre jeu de données vocales, selon sa procédure documentée ; le point de contrôle affiné reste distinct du modèle v3 de base. La sortie textuelle du modèle convient donc à l’étape de transcription vocale d’une procédure plus large. Une archive de réunions peut joindre la transcription à l’enregistrement ; une application de recherche peut indexer le passage reconnu ; un outil de sous-titrage peut utiliser les métadonnées temporelles renvoyées.

La qualité de la reconnaissance varie selon la langue, l’accent, le bruit et le type de parole. Le producteur signale en particulier que du vocabulaire absent de l’entraînement peut ne pas être reconnu et que les mots isolés ou les phrases incomplètes apportent un contexte plus faible. Conservez l’audio original pour vérifier les noms et les termes spécialisés, au lieu de transformer une reconnaissance incertaine en fait vérifié.

Le livrable utile est la transcription accompagnée des informations temporelles demandées. Les résumés, les traductions, l’analyse des locuteurs et les actions sont des tâches distinctes de l’application, pas des fonctionnalités implicites du nom d’un modèle de transcription vocale. Conservez l’identité v3 et le mode d’attention du producteur en les distinguant des autres points de contrôle ainsi que des versions converties ou quantifiées.