NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschließlich englischsprachige Modell v2 auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen gesonderten Sprach-Prompt zu benötigen. Das Ergebnis ist ein Transkript der gesprochenen Sprache mit Zeichensetzung und Groß- und Kleinschreibung.

Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gilt für die Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind eigenständige Modelle.

Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-und-Dauer-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Text-Token zusammen mit den Zeitdauern voraus, die zum Weiterschalten durch die Audio-Frames erforderlich sind. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und gewöhnlichen RNN-T-Decodern der Familie.

Bereiten Sie einkanalige Audioaufnahmen mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC; seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Aufnahme-ID und das Originalaudio zusammen mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder an der Quelle ausrichten lässt.

Zeitstempel ergänzen die erkannte Sprache um zeitliche Angaben. NVIDIAs NeMo-Beispiel liefert Zeitangaben für Zeichen, Wörter und Segmente, wenn die Erzeugung von Zeitstempeln aktiviert ist. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen nutzen, um eine Passage mit der Aufnahme zu verknüpfen, oder Wortzeitstempel, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitangaben sind unterschiedliche Bestandteile des Ergebnisses und sollten miteinander verbunden bleiben.

Bei langen Aufnahmen ist die Attention-Konfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Attention auf einer A100 mit 80 GB sowie bis zu drei Stunden mit lokaler Attention. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Attention mit begrenztem linken und rechten Kontext um. Diese Zeitdauern beschreiben bestimmte Herstellerkonfigurationen und sind kein uneingeschränkt geltendes Limit für jede Bereitstellung.

Der Hersteller veröffentlicht außerdem einen Workflow für segmentweise Inferenz im Streaming-Einsatz. Sein Beispiel legt die Segmentlänge sowie den linken und rechten Audiokontext um jedes Segment fest. Dieses Verarbeitungsrezept unterscheidet sich vom nativen, Cache-bewussten Nemotron-Streaming-Modell. Eine Anwendung sollte das gewählte Rezept und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme aus mehreren Abschnitten zusammensetzt.

Der Trainingsmix umfasst 10.000 Stunden von Menschen transkribierter Sprache und 660.000 Stunden pseudoannotierter Granary-Daten, wobei Zeichensetzung sowie Groß- und Kleinschreibung erhalten bleiben. Der Hersteller unterstützt außerdem die Feinabstimmung dieses veröffentlichten Checkpoints auf einem anderen Sprachdatensatz über seinen dokumentierten Modell-Workflow; der feinabgestimmte Checkpoint bleibt vom Basismodell v3 getrennt. Die Textausgabe des Modells eignet sich damit als Speech-to-Text-Stufe eines größeren Workflows. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen; eine Suchanwendung kann die erkannte Passage indexieren; ein Untertitelwerkzeug kann die zurückgegebenen Zeitmetadaten nutzen.

Die Erkennungsqualität variiert mit Sprache, Akzent, Hintergrundgeräuschen und Art der Sprache. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und dass einzelne Wörter oder unvollständige Sätze weniger Kontext bieten. Bewahren Sie das Originalaudio zur Prüfung von Namen und Fachbegriffen auf, statt eine unsichere Erkennung als bestätigte Tatsache zu behandeln.

Das nutzbare Artefakt ist das Transkript mit den angeforderten Zeitangaben. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind eigenständige Aufgaben der Anwendung und keine durch die Bezeichnung Speech-to-Text implizierten Funktionen. Halten Sie die Identität von v3 und den Attention-Modus des Herstellers von anderen Checkpoints sowie von konvertierten oder quantisierten Artefakten getrennt.