NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschließlich englischsprachige Modell v2 auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen gesonderten Sprach-Prompt. Das Ergebnis ist ein Transkript der gesprochenen Sprache mit Zeichensetzung und Groß- und Kleinschreibung.

Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gilt für die Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind eigenständige Modelle.

Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Text-Tokens zusammen mit den Dauern voraus, die zum Fortschreiten durch die Audioframes benötigt werden. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und gewöhnlichen RNN-T-Decodern der Modellfamilie.

Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC; seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Kennung der Aufnahme und das ursprüngliche Audio gemeinsam mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder mit der Quelle abgleichen lässt.

Zeitstempel ergänzen die erkannte Sprache um Zeitinformationen. NVIDIAs NeMo-Beispiel liefert bei aktivierter Zeitstempelerzeugung Zeitangaben für Zeichen, Wörter und Segmente zurück. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen nutzen, um eine Passage mit der Aufnahme zu verknüpfen, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.

Bei langen Aufnahmen ist die Attention-Konfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Attention auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Attention. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Attention mit begrenztem linken und rechten Kontext um. Diese Dauern beschreiben bestimmte Herstellerkonfigurationen und sind keine uneingeschränkte Grenze für jede Bereitstellung.

Der Hersteller veröffentlicht außerdem einen Ablauf für abschnittsweise Inferenz im Streaming-Einsatz. Das Beispiel legt die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt fest. Dies ist ein anderes Verarbeitungsverfahren als beim nativen, cache-bewussten Nemotron-Streaming-Modell. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme aus mehreren Abschnitten zusammensetzt.

Die Trainingsmischung enthält 10.000 Stunden von Menschen transkribierter Sprache und 660.000 Stunden Granary-Daten mit Pseudolabels, unter Beibehaltung von Zeichensetzung und Groß- und Kleinschreibung. Der Hersteller unterstützt über seinen dokumentierten Modellablauf auch die Feinabstimmung dieses veröffentlichten Checkpoints mit einem anderen Sprachdatensatz; der angepasste Checkpoint bleibt vom Basismodell v3 getrennt. Die Textausgabe des Modells eignet sich somit als Spracherkennungsstufe eines umfassenderen Ablaufs. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung die erkannte Passage indexieren und ein Untertitelwerkzeug die zurückgegebenen Zeitmetadaten verwenden.

Die Erkennungsqualität variiert je nach Sprache, Akzent, Geräuschen und Art der Sprache. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und einzelne Wörter oder unvollständige Sätze weniger Kontext liefern. Bewahren Sie das ursprüngliche Audio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung zu einer bestätigten Tatsache zu machen.

Das nützliche Ergebnis ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind eigenständige Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung als Spracherkennungsmodell ergeben. Halten Sie die Identität von v3 und den Attention-Modus des Herstellers von anderen Checkpoints sowie konvertierten oder quantisierten Artefakten getrennt.