NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 ist NVIDIAs mehrsprachiges Spracherkennungsmodell mit 600 Millionen Parametern. Es erweitert das ausschliesslich englische v2-Modell auf 25 europäische Sprachen und erkennt die Sprache der Audioaufnahme automatisch, ohne einen separaten Sprachprompt. Das Ergebnis ist ein Transkript des Gesprochenen mit Zeichensetzung sowie Gross- und Kleinschreibung.

Unterstützt werden Bulgarisch, Kroatisch, Tschechisch, Dänisch, Niederländisch, Englisch, Estnisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Lettisch, Litauisch, Maltesisch, Polnisch, Portugiesisch, Rumänisch, Slowakisch, Slowenisch, Spanisch, Schwedisch, Russisch und Ukrainisch. Diese Liste gehört zur Ausgabe v3; andere Parakeet-Decodertypen und Sprachvarianten sind separate Modelle.

Die Architektur kombiniert einen FastConformer-Encoder mit einem Token-and-Duration-Transducer-Decoder. Der Encoder wandelt das akustische Signal in Repräsentationen um; der Decoder sagt Texttokens zusammen mit den Zeitspannen voraus, die zum Fortschreiten durch die Audioframes erforderlich sind. Dieses TDT-Verhalten unterscheidet ihn von den CTC- und herkömmlichen RNN-T-Decodern der Familie.

Bereiten Sie einkanaliges Audio mit einer Abtastrate von 16 kHz vor. Die direkten Eingabeformate des Herstellers sind WAV und FLAC, und seine Implementierungsbeispiele verwenden einen Prozessor, um die Wellenform für die Erkennung vorzubereiten. Bewahren Sie die Aufnahme-ID und das ursprüngliche Audio zusammen mit dem zurückgegebenen Text auf, damit sich ein Transkript prüfen oder an der Quelle ausrichten lässt.

Zeitstempel ergänzen das erkannte Gesprochene um Zeitinformationen. NVIDIAs NeMo-Beispiel gibt Zeitangaben für Zeichen, Wörter und Segmente zurück, wenn die Erzeugung von Zeitstempeln aktiviert ist. Eine Untertitel- oder Archivanwendung kann Segmentgrenzen verwenden, um eine Passage mit der Aufnahme zu verbinden, oder Wortzeitangaben, um eine bestimmte Formulierung zu finden. Das Transkript und seine Zeitfelder sind unterschiedliche Bestandteile des Ergebnisses und sollten einander zugeordnet bleiben.

Bei langen Aufnahmen ist die Aufmerksamkeitskonfiguration entscheidend. Der Hersteller beschreibt bis zu 24 Minuten mit vollständiger Aufmerksamkeit auf einer A100 mit 80 GB und bis zu drei Stunden mit lokaler Aufmerksamkeit. Sein Beispiel für lange Aufnahmen stellt den Encoder auf lokale Aufmerksamkeit mit begrenztem linkem und rechtem Kontext um. Diese Zeitspannen beschreiben bestimmte Herstellerkonfigurationen und keine uneingeschränkte Grenze für jede Bereitstellung.

Der Hersteller veröffentlicht ausserdem einen Workflow für die Inferenz in Abschnitten zur Streaming-Nutzung. Sein Beispiel definiert die Abschnittslänge sowie den linken und rechten Audiokontext um jeden Abschnitt. Dies ist ein anderes Verarbeitungsverfahren als das des nativen cachefähigen Nemotron-Streaming-Modells. Eine Anwendung sollte das gewählte Verfahren und die ursprüngliche Zeitreferenz beibehalten, wenn sie das Transkript einer Aufnahme über mehrere Abschnitte hinweg zusammensetzt.

Der Trainingsmix umfasst 10’000 Stunden von Menschen transkribierter Sprache und 660’000 Stunden mit automatisch erzeugten Labels aus Granary-Daten, wobei Zeichensetzung sowie Gross- und Kleinschreibung erhalten bleiben. Der Hersteller unterstützt zudem das Fine-Tuning dieses veröffentlichten Checkpoints auf einem anderen Sprachdatensatz über seinen dokumentierten Modellworkflow; der angepasste Checkpoint bleibt vom v3-Basismodell getrennt. Die Textausgabe des Modells eignet sich damit als Speech-to-Text-Schritt in einem grösseren Workflow. Ein Besprechungsarchiv kann das Transkript an die Aufnahme anhängen, eine Suchanwendung kann die erkannte Passage indexieren, und ein Untertitelwerkzeug kann die zurückgegebenen Zeitmetadaten nutzen.

Die Erkennungsqualität hängt von Sprache, Akzent, Störgeräuschen und der Art des Gesprochenen ab. Der Hersteller weist ausdrücklich darauf hin, dass im Training nicht vertretenes Vokabular übersehen werden kann und dass einzelne Wörter oder unvollständige Sätze weniger Kontext bieten. Bewahren Sie das Originalaudio auf, um Namen und Fachbegriffe zu prüfen, statt eine unsichere Erkennung als bestätigte Tatsache zu behandeln.

Das nützliche Artefakt ist das Transkript mit den angeforderten Zeitinformationen. Zusammenfassungen, Übersetzungen, Sprecheranalysen und Aktionen sind separate Aufgaben der Anwendung und keine Funktionen, die sich aus der Bezeichnung Speech-to-Text ableiten lassen. Halten Sie die v3-Identität und den Aufmerksamkeitsmodus des Herstellers von anderen Checkpoints sowie von konvertierten oder quantisierten Artefakten getrennt.