NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B ist NVIDIAs Spracherkennungsmodell mit 600 Millionen Parametern für Live-Transkription und die Verarbeitung aufgezeichneter Audioaufnahmen. Es erweitert die englischsprachige Streaming-Linie um eine Konditionierung anhand einer Sprach-ID. Gesprochene Sprache wird zu Text in der Eingabesprache, wobei Zeichensetzung sowie Groß- und Kleinschreibung bereits in der Ausgabe enthalten sind.

Die Sprachabdeckung des Herstellers umfasst drei Stufen. Neunzehn transkriptionsbereite Sprachregionen decken Englisch aus den USA und dem Vereinigten Königreich, Spanisch aus den USA und Spanien, Französisch aus Frankreich und Kanada, Italienisch, Portugiesisch aus Brasilien und Portugal, Niederländisch, Deutsch, Türkisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch, Vietnamesisch und Ukrainisch ab. Dreizehn Sprachregionen mit breiter Abdeckung ergänzen Polnisch, Schwedisch, Tschechisch, Norwegisch Bokmål, Dänisch, Bulgarisch, Finnisch, Kroatisch, Slowakisch, Mandarin, Ungarisch, Rumänisch und Estnisch. Zusammen ermöglichen diese 32 Sprachregionen Transkriptionen ohne zusätzliche Feinabstimmung.

Acht anpassungsbereite Sprachregionen – Griechisch, Litauisch, Lettisch, Maltesisch, Slowenisch, Hebräisch, Thai und Norwegisch Nynorsk – werden vom Tokenizer erkannt, erfordern aber eine Feinabstimmung mit Daten aus dem Einsatzgebiet, um die vollständige Transkription zu ermöglichen. Die Angabe des Herstellers von 40 Sprachregionen bedeutet daher nicht, dass alle vierzig unmittelbar nach der Bereitstellung dieselben Fähigkeiten besitzen. Ein angepasster Checkpoint ist ein eigenständiges Artefakt gegenüber dem Basismodell.

Die Architektur kombiniert einen Cache-bewussten FastConformer-Encoder mit 24 Schichten und einen RNN-T-Decoder. Sie bewahrt Attention- und Faltungszustände des Encoders aus früheren Frames auf und verarbeitet jedes neue Audiosegment, ohne überlappende Fenster wiederholt neu zu berechnen. Zusammen mit der akustischen Repräsentation wird ein Sprach-ID-Signal bereitgestellt, um das Transkript zu konditionieren oder das Modell die Sprache selbst ableiten zu lassen.

NVIDIAs NeMo-Konfiguration dokumentiert Segmentgrößen von 80, 160, 320, 560 und 1120 Millisekunden. Die Attention-Einstellung steuert, wie viel zukünftiges Audio ein Segment erhält, bevor Text ausgegeben wird, und ermöglicht so eine Abwägung zwischen Wartezeit und akustischem Kontext. Dies sind Streaming-Konfigurationen des Herstellers und keine garantierten durchgängigen Antwortzeiten; eine Implementierung kann eine eigene unterstützte Teilmenge bereitstellen.

Bereiten Sie Mono-WAV-Audio mit der Abtastrate von 16 kHz des Herstellerprozessors vor. Ist die Sprache bekannt, verwenden Sie die entsprechende Sprachregionskonditionierung; der automatische Modus erkennt die gesprochene Sprache. Das grundlegende Pipeline-Beispiel verwendet standardmäßig einen US-englischen Prompt, daher sollte das mehrsprachige Verhalten bewusst konfiguriert und nicht aus diesem Beispiel vorausgesetzt werden.

Im automatischen Modus kann der Workflow des Herstellers nach dem abschließenden Satzzeichen des Transkripts eine Sprachkennzeichnung anhängen. Wird die Kennzeichnung beibehalten, steht die Sprache einer Anwendung zur Verfügung, die gemischtsprachige Anfragen verarbeitet; wird sie entfernt, bleibt reiner Transkripttext. Erhalten Sie bei der Anzeige oder Verarbeitung des Ergebnisses die Unterscheidung zwischen den erkannten Wörtern, ihrer Zeichensetzung und diesen Sprachmetadaten.

Eine Untertitelanwendung kann Audio in der richtigen Reihenfolge zuführen, das Transkript sammeln und abgeschlossenen Text für die Anzeige oder nachgelagerte Verarbeitung verwenden. Eine Sprachanwendung kann erkannte Sprache an ihre Stufe für Sprachverständnis weiterreichen. Bei der Gesprächsanalyse können Originalaufnahme und Transkript gemeinsam aufbewahrt werden, damit Namen, Zahlen und unbekannte Begriffe überprüfbar bleiben. Das ASR-Modell liefert das Transkript; Zusammenfassungen, Aktionen und Spracherzeugung sind eigenständige Stufen der Anwendung.

NVIDIA trainiert das Modell mit einer Mischung aus öffentlichen und proprietären Sprachdaten mit menschlichen und synthetischen Annotationen, die zu Text mit Zeichensetzung sowie korrekter Groß- und Kleinschreibung normalisiert werden. Der Anpassungsleitfaden betont die Abstimmung von Sprachkennzeichnungen und Textstil sowie die anschließende Bewertung zurückgehaltener Audioaufnahmen mit der vorgesehenen Streaming-Einstellung. Er beschreibt die Anpassung an Sprache, Akzent und Fachgebiet, ohne diese angepassten Ergebnisse zu Eigenschaften des ursprünglichen Checkpoints zu erklären.

Die Modellkarte macht die praktisch nutzbare Aufnahmelänge vom verfügbaren Speicher abhängig, statt eine allgemeingültige maximale Dauer zu veröffentlichen. Halten Sie die mehrsprachige Ausgabe vom ausschließlich englischsprachigen Modell getrennt und bewahren Sie die gewählte Sprach- und Streaming-Konfiguration mit dem Transkriptionsergebnis auf. Das Ausgabeartefakt ist der erkannte Text, gegebenenfalls mit Sprachmetadaten des Herstellers, und keine allgemeine Gesprächsantwort.