NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B ist NVIDIAs Spracherkennungsmodell mit 600 Millionen Parametern für Live-Transkription und die Verarbeitung aufgezeichneter Audioaufnahmen. Es erweitert die englischsprachige Streaming-Reihe um eine Konditionierung anhand der Sprachkennung. Gesprochene Sprache wird zu Text in der Eingabesprache, wobei Zeichensetzung und Groß- und Kleinschreibung bereits in die Ausgabe integriert sind.

Die Sprachabdeckung des Herstellers gliedert sich in drei Stufen. Neunzehn unmittelbar transkriptionsfähige Sprachvarianten umfassen US- und britisches Englisch, US- und spanisches Spanisch, französisches und kanadisches Französisch, Italienisch, brasilianisches und europäisches Portugiesisch, Niederländisch, Deutsch, Türkisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch, Vietnamesisch und Ukrainisch. Dreizehn Sprachvarianten mit breiter Abdeckung ergänzen Polnisch, Schwedisch, Tschechisch, Norwegisch Bokmål, Dänisch, Bulgarisch, Finnisch, Kroatisch, Slowakisch, Mandarin, Ungarisch, Rumänisch und Estnisch. Zusammen ermöglichen diese 32 Sprachvarianten Transkription ohne zusätzliche Feinabstimmung.

Acht für Anpassungen vorbereitete Sprachvarianten – Griechisch, Litauisch, Lettisch, Maltesisch, Slowenisch, Hebräisch, Thai und Norwegisch Nynorsk – werden vom Tokenizer erkannt, erfordern aber eine Feinabstimmung mit domänenspezifischen Daten, um vollständige Transkription zu ermöglichen. Die Herstellerangabe von 40 Sprachvarianten besagt daher nicht, dass alle vierzig dieselben Fähigkeiten unmittelbar nach der Bereitstellung besitzen. Ein angepasster Checkpoint ist ein eigenständiges Artefakt gegenüber dem Basismodell.

Die Architektur kombiniert einen cache-bewussten FastConformer-Encoder mit 24 Schichten und einem RNN-T-Decoder. Sie behält Attention- und Faltungszustände des Encoders aus früheren Frames bei und verarbeitet jeden neuen Audioabschnitt, ohne überlappende Fenster wiederholt neu zu berechnen. Neben der akustischen Repräsentation wird ein Sprachkennungssignal bereitgestellt, um das Transkript auf eine Sprache zu konditionieren oder das Modell die Sprache erschließen zu lassen.

NVIDIAs NeMo-Konfiguration dokumentiert Abschnittsgrößen von 80, 160, 320, 560 und 1120 Millisekunden. Die Attention-Einstellung bestimmt, wie viel nachfolgendes Audio ein Abschnitt erhält, bevor Text ausgegeben wird. So lässt sich je nach Aufgabe ein Ausgleich zwischen Wartezeit und akustischem Kontext finden. Dies sind Streaming-Konfigurationen des Herstellers und keine garantierten Antwortzeiten für den gesamten Ablauf; eine Implementierung kann eine eigene unterstützte Teilmenge anbieten.

Bereiten Sie Mono-WAV-Audio mit der Abtastrate des Herstellerprozessors von 16 kHz vor. Wenn die Sprache bekannt ist, verwenden Sie die entsprechende Sprachkonditionierung; der automatische Modus erkennt die gesprochene Sprache. Das grundlegende Pipeline-Beispiel verwendet standardmäßig einen Prompt für US-Englisch. Mehrsprachiges Verhalten sollte daher bewusst konfiguriert und nicht anhand dieses Beispiels vorausgesetzt werden.

Im automatischen Modus kann der Herstellerablauf nach dem abschließenden Satzzeichen des Transkripts eine Sprachmarkierung anhängen. Bleibt die Markierung erhalten, steht die Sprache einer Anwendung für gemischtsprachigen Datenverkehr zur Verfügung; wird sie entfernt, entsteht reiner Transkripttext. Bewahren Sie beim Anzeigen oder Verarbeiten des Ergebnisses die Unterscheidung zwischen den erkannten Wörtern, ihrer Zeichensetzung und diesen Sprachmetadaten.

Eine Untertitelanwendung kann Audio in der richtigen Reihenfolge zuführen, das Transkript sammeln und abgeschlossenen Text für die Anzeige oder nachgelagerte Verarbeitung nutzen. Eine Sprachanwendung kann erkannte Sprache an ihre Sprachverständnisstufe weiterreichen. Bei der Analyse von Gesprächen können ursprüngliche Aufnahme und Transkript gemeinsam aufbewahrt werden, damit Namen, Zahlen und unbekannte Begriffe prüfbar bleiben. Das ASR-Modell liefert das Transkript; Zusammenfassungen, Aktionen und Spracherzeugung sind eigenständige Stufen der Anwendung.

NVIDIA trainiert das Modell mit einer Mischung aus öffentlichen und proprietären Sprachdaten mit menschlichen und synthetischen Labels, die zu Text mit Zeichensetzung und korrekter Groß- und Kleinschreibung vereinheitlicht werden. Der Anpassungsleitfaden betont die Abstimmung von Sprachlabels und Textstil sowie die anschließende Bewertung anhand zurückgehaltener Audioaufnahmen mit der für den Einsatz vorgesehenen Streaming-Einstellung. Er beschreibt Sprach-, Akzent- und Domänenanpassungen, ohne diese angepassten Ergebnisse zu Eigenschaften des ursprünglichen Checkpoints zu machen.

Die Modellkarte bindet die praktisch mögliche Aufnahmelänge an den verfügbaren Arbeitsspeicher, statt eine universelle Höchstdauer zu veröffentlichen. Halten Sie die mehrsprachige Ausgabe vom ausschließlich englischsprachigen Modell getrennt und bewahren Sie die gewählte Sprache und Streaming-Konfiguration gemeinsam mit dem Transkriptionsergebnis auf. Das Ausgabeergebnis ist der erkannte Text, optional mit Sprachmetadaten des Herstellers, und keine allgemeine Gesprächsantwort.