NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B ist NVIDIAs Spracherkennungsmodell mit 600 Millionen Parametern für Live-Transkription und die Verarbeitung aufgezeichneter Audiodaten. Es erweitert die englische Streaming-Reihe um Konditionierung anhand der Sprach-ID. Sprache wird zu Text in der Eingabesprache, wobei Zeichensetzung sowie Gross- und Kleinschreibung bereits in die Ausgabe integriert sind.

Die Sprachabdeckung des Herstellers hat drei Stufen. Neunzehn für Transkription einsatzbereite Gebietsschemata decken US- und UK-Englisch, US- und Spanien-Spanisch, Frankreich- und Kanada-Französisch, Italienisch, Brasilien- und Portugal-Portugiesisch, Niederländisch, Deutsch, Türkisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch, Vietnamesisch und Ukrainisch ab. Dreizehn Gebietsschemata mit breiter Abdeckung ergänzen Polnisch, Schwedisch, Tschechisch, Norwegisch Bokmål, Dänisch, Bulgarisch, Finnisch, Kroatisch, Slowakisch, Mandarin, Ungarisch, Rumänisch und Estnisch. Zusammen ermöglichen diese 32 Gebietsschemata die Transkription ohne zusätzliches Fine-Tuning.

Acht für Anpassungen vorbereitete Gebietsschemata – Griechisch, Litauisch, Lettisch, Maltesisch, Slowenisch, Hebräisch, Thai und Norwegisch Nynorsk – werden vom Tokenizer erkannt, erfordern jedoch domänenspezifisches Fine-Tuning, um vollständige Transkription zu ermöglichen. Die Angabe des Herstellers von 40 Gebietsschemata behauptet daher nicht, dass alle vierzig ohne Anpassung dieselbe Fähigkeit besitzen. Ein angepasster Checkpoint ist ein separates Artefakt gegenüber dem Basismodell.

Die Architektur kombiniert einen cachefähigen FastConformer-Encoder mit 24 Schichten und einen RNN-T-Decoder. Sie bewahrt Encoderzustände für Aufmerksamkeit und Faltung aus früheren Frames und verarbeitet jeden neuen Audioabschnitt, ohne überlappende Fenster wiederholt neu zu berechnen. Zusammen mit der akustischen Repräsentation wird ein Sprach-ID-Signal bereitgestellt, um das Transkript zu konditionieren oder das Modell die Sprache erschliessen zu lassen.

NVIDIAs NeMo-Konfiguration dokumentiert Abschnittsgrössen von 80, 160, 320, 560 und 1120 Millisekunden. Die Aufmerksamkeitseinstellung steuert, wie viel zukünftiges Audio ein Abschnitt erhält, bevor Text ausgegeben wird, sodass eine Aufgabe Wartezeit und akustischen Kontext gegeneinander abwägen kann. Dies sind Streaming-Konfigurationen des Herstellers und keine garantierten Antwortzeiten für den gesamten Ablauf; eine Implementierung kann eine eigene unterstützte Teilmenge anbieten.

Bereiten Sie Mono-WAV-Audio mit der Abtastrate von 16 kHz des Herstellerprozessors vor. Wenn die Sprache bekannt ist, verwenden Sie die entsprechende Gebietsschemakonditionierung; der automatische Modus erkennt die gesprochene Sprache. Das grundlegende Pipeline-Beispiel verwendet standardmässig einen US-englischen Prompt. Mehrsprachiges Verhalten sollte daher bewusst konfiguriert werden, statt es aus diesem Beispiel abzuleiten.

Im automatischen Modus kann der Workflow des Herstellers nach dem abschliessenden Satzzeichen des Transkripts ein Sprach-Tag anhängen. Wird das Tag beibehalten, steht die Sprache einer Anwendung zur Verfügung, die gemischtsprachigen Datenverkehr verarbeitet; wird es entfernt, bleibt reiner Transkripttext. Bewahren Sie bei der Anzeige oder Verarbeitung des Ergebnisses die Unterscheidung zwischen den erkannten Wörtern, ihrer Zeichensetzung und diesen Sprachmetadaten.

Eine Untertitelanwendung kann Audio in der richtigen Reihenfolge zuführen, das Transkript sammeln und abgeschlossenen Text für die Anzeige oder nachgelagerte Verarbeitung nutzen. Eine Sprachanwendung kann erkannte Sprache an ihren Sprachverständnisschritt weitergeben. Für Gesprächsanalysen lassen sich Originalaufnahme und Transkript zusammen aufbewahren, sodass Namen, Zahlen und unbekannte Begriffe prüfbar bleiben. Das ASR-Modell liefert das Transkript; Zusammenfassung, Aktionen und Spracherzeugung sind separate Schritte der Anwendung.

NVIDIA trainiert das Modell auf einer Mischung öffentlicher und proprietärer Sprachdaten mit menschlichen und synthetischen Labels, die zu Text mit Zeichensetzung sowie korrekter Gross- und Kleinschreibung normalisiert werden. Der Anpassungsleitfaden betont die Übereinstimmung von Sprachlabels und Textstil sowie die anschliessende Bewertung zurückgehaltener Audiodaten mit der für den Einsatz vorgesehenen Streaming-Einstellung. Er beschreibt Sprach-, Akzent- und Domänenanpassung, ohne diese angepassten Ergebnisse zu Eigenschaften des ursprünglichen Checkpoints zu erklären.

Die Modellkarte knüpft die praktisch mögliche Aufnahmelänge an den verfügbaren Speicher, statt eine allgemeingültige maximale Dauer zu veröffentlichen. Halten Sie die mehrsprachige Ausgabe vom ausschliesslich englischen Modell getrennt und bewahren Sie die gewählte Sprach- und Streaming-Konfiguration mit dem Transkriptionsergebnis auf. Das Ausgabeartefakt ist der erkannte Text mit optionalen Sprachmetadaten des Herstellers und keine allgemeine Gesprächsantwort.