NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B is het spraakherkenningsmodel van NVIDIA met 600 miljoen parameters voor livetranscriptie en verwerking van opgenomen audio. Het breidt de Engelstalige streaminglijn uit met conditionering op taal-ID. Spraak wordt tekst in de invoertaal, met interpunctie en hoofdlettergebruik als onderdeel van de uitvoer.

De taaldekking van de maker heeft drie niveaus. Negentien localevarianten die direct geschikt zijn voor transcriptie omvatten Amerikaans en Brits Engels, Amerikaans en Europees Spaans, Frans uit Frankrijk en Canada, Italiaans, Braziliaans en Europees Portugees, Nederlands, Duits, Turks, Russisch, Arabisch, Hindi, Japans, Koreaans, Vietnamees en Oekraïens. Dertien localevarianten met brede dekking voegen Pools, Zweeds, Tsjechisch, Noors Bokmål, Deens, Bulgaars, Fins, Kroatisch, Slowaaks, Mandarijn, Hongaars, Roemeens en Estisch toe. Samen produceren deze 32 localevarianten transcripties zonder aanvullende fine-tuning.

Acht localevarianten die voor aanpassing zijn voorbereid — Grieks, Litouws, Lets, Maltees, Sloveens, Hebreeuws, Thai en Noors Nynorsk — worden door de tokenizer herkend, maar vereisen fine-tuning op data uit het toepassingsdomein om volledige transcriptie mogelijk te maken. Het cijfer van 40 localevarianten van de fabrikant betekent dus niet dat alle veertig standaard dezelfde mogelijkheden hebben. Een aangepast checkpoint is een afzonderlijk artefact ten opzichte van het basismodel.

De architectuur combineert een FastConformer-encoder met 24 lagen die rekening houdt met gecachte toestand, met een RNN-T-decoder. Zij bewaart de attention- en convolutietoestanden van de encoder uit eerdere frames en verwerkt elk nieuw audioblok zonder overlappende vensters herhaaldelijk opnieuw te berekenen. Naast de akoestische representatie wordt een taal-ID-signaal aangeleverd om de transcriptie te conditioneren of het model de taal te laten afleiden.

De NeMo-configuratie van NVIDIA documenteert blokgroottes van 80, 160, 320, 560 en 1120 milliseconden. De attention-instelling bepaalt hoeveel toekomstige audio een blok ontvangt voordat tekst wordt uitgevoerd, zodat een taak wachttijd en akoestische context tegen elkaar kan afwegen. Dit zijn streamingconfiguraties van de fabrikant, geen gegarandeerde responstijden voor het volledige traject; een implementatie kan een eigen ondersteunde subset aanbieden.

Bereid mono WAV-audio voor op de samplefrequentie van 16 kHz van de processor van de fabrikant. Gebruik de bijbehorende localeconditionering als de taal bekend is; de automatische modus detecteert de gesproken taal. Het basisvoorbeeld van de pipeline gebruikt standaard een prompt voor Amerikaans Engels, dus configureer meertalig gedrag bewust in plaats van het uit dat voorbeeld af te leiden.

In de automatische modus kan de workflow van de fabrikant een taaltag toevoegen na het afsluitende leesteken van de transcriptie. Door de tag te behouden blijft de taal beschikbaar voor een applicatie die verkeer in meerdere talen verwerkt; verwijderen ervan levert schone transcriptietekst op. Behoud het onderscheid tussen de herkende woorden, hun interpunctie en deze taalmetadata wanneer je het resultaat weergeeft of verwerkt.

Een ondertitelingsapplicatie kan audio op volgorde aanleveren, de transcriptie verzamelen en voltooide tekst gebruiken voor weergave of verdere verwerking. Een spraakapplicatie kan herkende spraak doorgeven aan de fase voor taalbegrip. Bij gespreksanalyse kunnen de oorspronkelijke opname en transcriptie samen worden bewaard, zodat namen, getallen en onbekende termen controleerbaar blijven. Het ASR-model levert de transcriptie; samenvatten, acties uitvoeren en spraak genereren zijn afzonderlijke applicatiefasen.

NVIDIA traint het model op een combinatie van openbare en bedrijfseigen spraakdata met menselijke en synthetische labels, genormaliseerd naar tekst met interpunctie en correct hoofdlettergebruik. De aanpassingshandleiding benadrukt dat taallabels en tekststijl op elkaar moeten aansluiten en dat vervolgens afzonderlijk gehouden evaluatieaudio moet worden beoordeeld met de streaminginstelling die voor gebruik is bedoeld. Zij beschrijft aanpassing aan taal, accent en domein, zonder die aangepaste resultaten als eigenschappen van het oorspronkelijke checkpoint te presenteren.

De modelkaart koppelt de praktische opnamelengte aan het beschikbare geheugen, in plaats van één universele maximale duur te publiceren. Houd de meertalige editie gescheiden van het uitsluitend Engelstalige model en bewaar de gekozen taal- en streamingconfiguratie bij het transcriptieresultaat. Het uitvoerartefact is de herkende tekst, met optionele taalmetadata van de fabrikant, in plaats van een algemeen gespreksantwoord.