NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B is NVIDIA’s spraakherkenningsmodel met 600 miljoen parameters voor livetranscriptie en verwerking van opgenomen audio. Het breidt de Engelstalige streaminglijn uit met conditionering op taal-ID. Spraak wordt tekst in de invoertaal, met leestekens en hoofdlettergebruik in de uitvoer ingebouwd.

De taaldekking van de maker heeft drie niveaus. Negentien taalvarianten die klaar zijn voor transcriptie omvatten Amerikaans en Brits Engels, Spaans uit de VS en Spanje, Frans uit Frankrijk en Canada, Italiaans, Braziliaans en Europees Portugees, Nederlands, Duits, Turks, Russisch, Arabisch, Hindi, Japans, Koreaans, Vietnamees en Oekraïens. Dertien taalvarianten met brede dekking voegen Pools, Zweeds, Tsjechisch, Noors Bokmål, Deens, Bulgaars, Fins, Kroatisch, Slowaaks, Mandarijn, Hongaars, Roemeens en Ests toe. Samen produceren deze 32 taalvarianten transcripties zonder extra fine-tuning.

Acht taalvarianten die klaar zijn voor aanpassing—Grieks, Litouws, Lets, Maltees, Sloveens, Hebreeuws, Thais en Noors Nynorsk—worden door de tokenizer herkend, maar vereisen fine-tuning binnen het toepassingsdomein om volledige transcriptie mogelijk te maken. Het cijfer van 40 taalvarianten van de producent beweert dus niet dat alle veertig dezelfde mogelijkheden hebben zonder aanpassing. Een aangepast checkpoint is een afzonderlijk resultaat ten opzichte van het basismodel.

De architectuur combineert een FastConformer-encoder met 24 lagen die rekening houdt met de cache, met een RNN-T-decoder. Ze bewaart attention- en convolutietoestanden van de encoder uit eerdere frames en verwerkt elk nieuw audioblok zonder overlappende vensters telkens opnieuw te berekenen. Naast de akoestische representatie wordt een taal-ID-signaal aangeleverd om de transcriptie te conditioneren of het model de taal te laten afleiden.

NVIDIA’s NeMo-configuratie documenteert blokgroottes van 80, 160, 320, 560 en 1120 milliseconden. De attention-instelling bepaalt hoeveel toekomstige audio een blok ontvangt voordat tekst wordt uitgestuurd, zodat een taak wachttijd en akoestische context kan afwegen. Dit zijn streamingconfiguraties van de producent, geen gegarandeerde antwoordtijden van begin tot einde; een implementatie kan een eigen ondersteunde deelverzameling aanbieden.

Bereid mono-WAV-audio voor op de samplefrequentie van 16 kHz van de producentprocessor. Gebruik de bijbehorende taalvariantconditionering wanneer de taal bekend is; de automatische modus detecteert de gesproken taal. Het basisvoorbeeld van de pipeline gebruikt standaard een prompt voor Amerikaans Engels, dus configureer meertalig gedrag bewust in plaats van het op basis van dat voorbeeld te veronderstellen.

In de automatische modus kan de workflow van de producent een taaltag toevoegen na het laatste leesteken van de transcriptie. Door die tag te bewaren, blijft de taal beschikbaar voor een applicatie die verkeer in meerdere talen verwerkt; door hem te verwijderen, krijgt u zuivere transcriptietekst. Behoud bij het weergeven of verwerken van het resultaat het onderscheid tussen de herkende woorden, hun leestekens en deze taalmetadata.

Een ondertitelingsapplicatie kan audio in volgorde aanleveren, de transcriptie verzamelen en voltooide tekst gebruiken voor weergave of verdere verwerking. Een spraakapplicatie kan herkende spraak doorgeven aan de stap voor taalbegrip. Voor gespreksanalyse kunnen de oorspronkelijke opname en transcriptie samen worden bewaard, zodat namen, getallen en onbekende termen controleerbaar blijven. Het ASR-model levert de transcriptie; samenvatten, acties en spraakgeneratie zijn afzonderlijke stappen van de applicatie.

NVIDIA traint het model op een mix van openbare en eigen spraakdata met menselijke en synthetische labels, genormaliseerd naar tekst met leestekens en correct hoofdlettergebruik. De aanpassingshandleiding benadrukt het afstemmen van taallabels en tekststijl, gevolgd door beoordeling op apart gehouden audio met de streaminginstelling die voor gebruik is bedoeld. Ze beschrijft taal-, accent- en domeinaanpassing zonder die aangepaste resultaten als eigenschappen van het oorspronkelijke checkpoint voor te stellen.

De modelkaart koppelt de praktische opnamelengte aan het beschikbare geheugen in plaats van één universele maximale duur te publiceren. Houd de meertalige editie gescheiden van het uitsluitend Engelstalige model en bewaar de gekozen taal- en streamingconfiguratie bij het transcriptieresultaat. De uitvoer is de herkende tekst, met optionele taalmetadata van de producent, geen algemeen gespreksantwoord.