NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B är NVIDIAs taligenkänningsmodell med 600 miljoner parametrar för direkttranskription och arbete med inspelat ljud. Den utökar den engelska strömningsserien med styrning via språk-ID. Tal omvandlas till text på indataspråket, med skiljetecken samt stor och liten bokstav inbyggda i utdata.

Tillverkarens språktäckning har tre nivåer. Nitton transkriptionsklara språkvarianter omfattar amerikansk och brittisk engelska, spanska från USA och Spanien, franska från Frankrike och Kanada, italienska, portugisiska från Brasilien och Portugal, nederländska, tyska, turkiska, ryska, arabiska, hindi, japanska, koreanska, vietnamesiska och ukrainska. Tretton språkvarianter med bred täckning tillför polska, svenska, tjeckiska, norska (bokmål), danska, bulgariska, finska, kroatiska, slovakiska, mandarin, ungerska, rumänska och estniska. Tillsammans ger dessa 32 språkvarianter transkription utan ytterligare finjustering.

Åtta språkvarianter som är förberedda för anpassning — grekiska, litauiska, lettiska, maltesiska, slovenska, hebreiska, thailändska och norska (nynorsk) — känns igen av tokeniseraren men kräver domänspecifik finjustering för att möjliggöra fullständig transkription. Tillverkarens uppgift om 40 språkvarianter innebär därför inte att alla fyrtio har samma förmåga direkt från start. En anpassad checkpoint är en separat artefakt från basmodellen.

Arkitekturen kombinerar en cachemedveten FastConformer-kodare med 24 lager och en RNN-T-avkodare. Den bevarar kodarens uppmärksamhets- och faltningstillstånd från tidigare ramar och bearbetar varje nytt ljudblock utan att upprepade gånger räkna om överlappande fönster. En språk-ID-signal tillförs tillsammans med den akustiska representationen för att styra transkriptionen eller låta modellen härleda språket.

NVIDIAs NeMo-konfiguration dokumenterar blockstorlekar på 80, 160, 320, 560 och 1 120 millisekunder. Inställningen för uppmärksamhet styr hur mycket framtida ljud ett block får innan text lämnas, vilket gör att en uppgift kan balansera väntetid och akustisk kontext. Detta är tillverkarens strömningskonfigurationer, inte garanterade svarstider från början till slut; en implementation kan exponera en egen delmängd som stöds.

Förbered enkanaligt WAV-ljud med tillverkarens processors samplingsfrekvens på 16 kHz. När språket är känt ska du använda motsvarande språkvariant för styrning; automatiskt läge identifierar det talade språket. Grundexemplet för bearbetningskedjan använder en amerikansk-engelsk prompt som standard, så flerspråkigt beteende bör konfigureras medvetet i stället för att förutsättas utifrån det exemplet.

I automatiskt läge kan tillverkarens arbetsflöde lägga till en språktagg efter transkriptionens avslutande skiljetecken. Om taggen behålls blir språket tillgängligt för en applikation som hanterar trafik på flera språk; om den tas bort återstår ren transkriptionstext. Bevara skillnaden mellan de igenkända orden, deras skiljetecken och dessa språkmetadata när resultatet visas eller bearbetas.

En undertextningsapplikation kan mata in ljud i ordning, samla transkriptionen och använda färdig text för visning eller efterföljande bearbetning. En röstapplikation kan skicka igenkänt tal vidare till sitt steg för språkförståelse. Samtalsanalys kan behålla originalinspelningen och transkriptionen tillsammans så att namn, tal och obekanta termer förblir möjliga att granska. ASR-modellen tillhandahåller transkriptionen; sammanfattning, åtgärder och talgenerering är separata steg i applikationen.

NVIDIA tränar modellen på en blandning av offentliga och proprietära taldata med mänskliga och syntetiska etiketter, normaliserade till text med skiljetecken och korrekt användning av stor och liten bokstav. Anpassningsguiden betonar att språketiketter och textstil ska stämma överens, följt av utvärdering av ljud som hållits utanför träningen med den strömningsinställning som är avsedd för användning. Den beskriver språk-, accent- och domänanpassning utan att göra de anpassade resultaten till egenskaper hos den ursprungliga checkpointen.

Modellkortet kopplar den praktiska inspelningslängden till tillgängligt minne i stället för att publicera ett enda universellt längdtak. Håll den flerspråkiga utgåvan åtskild från modellen som enbart stöder engelska och behåll vald språk- och strömningskonfiguration tillsammans med transkriptionsresultatet. Leveransen är den igenkända texten, med valfria språkmetadata från tillverkaren, snarare än ett allmänt samtalssvar.