NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B è il modello di riconoscimento vocale di NVIDIA da 600 milioni di parametri per la trascrizione dal vivo e l’elaborazione di audio registrato. Estende la linea di streaming in inglese con il condizionamento tramite identificatore della lingua. Il parlato diventa testo nella lingua di input, con punteggiatura e maiuscole integrate nell’output.

La copertura linguistica del produttore ha tre livelli. Diciannove varianti locali pronte per la trascrizione comprendono inglese statunitense e britannico, spagnolo statunitense e di Spagna, francese di Francia e canadese, italiano, portoghese brasiliano e del Portogallo, olandese, tedesco, turco, russo, arabo, hindi, giapponese, coreano, vietnamita e ucraino. Tredici varianti locali ad ampia copertura aggiungono polacco, svedese, ceco, norvegese bokmål, danese, bulgaro, finlandese, croato, slovacco, mandarino, ungherese, rumeno ed estone. Insieme, queste 32 varianti locali producono trascrizioni senza fine-tuning aggiuntivo.

Otto varianti locali predisposte all’adattamento — greco, lituano, lettone, maltese, sloveno, ebraico, thailandese e norvegese nynorsk — sono riconosciute dal tokenizer ma richiedono un fine-tuning nel dominio di impiego per abilitare la trascrizione completa. La cifra di 40 varianti locali del produttore non afferma quindi che tutte e quaranta abbiano le stesse capacità immediatamente disponibili. Un checkpoint personalizzato è un artefatto separato dal modello di base.

L’architettura combina un encoder FastConformer a 24 strati con gestione della cache e un decoder RNN-T. Conserva gli stati di attenzione e convoluzione dell’encoder dai frame audio precedenti ed elabora ogni nuovo blocco audio senza ricalcolare ripetutamente finestre sovrapposte. Un segnale identificativo della lingua viene fornito insieme alla rappresentazione acustica per condizionare la trascrizione oppure lasciare che il modello deduca la lingua.

La configurazione NeMo di NVIDIA documenta dimensioni dei blocchi di 80, 160, 320, 560 e 1120 millisecondi. L’impostazione dell’attenzione controlla quanto audio futuro riceve un blocco prima che venga emesso il testo, consentendo di bilanciare tempo di attesa e contesto acustico in base all’attività. Queste sono configurazioni di streaming del produttore, non tempi di risposta complessivi garantiti; un’implementazione può esporre un proprio sottoinsieme supportato.

Prepara audio WAV mono alla frequenza di campionamento di 16 kHz del processore del produttore. Quando la lingua è nota, usa il condizionamento della variante locale corrispondente; la modalità automatica rileva la lingua parlata. L’esempio della pipeline di base usa per impostazione predefinita un prompt in inglese statunitense, quindi il comportamento multilingue va configurato deliberatamente anziché dedotto da quell’esempio.

Nella modalità automatica, il flusso del produttore può aggiungere un tag di lingua dopo la punteggiatura terminale della trascrizione. Conservare il tag rende disponibile la lingua a un’applicazione che gestisce traffico in più lingue; rimuoverlo restituisce il solo testo della trascrizione. Preserva la distinzione fra le parole riconosciute, la loro punteggiatura e questi metadati linguistici quando visualizzi o elabori il risultato.

Un’applicazione di sottotitolazione può fornire l’audio in ordine, raccogliere la trascrizione e usare il testo completato per la visualizzazione o l’elaborazione successiva. Un’applicazione vocale può inoltrare il parlato riconosciuto alla propria fase di comprensione del linguaggio. Il lavoro di analisi delle chiamate può conservare insieme la registrazione originale e la trascrizione, affinché nomi, numeri e termini poco familiari rimangano verificabili. Il modello ASR fornisce la trascrizione; riepilogo, azioni e generazione vocale sono fasi separate dell’applicazione.

NVIDIA addestra il modello su una combinazione di dati vocali pubblici e proprietari, con etichette umane e sintetiche normalizzate in testo con punteggiatura e maiuscole corrette. La sua guida all’adattamento sottolinea l’importanza di allineare le etichette linguistiche e lo stile del testo, quindi valutare audio escluso dall’addestramento con l’impostazione di streaming prevista per l’uso. Descrive l’adattamento a lingua, accento e dominio senza attribuire quei risultati personalizzati al checkpoint originale.

La scheda del modello collega la lunghezza pratica della registrazione alla memoria disponibile anziché pubblicare un unico limite universale di durata. Mantieni l’edizione multilingue distinta dal modello limitato all’inglese e conserva la lingua selezionata e la configurazione di streaming insieme al risultato della trascrizione. L’artefatto di output è il testo riconosciuto, con metadati linguistici opzionali del produttore, anziché una risposta conversazionale generica.