NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 è il modello multilingue di riconoscimento vocale di NVIDIA da 600 milioni di parametri. Estende il modello v2, limitato all’inglese, a 25 lingue europee e rileva automaticamente la lingua dell’audio senza un prompt linguistico separato. Il risultato è una trascrizione del parlato, con punteggiatura e maiuscole.

Le lingue supportate sono bulgaro, croato, ceco, danese, olandese, inglese, estone, finlandese, francese, tedesco, greco, ungherese, italiano, lettone, lituano, maltese, polacco, portoghese, rumeno, slovacco, sloveno, spagnolo, svedese, russo e ucraino. Questo elenco appartiene all’edizione v3; gli altri tipi di decoder Parakeet e le varianti linguistiche sono modelli separati.

L’architettura combina un encoder FastConformer con un decoder a trasduttore di token e durate. L’encoder trasforma il segnale acustico in rappresentazioni; il decoder predice token testuali insieme alle durate necessarie per avanzare fra i frame audio. Questo comportamento TDT lo distingue dai decoder CTC e RNN-T ordinari della famiglia.

Prepara audio a canale singolo campionato a 16 kHz. I formati di input diretti del produttore sono WAV e FLAC, e gli esempi di implementazione usano un processore per preparare la forma d’onda al riconoscimento. Conserva l’identificatore della registrazione e l’audio originale insieme al testo restituito, così la trascrizione può essere verificata o allineata alla fonte.

L’aggiunta di timestamp fornisce informazioni temporali sul parlato riconosciuto. L’esempio NeMo di NVIDIA restituisce riferimenti temporali per caratteri, parole e segmenti quando la generazione dei timestamp è abilitata. Un’applicazione di sottotitolazione o archiviazione può usare i confini dei segmenti per collegare un passaggio alla registrazione, oppure i tempi delle parole per individuare una frase specifica. La trascrizione e i suoi campi temporali sono parti diverse del risultato e devono rimanere associati.

Per le registrazioni lunghe, la configurazione dell’attenzione è rilevante. Il produttore descrive fino a 24 minuti con attenzione completa su una A100 da 80 GB e fino a tre ore con attenzione locale. Il suo esempio per audio lunghi imposta l’encoder sull’attenzione locale con contesto sinistro e destro circoscritto. Queste durate descrivono configurazioni specifiche del produttore, anziché un unico limite incondizionato per ogni distribuzione.

Il produttore pubblica anche un flusso di inferenza a blocchi per l’uso in streaming. Il suo esempio definisce la lunghezza dei blocchi e il contesto audio sinistro e destro attorno a ciascun blocco. È una procedura di elaborazione distinta dal modello di streaming Nemotron nativo con gestione della cache. Un’applicazione deve conservare la procedura scelta e il riferimento temporale originale quando raccoglie la trascrizione di una registrazione attraverso più sezioni.

La combinazione di dati di addestramento comprende 10.000 ore di parlato trascritto da persone e 660.000 ore di dati Granary con pseudo-etichette, preservando punteggiatura e maiuscole. Il produttore supporta inoltre il fine-tuning di questo checkpoint rilasciato su un altro dataset vocale attraverso il flusso documentato del modello; il checkpoint adattato rimane distinto dal modello v3 di base. L’output testuale del modello è quindi adatto come fase di conversione da parlato a testo di un flusso più ampio. Un archivio di riunioni può allegare la trascrizione alla registrazione; un’applicazione di ricerca può indicizzare il passaggio riconosciuto; uno strumento di sottotitolazione può usare i metadati temporali restituiti.

La qualità del riconoscimento varia in base a lingua, accento, rumore e tipo di parlato. Il produttore osserva espressamente che il vocabolario non rappresentato durante l’addestramento può non essere riconosciuto e che parole isolate o frasi incomplete forniscono un contesto più debole. Conserva l’audio originale per verificare nomi e termini specialistici, anziché trasformare un riconoscimento incerto in un fatto verificato.

L’artefatto utile è la trascrizione con le informazioni temporali richieste. Riepiloghi, traduzioni, analisi dei parlanti e azioni sono attività separate dell’applicazione, non funzionalità implicite nel nome di un modello di conversione da parlato a testo. Mantieni l’identità v3 e la modalità di attenzione del produttore distinte dagli altri checkpoint e dagli artefatti convertiti o quantizzati.