NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 é o modelo multilingue de reconhecimento de fala da NVIDIA com 600 milhões de parâmetros. Alarga o modelo v2, exclusivamente em inglês, a 25 idiomas europeus e deteta automaticamente o idioma do áudio sem um pedido de idioma separado. O resultado é uma transcrição da fala, com pontuação e utilização de maiúsculas e minúsculas.

Os idiomas suportados são búlgaro, croata, checo, dinamarquês, neerlandês, inglês, estónio, finlandês, francês, alemão, grego, húngaro, italiano, letão, lituano, maltês, polaco, português, romeno, eslovaco, esloveno, espanhol, sueco, russo e ucraniano. Esta lista pertence à edição v3; outros tipos de descodificador e variantes linguísticas do Parakeet são modelos distintos.

A arquitetura combina um codificador FastConformer com um descodificador transdutor de tokens e durações. O codificador transforma o sinal acústico em representações; o descodificador prevê tokens de texto juntamente com as durações necessárias para avançar pelos quadros de áudio. Este comportamento TDT distingue-o dos descodificadores CTC e RNN-T comuns da família.

Prepare áudio de um único canal com uma frequência de amostragem de 16 kHz. Os formatos de entrada diretos do fabricante são WAV e FLAC, e os exemplos de implementação utilizam um processador para preparar a forma de onda para o reconhecimento. Mantenha o identificador da gravação e o áudio original junto do texto devolvido, para permitir a conferência ou o alinhamento da transcrição com a fonte.

A geração de marcas temporais acrescenta informação de tempo à fala reconhecida. O exemplo NeMo da NVIDIA devolve tempos de caracteres, palavras e segmentos quando a geração de marcas temporais está ativada. Uma aplicação de legendagem ou arquivo pode utilizar os limites dos segmentos para ligar uma passagem à gravação, ou os tempos das palavras para localizar uma expressão específica. A transcrição e os respetivos campos temporais são partes distintas do resultado e devem permanecer associados.

Nas gravações longas, a configuração de atenção é relevante. O fabricante descreve até 24 minutos com atenção completa numa A100 de 80 GB, e até três horas com atenção local. O seu exemplo para áudio longo muda o codificador para atenção local com contexto limitado à esquerda e à direita. Estas durações descrevem configurações específicas do produtor, em vez de um limite incondicional para todas as implementações.

O fabricante também publica um fluxo de inferência por blocos para utilização em streaming. O exemplo define a duração dos blocos e o contexto de áudio à esquerda e à direita de cada bloco. Esta é uma receita de processamento distinta da do modelo Nemotron nativo de streaming com gestão de cache. Uma aplicação deve conservar a receita escolhida e a referência temporal original ao recolher, por secções, a transcrição de uma gravação.

A combinação de dados de treino inclui 10 000 horas de fala transcrita por pessoas e 660 000 horas de dados Granary com rótulos gerados automaticamente, preservando a pontuação e a utilização de maiúsculas e minúsculas. O produtor também suporta a afinação deste checkpoint publicado com outro conjunto de dados de fala, através do fluxo documentado para o modelo; o checkpoint afinado permanece distinto do modelo v3 de base. A saída de texto do modelo é, assim, adequada à etapa de conversão de voz em texto de um fluxo de trabalho mais amplo. Um arquivo de reuniões pode associar a transcrição à gravação; uma aplicação de pesquisa pode indexar a passagem reconhecida; uma ferramenta de legendagem pode utilizar os metadados temporais devolvidos.

A qualidade do reconhecimento varia consoante o idioma, o sotaque, o ruído e o tipo de fala. O produtor assinala especificamente que vocabulário não representado durante o treino pode não ser reconhecido e que palavras isoladas ou frases incompletas oferecem um contexto mais fraco. Conserve o áudio original para rever nomes e termos especializados, em vez de transformar um reconhecimento incerto num facto verificado.

O resultado útil é a transcrição com a informação temporal pedida. Resumos, traduções, análise de locutores e ações são tarefas separadas da aplicação, e não funcionalidades implícitas num nome de conversão de voz em texto. Mantenha a identidade v3 e o modo de atenção do produtor distintos de outros checkpoints e de ficheiros de modelo convertidos ou quantizados.