NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B é o modelo de reconhecimento de fala da NVIDIA com 600 milhões de parâmetros para transcrição em direto e processamento de áudio gravado. Alarga a linha de streaming em inglês com condicionamento por identificador de idioma. A fala transforma-se em texto no idioma de entrada, com pontuação e utilização de maiúsculas e minúsculas incorporadas na saída.

A cobertura linguística do fabricante tem três níveis. Dezanove variantes prontas para transcrição abrangem inglês dos EUA e do Reino Unido, espanhol dos EUA e de Espanha, francês de França e do Canadá, italiano, português do Brasil e de Portugal, neerlandês, alemão, turco, russo, árabe, hindi, japonês, coreano, vietnamita e ucraniano. Treze variantes de ampla cobertura acrescentam polaco, sueco, checo, norueguês bokmål, dinamarquês, búlgaro, finlandês, croata, eslovaco, mandarim, húngaro, romeno e estónio. Em conjunto, estas 32 variantes produzem transcrição sem afinação adicional.

Oito variantes preparadas para adaptação — grego, lituano, letão, maltês, esloveno, hebraico, tailandês e norueguês nynorsk — são reconhecidas pelo tokenizador, mas exigem afinação com dados do domínio para permitir transcrição completa. Assim, o número de 40 variantes indicado pelo produtor não significa que todas as quarenta tenham a mesma capacidade de utilização imediata. Um checkpoint personalizado é um resultado distinto do modelo de base.

A arquitetura combina um codificador FastConformer de 24 camadas com gestão de cache e um descodificador RNN-T. Conserva os estados de atenção e de convolução do codificador de quadros anteriores e processa cada novo bloco de áudio sem recalcular repetidamente janelas sobrepostas. Um sinal de identificação de idioma é fornecido juntamente com a representação acústica para condicionar a transcrição ou permitir que o modelo infira o idioma.

A configuração NeMo da NVIDIA documenta blocos de 80, 160, 320, 560 e 1 120 milissegundos. A definição de atenção controla a quantidade de áudio futuro que um bloco recebe antes de emitir texto, permitindo equilibrar o tempo de espera e o contexto acústico de uma tarefa. Estas são configurações de streaming do produtor, e não tempos de resposta garantidos de ponta a ponta; uma implementação pode disponibilizar o seu próprio subconjunto suportado.

Prepare áudio WAV mono à frequência de amostragem de 16 kHz do processador do produtor. Quando o idioma for conhecido, utilize o condicionamento da variante correspondente; o modo automático deteta o idioma falado. O exemplo básico de pipeline utiliza por predefinição um pedido em inglês dos EUA, pelo que o comportamento multilingue deve ser configurado deliberadamente, em vez de ser presumido a partir desse exemplo.

No modo automático, o fluxo do produtor pode acrescentar uma etiqueta de idioma após a pontuação terminal da transcrição. Manter a etiqueta disponibiliza o idioma a uma aplicação que trate tráfego multilingue; removê-la devolve texto de transcrição limpo. Preserve a distinção entre as palavras reconhecidas, a sua pontuação e estes metadados de idioma ao apresentar ou processar o resultado.

Uma aplicação de legendagem pode fornecer áudio por ordem, recolher a transcrição e utilizar o texto concluído para apresentação ou processamento posterior. Uma aplicação de voz pode encaminhar a fala reconhecida para a sua etapa de compreensão da linguagem. A análise de chamadas pode conservar a gravação original juntamente com a transcrição, para que nomes, números e termos desconhecidos continuem a poder ser examinados. O modelo ASR fornece a transcrição; resumos, ações e geração de fala são etapas separadas da aplicação.

A NVIDIA treina o modelo com uma combinação de dados de fala públicos e proprietários, com rótulos humanos e sintéticos normalizados para texto com pontuação e utilização correta de maiúsculas e minúsculas. O seu guia de adaptação realça a correspondência entre os rótulos de idioma e o estilo do texto, seguida da avaliação de áudio reservado para teste com a definição de streaming prevista para utilização. Descreve adaptação de idioma, sotaque e domínio sem tornar esses resultados personalizados propriedades do checkpoint original.

A ficha do modelo associa a duração prática das gravações à memória disponível, em vez de publicar um limite universal de duração. Mantenha a edição multilingue distinta do modelo exclusivamente em inglês e conserve o idioma e a configuração de streaming selecionados junto do resultado da transcrição. O resultado produzido é o texto reconhecido, com metadados de idioma opcionais do produtor, em vez de uma resposta conversacional geral.