NVIDIA: Nemotron 3.5 ASR Streaming Multilingual 0.6B

Nemotron 3.5 ASR Streaming Multilingual 0.6B — модель распознавания речи NVIDIA на 600 млн параметров для расшифровки в реальном времени и обработки готовых аудиозаписей. Она расширяет англоязычную потоковую линейку за счёт задания идентификатора языка. Речь преобразуется в текст на языке ввода; пунктуация и заглавные буквы встроены в вывод.

Языковой охват производителя имеет три уровня. Девятнадцать готовых к расшифровке языковых вариантов охватывают английский США и Великобритании, испанский США и Испании, французский Франции и Канады, итальянский, португальский Бразилии и Португалии, нидерландский, немецкий, турецкий, русский, арабский, хинди, японский, корейский, вьетнамский и украинский. Тринадцать вариантов широкого охвата добавляют польский, шведский, чешский, норвежский букмол, датский, болгарский, финский, хорватский, словацкий, китайский путунхуа, венгерский, румынский и эстонский. В совокупности эти 32 варианта дают расшифровку без дополнительного дообучения.

Восемь подготовленных к адаптации языковых вариантов — греческий, литовский, латышский, мальтийский, словенский, иврит, тайский и норвежский нюнорск — распознаются токенизатором, но требуют дообучения на данных целевой области для полноценной расшифровки. Поэтому заявленные производителем 40 вариантов не означают, что все сорок имеют одинаковые возможности сразу после запуска. Настроенная версия весов — отдельный артефакт относительно базовой модели.

Архитектура объединяет 24-слойный энкодер FastConformer с учётом кеша и декодер RNN-T. Она сохраняет состояния внимания и свёрток энкодера от предыдущих кадров и обрабатывает каждый новый аудиофрагмент без многократного пересчёта перекрывающихся окон. Сигнал идентификатора языка передаётся вместе с акустическим представлением, чтобы задать язык расшифровки или позволить модели определить его.

В конфигурации NVIDIA NeMo документированы размеры фрагментов 80, 160, 320, 560 и 1120 миллисекунд. Настройка внимания определяет, сколько последующего аудио получает фрагмент до выдачи текста, позволяя соотносить время ожидания и акустический контекст. Это потоковые конфигурации производителя, а не гарантированное сквозное время ответа; реализация может предоставлять собственное поддерживаемое подмножество.

Подготовьте монофоническое WAV-аудио с частотой дискретизации 16 кГц, используемой процессором производителя. Если язык известен, задайте соответствующий языковой вариант; автоматический режим определяет язык речи. Базовый пример процесса по умолчанию использует подсказку для английского США, поэтому многоязычное поведение нужно настраивать явно, а не предполагать по этому примеру.

В автоматическом режиме процесс производителя может добавлять языковой тег после завершающего знака пунктуации расшифровки. Сохранение тега делает язык доступным приложению, обрабатывающему многоязычный поток; удаление тега оставляет чистый текст расшифровки. При отображении или обработке результата отличайте распознанные слова, их пунктуацию и эти языковые метаданные.

Приложение для создания субтитров может подавать аудио по порядку, собирать расшифровку и использовать завершённый текст для отображения или дальнейшей обработки. Голосовое приложение может передавать распознанную речь следующему этапу понимания языка. При анализе звонков можно сохранять исходную запись вместе с расшифровкой, чтобы имена, числа и незнакомые термины оставались проверяемыми. Модель ASR даёт расшифровку; создание сводки, действия и генерация речи являются отдельными этапами приложения.

NVIDIA обучает модель на смеси общедоступных и собственных речевых данных с человеческими и синтетическими метками, нормализованными в текст с пунктуацией и корректным регистром. Руководство по адаптации подчёркивает согласование языковых меток и стиля текста, затем оценку на отложенном аудио с потоковой настройкой, предназначенной для использования. Оно описывает адаптацию к языку, акценту и предметной области, не превращая эти настроенные результаты в свойства исходной версии весов.

Карточка модели связывает практическую длину записи с доступной памятью, а не публикует один универсальный предел длительности. Отличайте многоязычную версию от англоязычной и сохраняйте выбранный язык и потоковую конфигурацию вместе с результатом расшифровки. Итоговый артефакт — распознанный текст с необязательными языковыми метаданными производителя, а не общий разговорный ответ.