NVIDIA: Parakeet TDT 0.6B v3

Parakeet TDT 0.6B v3 — многоязычная модель распознавания речи NVIDIA на 600 млн параметров. Она расширяет возможности англоязычной v2 до 25 европейских языков и автоматически определяет язык аудио без отдельной языковой подсказки. Результат — расшифровка речи с пунктуацией и заглавными буквами.

Поддерживаются болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, русский и украинский. Этот список относится к версии v3; другие типы декодеров и языковые варианты Parakeet являются отдельными моделями.

Архитектура объединяет энкодер FastConformer с декодером-трансдьюсером токенов и длительностей. Энкодер преобразует акустический сигнал в представления; декодер предсказывает текстовые токены вместе с длительностями, необходимыми для продвижения по аудиокадрам. Такое поведение TDT отличает его от декодеров CTC и обычного RNN-T в семействе.

Подготовьте одноканальное аудио с частотой 16 кГц. Непосредственно принимаемые производителем форматы — WAV и FLAC; в примерах реализации процессор подготавливает звуковой сигнал к распознаванию. Сохраняйте идентификатор записи и исходное аудио вместе с возвращённым текстом, чтобы расшифровку можно было проверить или сопоставить с источником.

Временные отметки добавляют сведения о времени к распознанной речи. Пример NVIDIA для NeMo возвращает времена символов, слов и сегментов при включённой генерации отметок. Приложение субтитров или архив может использовать границы сегментов для связи фрагмента с записью либо времена слов для поиска конкретной фразы. Расшифровка и её временные поля — разные части результата; их связь нужно сохранять.

Для длинных записей важна конфигурация внимания. Производитель описывает до 24 минут с полным вниманием на A100 с 80 ГБ памяти и до трёх часов с локальным вниманием. В примере длинной записи энкодер переключается на локальное внимание с ограниченным левым и правым контекстом. Эти длительности относятся к конкретным конфигурациям производителя, а не к единому безусловному пределу для любого развёртывания.

Производитель также публикует сценарий инференса по фрагментам для потокового использования. В примере задаются длина фрагмента и левый и правый аудиоконтекст вокруг каждого фрагмента. Это отдельный способ обработки, отличающийся от встроенной потоковой модели Nemotron с учётом кеша. При сборе расшифровки записи по частям приложение должно сохранять выбранный способ обработки и исходную временную привязку.

Обучающая смесь включает 10 000 часов речи, расшифрованной людьми, и 660 000 часов данных Granary с псевдометками с сохранением пунктуации и заглавных букв. Производитель также поддерживает дообучение этой выпущенной версии весов на другом речевом наборе данных через документированный процесс; дообученная версия остаётся отличной от базовой v3. Текстовый вывод модели поэтому подходит для этапа распознавания речи в более крупном процессе. Архив встреч может прикрепить расшифровку к записи; поисковое приложение — индексировать распознанный фрагмент; инструмент субтитров — использовать возвращённые временные метаданные.

Качество распознавания зависит от языка, акцента, шума и вида речи. Производитель отдельно отмечает, что не представленная при обучении лексика может пропускаться, а отдельные слова и незавершённые предложения дают более слабый контекст. Сохраняйте исходное аудио для проверки имён и специальных терминов, не превращая сомнительное распознавание в проверенный факт.

Полезный артефакт — расшифровка с запрошенными временными сведениями. Сводки, переводы, анализ говорящих и действия являются отдельными задачами приложения, а не возможностями, подразумеваемыми названием преобразования речи в текст. Отличайте v3 и выбранный режим внимания производителя от других версий весов и преобразованных или квантованных артефактов.