OpenAI: Whisper Large V3

Whisper large-v3 — выпущенный checkpoint распознавания речи OpenAI примерно с 1,55 миллиарда параметров. Это многоязычная модель encoder-decoder: аудио поступает в encoder, а decoder предсказывает текст и связанные с задачей токены. Основные задачи — транскрибация речи на исходном языке и перевод речи на английский. Это идентичность модели с открытыми весами, отдельная от идентификатора модели размещённого сервиса и его правил загрузки и форматов ответа.

Large-v3 сохраняет архитектуру прежних больших checkpoint Whisper с двумя заявленными изменениями: спектрограмма на входе использует 128 частотных Mel-полос вместо 80, а также добавлен токен кантонского языка. Карточка модели описывает обучение на одном миллионе часов аудио со слабой разметкой и четырёх миллионах часов аудио с псевдоразметкой, подготовленной Whisper large-v2. Эта смесь использовалась в течение двух эпох обучения. Выпуск — конкретный checkpoint large-v3, а не общее название всех моделей Whisper.

Документированный сценарий вывода по умолчанию выполняет транскрибацию, сохраняя язык записи. Он может автоматически определить исходный язык или принять известный язык. Для перевода многоязычная большая модель выдаёт английский текст из неанглийской речи. Выбирайте задачу явно: расшифровка на исходном языке и перевод на английский — разные материалы. Для интервью сохраняйте формулировки исходного языка; для английского справочного документа укажите, что нужен перевод произнесённого содержания.

Подготовка аудио входит во входной путь. Загрузчик OpenAI декодирует запись в монофоническую волну и пересэмплирует её до 16 кГц. Акустическое рецептивное поле модели — 30 секунд. Это окно обработки, а не предел длины целого интервью или лекции. Обработка длинных записей может последовательно двигаться скользящими окнами либо делить запись на перекрывающиеся фрагменты и соединять расшифровки. Карточка модели описывает последовательную обработку при приоритете точности и обработку фрагментами, когда важнее скорость получения результата одной длинной записи.

В опубликованной конфигурации указано 448 позиций decoder для отдельной последовательности декодирования. Длинные записи обрабатываются специальным процессом, и это число не следует считать универсальным лимитом расшифровки. Документированный сценарий может возвращать временные метки сегментов или слов вместе с распознанным текстом. Они полезны для навигации по записи и подготовки субтитров; итоговый контейнер субтитров или формат файла расшифровки выбирается отдельно. Сохраняйте время записи при подготовке аудио, если текст нужно выровнять с оригиналом.

Назначение Whisper — распознавание и перевод речи. Практические результаты — расшифровка лекции, запись интервью или доступная для поиска коллекция речевых материалов; суммаризация или интерпретация могут следовать отдельным шагом над текстом. Карточка модели не устанавливает надёжную автоматическую классификацию говорящих или диаризацию как стандартный выход базового checkpoint. Если нужны метки говорящих, это требование следует решать отдельно от точности расшифровки. В полезном задании указаны исходный язык, транскрибация или перевод на английский и необходимость временных данных.

Существенные ограничения — выдуманный, никогда не произнесённый текст и повторения, связанные с обучением со слабым контролем на шумных данных и архитектурой sequence-to-sequence. Качество распознавания различается по языкам, акцентам и диалектам; результаты слабее там, где меньше обучающего материала. Поэтому в пробе для оценки пригодности должны присутствовать шум, специальная лексика и одновременная речь. Сверяйте имена, количества и важные утверждения с записью, проверяйте неречевые фрагменты и повторы, не считая гладкую расшифровку доказательством того, что каждое слово было услышано.

Полный результат сохраняет распознанный текст, его язык и запрошенные временные данные со ссылкой на исходную запись. Отделяйте транскрибацию от последующего редактирования: публикационная версия может убирать заполнители, а распознанная сохраняет фактический ответ модели. Идентичность large-v3 и возможность перевода также следует отличать от более быстрой версии Turbo. Реальная скорость зависит от языка, темпа речи, оборудования и метода вывода; название checkpoint само по себе не устанавливает задержку размещённого сервиса, максимальный размер загрузки или включённый маршрут приложения.