OpenAI: Whisper Large V3 Turbo

Whisper large-v3-turbo, также называемый Turbo, — оптимизированная модель распознавания речи OpenAI на основе Whisper large-v3. Число слоёв декодера сокращено с 32 до четырёх, а энкодер сохраняет 32 слоя. Выпущенная модель содержит примерно 809 миллионов параметров. Цель разработчика — ускорить распознавание речи с умеренной потерей точности, а не предложить другой режим генерации аудио. На вход подаётся записанная речь, результатом становится распознанный текст.

В объявлении о выпуске подчёркивается отличие подготовки Turbo от подготовки отдельной дистиллированной модели Whisper: Turbo дообучали ещё две эпохи на данных многоязычного распознавания речи, исключив данные перевода. Это различие важно для работы. Репозиторий OpenAI указывает, что Turbo не обучена переводить неанглийскую речь на английский и может вернуть исходный язык даже при запросе перевода. Используйте эту версию для расшифровки на языке записи; задачу перевода решает другая подходящая модель либо отдельный этап после распознавания.

Определение исходного языка и его явный выбор остаются полезными настройками распознавания. Если язык записи известен, укажите его в задании; иначе документированный процесс может определить его. Сохраните имена, количества и произнесённые слова, прежде чем просить редакторскую правку. Затем запись встречи, расшифровку интервью или текст лекции можно искать, аннотировать или кратко излагать в последующей операции. Задачу распознавания Turbo не следует путать с синтезом голоса, подражанием говорящему или смысловой оценкой людей в записи.

Загрузчик аудио OpenAI декодирует входные файлы в монофонические отсчёты с частотой 16 kHz, а модель использует акустическое окно длительностью 30 секунд со 128 частотными полосами по шкале Мела. Для более длинных записей требуется обработка длинного аудио моделью. Последовательная обработка проходит окна по порядку; обработка по фрагментам распознаёт перекрывающиеся части и соединяет их на границах. Карточка модели описывает второй подход как полезный для одного длинного файла, когда важнее всего время получения результата, а последовательную обработку — как вариант с приоритетом точности. Ни окно, ни название модели не задают фиксированный максимальный размер файла для загрузки в размещённый сервис.

Конкретная конфигурация Turbo указывает 448 позиций декодера для одной последовательности декодирования. Документированный процесс распознавания может включать временные метки сегментов или слов наряду с расшифровкой; метки помогают навигации и последующему оформлению субтитров. Они не добавляют автоматически формат файла субтитров или надёжные метки говорящих. Укажите, нужен ли обычный текст или сегменты с временными метками, и сохраняйте исходную запись для проверки спорных мест. Обработка длинных записей и итоговое оформление отделены от идентификатора конкретного набора весов.

Turbo сокращает работу декодера, но фактическое время зависит от оборудования, длительности записи, языка, темпа речи и параметров обработки. Разработчик отмечает более заметное снижение качества для некоторых языков, включая тайский и кантонский, а не одинаковое поведение везде. Сравните показательный фрагмент на нужном языке, прежде чем считать этот компромисс в пользу скорости подходящим для любого материала. Для обработки архива включите в проверочную выборку сложную лексику, паузы, шумные участки или одновременную речь, а не только чистое начальное предложение.

Опубликованная карточка сохраняет существенные ограничения распознавания Whisper: предсказанный текст может содержать непроизнесённые слова и повторения. Результаты различаются по языкам, акцентам и диалектам, особенно при ограниченном охвате обучающих данных. Карточка не устанавливает диаризацию или классификацию говорящих как надёжные стандартные возможности базовой модели. Практическая проверка сосредоточена на верности исходнику: важных именах и числах, пропущенной речи, неожиданном тексте во время тишины и повторениях. Читаемая расшифровка остаётся результатом для сравнения с записью, а не гарантией точного распознавания.

Полезный готовый материал — расшифровка на исходном языке с запрошенными временными метками, если они нужны, и явной связью с записью. Храните распознанную версию отдельно от отредактированной публикационной, чтобы изменения можно было проследить. При сравнении версий сохраняйте название large-v3-turbo: это не полная модель large-v3, и она не должна незаметно наследовать задачу перевода на английский у large-v3. Этот идентификатор модели с открытыми весами также не переносит ограничения загрузки, форматы ответов или обещания потоковой работы размещённого сервиса whisper-1. Выбирайте Turbo, когда документированный компромисс распознавания соответствует фактическому материалу и нужному времени получения результата.