AssemblyAI: Universal-3.5 Pro

Universal-3.5 Pro — модель распознавания речи AssemblyAI для преобразования записанной речи в текст. В её профиле Sync короткий аудиоклип даёт завершённую расшифровку в одном ответе. Это подходит голосовым сообщениям, вводу push-to-talk и отдельным репликам диалога, когда приложение уже знает, в какой момент должна закончиться запись.

Подготовьте аудио как ограниченный фрагмент. Требования AssemblyAI Sync принимают длительность от 80 миллисекунд до 120 секунд с максимальным размером файла 40 MB. Поддерживаемые форматы — WAV или 16-битный PCM без контейнера, со знаковыми отсчётами и порядком байтов little-endian. Аудио может быть моно или стерео; стерео внутри преобразуется в моно. Поддерживаемые частоты дискретизации — 8, 16, 22.05, 24, 32, 44.1 и 48 kHz. Заголовок WAV передаёт частоту дискретизации и число каналов; для PCM без контейнера эти значения нужно передать отдельно в конфигурации расшифровки.

Запишите полное высказывание и сохраните начало и конец речи целыми. Полезный пример задачи — короткое голосовое сообщение в поддержку продукта с названием продукта, идентификатором заказа и просьбой. Сохраните исходный клип, чтобы сверить расшифровку с этими важными деталями. Для более длинной записи подготовьте процесс, подходящий длительной расшифровке, а не считайте предел длительности короткого клипа заявлением об общей аудиоёмкости модели.

Результат содержит полную расшифровку, список слов с оценкой уверенности распознавания каждого слова и общую оценку уверенности от нуля до единицы. Он также передаёт длительность отправленного аудио и идентификатор запроса, позволяя сохранять связь текста с исходным клипом. Используйте оценки уверенности распознавания слов для поиска фрагментов, которые стоит проверить прослушиванием, особенно имён, чисел и отраслевой лексики, важных для приложения.

Временные метки слов необязательны и по умолчанию отключены. При их запросе каждое выровненное слово может содержать начало и конец в миллисекундах относительно начала клипа. Профиль производителя оставляет эти значения отсутствующими, когда слово не удаётся выровнять, вместо выдумывания приблизительного времени. Точность временных меток наилучшая для английской речи. Явно отмечайте отсутствие временных меток при подготовке подсветки слов, волновой формы с поиском или синхронизации субтитров и сравнивайте текст с записью перед использованием как готовой дорожки субтитров.

Контекстный запрос описывает, о чём запись. Он может назвать область, сценарий или конкретные детали, уже известные приложению; его максимальная длина — 6000 символов. Начните с короткого описания, соответствующего аудио, например разговора с технической поддержкой о конкретном устройстве. Запрос даёт контекст распознавания, а не просит переписать сообщение говорящего в другой документ.

Отдельный список ключевых терминов направляет распознавание к конкретной лексике. Профиль Sync принимает до 100 терминов и 8000 символов суммарно в этом списке. Используйте точное написание необычных имён, сокращений или терминов продукта и не добавляйте обычные хорошо распознаваемые слова. Большие или ненужные списки терминов могут вызывать излишние исправления, поэтому сосредоточьтесь на словах, важных для записи. Описание контекста и словарный список можно использовать вместе.

Предыдущий разговор также помогает интерпретировать короткий ответ. Передайте предыдущие высказывания в хронологическом порядке, от старых к новым, при этом расшифровывается текущая аудиореплика. Документированный лимит контекста — 500 ходов или 16 000 символов суммарно. При превышении этих пределов или доступного контекста модели сначала удаляются самые старые записи. Это полезно, когда короткий ответ содержит идентификатор или отсылку, значение которых следует из предыдущего вопроса.

Выбор языка направляет распознавание к одному или нескольким ожидаемым языкам. Текущий интерфейс Sync принимает 32 кода языка и по умолчанию использует английский, когда выбор не передан. Для аудио с переключением языков перечислите ожидаемые языки. Собственный контекстный запрос заменяет управляемый запрос по умолчанию и переопределяет отдельное управление кодами языков, поэтому назовите ожидаемые языки внутри этого запроса, когда нужны и язык, и контекст сценария. Сохраняйте расшифровку на реально произнесённых языках, не воспринимая расшифровку как инструкцию перевода.

Модель также используется в других процессах расшифровки AssemblyAI, тогда как требования коротких клипов и поля результата профиля Sync принадлежат этому конкретному интерфейсу. Процесс Dictation производителя добавляет отдельный этап очистки текста; расшифровка и переписанное сообщение — разные артефакты. Сохраняйте распознанную речь, если последующая правка или краткое изложение создаёт очищенную версию, чтобы исходная формулировка оставалась доступной для сравнения.

Полезные результаты включают расшифрованное голосовое сообщение, завершённую реплику для ассистента, короткий текст аудио с поиском или список слов с временными метками для интерфейса проверки. Сверьте ключевые слова с записью, зафиксируйте все случаи отсутствия временной привязки и связь клипа с возвращённым текстом. Результат распознавания даёт следующему шагу приложения расшифровку с опорой на источник; ответ на просьбу или редактирование сообщения относится к окружающему процессу.