Fish Audio: S2 Pro

S2 Pro — модель преобразования текста в речь второго поколения Fish Audio для выразительного озвучивания, диалогов персонажей и разговорного голосового вывода. Она превращает письменный сценарий в аудио и поддерживает указания на естественном языке на уровне слова или фразы. Предыдущее поколение S1 использует подсказки в круглых скобках, а S2 Pro изначально использует квадратные и поддерживает нескольких говорящих в одном запросе синтеза. Производитель публикует веса S2 Pro и код дообучения для отдельных задач настройки; обычный речевой запрос использует выбранную модель, а не обучает новую.

Сначала напишите произносимый текст, затем разместите указание подачи непосредственно перед словом или фразой, на которые оно должно повлиять. Указания могут описывать шёпот, реакцию, паузу, эмоциональный переход или произвольно заданный стиль речи. Для короткого объяснения продукта сохраняйте понятную фактическую формулировку и расставляйте акценты только там, где слушатель должен заметить различие. Для реплики персонажа описывайте эмоциональный переход в момент его возникновения, а не задавайте всему отрывку одно неизменное настроение.

Теги в квадратных скобках — свободные описания, а не закрытый список. Примеры: [whispering], [sigh], [long pause] и фраза [speaking slowly, almost hesitant]. Теги могут стоять посреди предложения и влияют на последующую речь. После описательного тега нужен произносимый текст; отдельная инструкция может дать непредсказуемый вывод. Начинайте с одного-двух полезных указаний, прежде чем усложнять их: конкурирующие теги могут размыть задуманное исполнение. Разные образцы голосов могут реагировать на одинаковое указание с разной интенсивностью.

В описании выпуска S2 говорится примерно о 80 языках и приводятся примеры указаний подачи на том же языке, что и сценарий. Готовьте текст на языке, который должен прозвучать, и сохраняйте имена, единицы измерения и сокращения, требующие определённого произношения. Многоязычное озвучивание может сохранять нужный голос при смене языка сценария, но итоговое аудио всё равно нужно прослушивать, проверяя произношение и непрерывность. Синтез превращает предоставленное содержание в речь, а не решает, какую информацию должно сообщить приложение.

Для одного говорящего выберите сохранённый идентификатор голоса либо предоставьте эталонное аудио и соответствующую расшифровку. Производитель рекомендует чистый образец длиной 10–30 секунд для мгновенной настройки по голосу. Для диалога используйте метки говорящих, например <|speaker:0|> и <|speaker:1|>, с упорядоченным списком идентификаторов голосов или отдельными группами образцов. Числовая метка выбирает соответствующий голос; сохраняйте порядок по ходу разговора. Указания исполнения на естественном языке и выбор говорящего выполняют разные функции в сценарии.

Аудиовывод может быть MP3, WAV, необработанным PCM или Opus. MP3 по умолчанию использует 128 kbps, также доступны 64 и 192 kbps; Opus использует 48 kHz, а WAV и PCM поддерживают документированные варианты частоты дискретизации в виде 16-битного моно. Выбирайте формат для фактического назначения: сохранённый файл для озвучивания либо подходящие аудиофрагменты для воспроизведения. Производитель также описывает живую потоковую передачу текста, когда сценарий поступает постепенно. Связывайте сгенерированный результат с полным сценарием и выбранными голосами.

Скорость регулируется от 0,5 до 2,0; также есть настройки громкости и нормализации громкости вывода. Нормализация текста улучшает произношение английских и китайских чисел. Обработка использует части в диапазоне 100–300 и бюджет аудиотокенов на часть, поэтому эти настройки не следует считать фиксированным ограничением длины всего озвучивания. Настройка по предыдущей части может переносить голосовой контекст в следующий сегмент. Параметры сэмплирования, например temperature и top-p, влияют на вариативность; даже для реплики с заданной подачей нужно достаточно текста и контекста, чтобы передать желаемое звучание.

Полезное производственное задание разделяет озвучивание, диалог и указания подачи, а затем задаёт голос и формат итогового материала. При прослушивании проверяйте, нет ли пропущенных слов и повторов аудио, и оценивайте произношение чисел, смены говорящих и момент реакции. Дорабатывайте строку или образец голоса, вызвавшие несоответствие, вместо предположения, что дополнительные теги улучшат любой отрывок. S2 Pro остаётся отдельной моделью предыдущего поколения S2; S2.1 Pro — более поздняя редакция со своими улучшениями и особенностями действия настроек.