Fish Audio: S2.1 Pro

S2.1 Pro — более поздняя модель преобразования текста в речь поколения S2 от Fish Audio для выразительного озвучивания и голосовых разговорных приложений. Она улучшает качество речи, задержку и пропускную способность по сравнению с S2 Pro, сохраняя управление подачей на естественном языке и встроенные диалоги нескольких говорящих. S2.1 Pro и S2.1 Pro Free используют одну базовую речевую модель.

Для озвученного объяснения предоставьте готовый текст, нужный голос и моменты, в которых следует изменить темп или акцент. Для разговорного приложения синтезируйте ответ, выбранный приложением, и отделяйте его фактическое содержание от указаний исполнения. Для сценарного диалога определите говорящих и их голоса до написания реплик. Полезный результат — полный аудиоотрывок или воспроизводимый поток, слова, подача и роли говорящих в котором соответствуют заданию.

Напишите слова, которые действительно должны прозвучать, а инструкцию помещайте непосредственно перед отрывком, подачу которого нужно изменить. Указания в квадратных скобках могут задавать шёпот, паузу, реакцию, акцент или произвольно описанный стиль речи. Изменение посреди предложения размещайте в той точке, где оно должно прозвучать, а после описательных указаний добавляйте саму речь. В полезном задании на объясняющее аудио фактический текст отделён от желаемой теплоты, темпа и акцентов для слушателя.

Для одного говорящего выберите сохранённый идентификатор голоса либо предоставьте эталонную запись с её расшифровкой. Руководство производителя по речи рекомендует чистый образец длиной 10–30 секунд для мгновенной настройки по голосу. Выбирайте образец, тон и качество записи которого подходят сценарию, и сохраняйте один и тот же образец для связанных отрывков. Образец задаёт звучание говорящего, а текст и встроенные инструкции — содержание и его подачу.

Встроенный синтез нескольких говорящих использует метки, например <|speaker:0|> и <|speaker:1|>, с упорядоченным массивом идентификаторов голосов или отдельными группами образцов. Согласуйте числовые метки говорящих с этим порядком. Для учебного диалога напишите реплику каждого говорящего и поместите указание подачи после соответствующей метки говорящего. Это создаёт диалог в одном запросе; такой сценарий отличается от отдельных сегментов с одним говорящим у S1 и их последующей сборки.

Производитель предусматривает вывод MP3, WAV, необработанного PCM и Opus; по умолчанию используется MP3. MP3 поддерживает 64, 128 и 192 kbps; WAV и PCM используют документированные 16-битные моноформаты, а Opus — 48 kHz. Выберите формат для сохранённого файла озвучивания, потокового воспроизведения или дальнейшей обработки аудио. Храните полный сценарий и выбранный голос вместе с аудио, чтобы при последующем редактировании можно было изменить одну строку, сохранив нужную подачу.

Скорость регулируется от 0,5 до 2,0; также предусмотрены настройки громкости. Нормализация текста разворачивает английские и китайские числа для естественного произношения. Нормализация громкости вывода по умолчанию равна true и применяется к семейству S2; у S1 то же поле не действовало. Параметр repetition_penalty от S1 не меняет аудио S2.1 Pro, поэтому старую настройку нельзя считать действующим средством управления этой моделью. Проверяйте повторяющиеся звуки и слова непосредственно, а не полагайтесь на перенесённый параметр как на доказательство результата.

Длинные сценарии обрабатываются частями. Документированный диапазон длины части — 100–300, а max_new_tokens задаёт бюджет аудиотокенов на часть, а не гарантированную общую длительность. Настройка по предыдущей части может переносить голосовой контекст дальше. Производитель описывает получение полного аудио, последовательных аудиофрагментов и живую потоковую передачу текста, когда сценарий поступает постепенно. Выбирайте способ потребления данных для приложения и сохраняйте достаточно контекста сценария для произношения и тона следующего отрывка.

Чтобы получить полезный итоговый материал, при прослушивании проверяйте, нет ли пропущенных или повторяющихся слов, и оценивайте произношение чисел, смены говорящих, паузы и то, насколько выраженно выполняются указания подачи. Разные образцы голоса могут передавать одну и ту же подсказку с разной интенсивностью, поэтому начинайте с простой реплики с указанием подачи, прежде чем добавлять конкурирующие теги. В многоязычной работе предоставляйте сценарий на целевом языке, не поручая речевой модели придумывать или переводить его содержание. Точечная доработка меняет строку, указание или образец, вызвавшие несоответствие, и сохраняет части исполнения, уже подходящие заданию.