Fish Audio: S2.1 Pro

S2.1 Pro는 표현력 있는 내레이션과 대화형 음성 애플리케이션을 위한 Fish Audio S2 세대의 후속 텍스트 음성 변환 모델입니다. 자연어 전달 제어와 기본 다중 화자 대화를 유지하면서 S2 Pro보다 음성 품질, 지연 시간, 처리량을 개선했습니다. S2.1 Pro와 S2.1 Pro Free는 같은 기반 음성 모델을 공유합니다.

내레이션 설명에는 완성된 문구, 원하는 음성, 속도나 강조를 바꿀 순간을 제공하세요. 대화형 애플리케이션에서는 애플리케이션이 선택한 답변을 합성하고 사실 내용과 연기 지시를 구분하세요. 대본이 있는 문답에서는 발화를 쓰기 전에 화자와 음성을 정하세요. 유용한 결과는 말, 전달 방식, 화자 역할이 이 요청과 일치하는 완전한 오디오 구절 또는 재생 가능한 스트림입니다.

실제로 발화할 말을 먼저 쓰고, 전달 방식을 바꿀 구절 바로 앞에 지시를 놓으세요. 대괄호 지시로 속삭임, 쉼, 반응, 강조, 자유로운 말하기 스타일을 표현할 수 있습니다. 문장 중간의 변화는 연기가 바뀌어야 할 위치에 넣고, 묘사형 지시 뒤에는 실제 발화문을 이어 쓰세요. 유용한 설명용 요청은 사실을 전달하는 문구와 청자에게 원하는 따뜻함, 속도, 강조를 구분합니다.

화자가 한 명이면 저장된 음성 식별자를 선택하거나 전사문과 함께 참조 녹음을 제공하세요. 제조사 음성 가이드는 즉석 음성 조건화에 깨끗한 10~30초 샘플을 권장합니다. 대본에 맞는 어조와 녹음 품질을 갖춘 참조를 고르고, 관련 구절에는 같은 참조를 유지하세요. 음성 참조는 화자의 소리를 제공하며, 텍스트와 인라인 지시는 내용과 연기를 제공합니다.

기본 다중 화자 합성은 <|speaker:0|>, <|speaker:1|> 같은 표식과 순서가 있는 음성 식별자 배열 또는 별도 참조 그룹을 사용합니다. 숫자 화자 표식이 그 순서와 일치하도록 유지하세요. 교육용 문답이라면 각 화자의 대사를 쓰고, 전달 지시는 해당 화자 표식 뒤의 적절한 위치에 배치하세요. 이렇게 한 요청 안에서 대화를 생성합니다. 이는 S1에서 화자별 구간을 따로 만든 뒤 조립하는 흐름과 다릅니다.

제조사의 작업 흐름은 MP3, WAV, 원시 PCM, Opus 출력을 제공하며 기본값은 MP3입니다. MP3는 64, 128, 192 kbps를 지원합니다. WAV와 PCM은 문서에 명시된 16비트 모노 샘플 형식을 사용하고, Opus는 48 kHz를 사용합니다. 보관할 내레이션 파일, 스트리밍 재생, 후속 오디오 파이프라인에 맞춰 형식을 선택하세요. 이후 편집에서 의도한 연기를 잃지 않고 한 줄을 수정할 수 있도록 전체 대본과 음성 선택을 오디오와 함께 보관하세요.

속도는 0.5~2.0 범위에서 조정할 수 있으며 음량 제어도 제공됩니다. 텍스트 정규화는 영어와 중국어 숫자를 자연스럽게 읽도록 풀어 씁니다. 출력 음량 정규화의 기본값은 true이며 S2 계열에 적용됩니다. 같은 필드는 S1에서는 효과가 없었습니다. S1의 repetition_penalty는 S2.1 Pro 오디오를 바꾸지 않으므로, 이전 설정을 이 모델에 유효한 제어로 여겨서는 안 됩니다. 이어받은 매개변수에 의존해 결과를 판단하지 말고 반복되는 소리와 문구를 직접 검토하세요.

긴 대본은 청크로 처리됩니다. 문서상 청크 길이 범위는 100~300이며, max_new_tokens는 전체 길이를 보장하는 값이 아니라 청크별 오디오 토큰 예산입니다. 이전 청크 조건화로 음성 맥락을 다음 청크에 이어 갈 수 있습니다. 제조사의 전달 흐름에는 완성된 오디오, 점진적인 오디오 청크, 대본이 조금씩 도착할 때의 실시간 텍스트 스트리밍이 설명되어 있습니다. 애플리케이션에 맞는 소비 방식을 선택하고 다음 구절의 발음과 어조에 필요한 대본 맥락을 충분히 보존하세요.

유용한 최종 결과물을 얻으려면 누락되거나 반복된 단어, 숫자 발음, 화자 전환, 쉼, 지시의 강도를 들어 보세요. 음성 참조에 따라 같은 단서도 강도가 다르게 해석될 수 있으므로, 서로 경쟁하는 태그를 추가하기 전에 간단한 지시 한 줄로 시작하세요. 다국어 작업에서는 음성 모델에 내용을 만들거나 번역해 달라고 하기보다 대상 언어의 대본을 제공하세요. 집중된 수정은 이미 요청에 맞는 부분을 유지하면서 불일치를 일으킨 문장, 단서, 참조만 바꿉니다.