Fish Audio: S2 Pro

S2 Pro é o modelo de segunda geração de conversão de texto em voz da Fish Audio para narração expressiva, diálogo de personagens e respostas de voz em conversação. Transforma um guião escrito em áudio e suporta indicações em linguagem natural ao nível da palavra ou da expressão. A geração anterior S1 utiliza indicações entre parênteses curvos, enquanto S2 Pro utiliza nativamente parênteses retos e suporta vários intervenientes num único pedido de síntese. O fabricante disponibiliza os pesos de S2 Pro e código de ajuste fino para trabalho de personalização separado; um pedido de voz normal utiliza o modelo selecionado em vez de treinar um novo.

Escreva primeiro o conteúdo falado e coloque depois uma instrução de interpretação imediatamente antes da palavra ou expressão que deve afetar. As indicações podem descrever um sussurro, uma reação, uma pausa, uma mudança emocional ou um estilo de fala livre. Para uma explicação curta de produto, mantenha a frase factual clara e coloque ênfase apenas onde o ouvinte deve notar uma distinção. Para uma fala de personagem, descreva a mudança emocional no momento em que ocorre, em vez de atribuir um único estado de espírito fixo à passagem inteira.

As etiquetas entre parênteses retos são descrições de domínio aberto, em vez de um menu fechado. Os exemplos incluem [whispering], [sigh], [long pause] e uma expressão como [speaking slowly, almost hesitant]. As etiquetas podem surgir a meio de uma frase e afetam a fala que se segue. Uma etiqueta descritiva precisa de texto efetivo a seguir; uma instrução isolada pode produzir resultados imprevisíveis. Comece por uma ou duas indicações úteis antes de acrescentar camadas, pois etiquetas concorrentes podem dificultar a interpretação pretendida. Diferentes referências de voz podem responder à mesma indicação com intensidades diferentes.

A versão S2 descreve aproximadamente 80 idiomas e apresenta exemplos de indicações de interpretação escritas no mesmo idioma do guião. Prepare o texto no idioma em que deve ser pronunciado e preserve nomes, unidades e abreviaturas que exijam uma leitura específica. Uma narração multilingue pode manter a voz pretendida ao mudar o idioma do guião, mas o resultado final continua a exigir escuta para verificar pronúncia e continuidade. A síntese produz o conteúdo fornecido em voz, em vez de decidir as informações que a aplicação deve transmitir.

Para um só interveniente, escolha um identificador de voz guardado ou forneça áudio de referência e a transcrição correspondente. O produtor recomenda uma amostra limpa de 10–30 segundos para condicionamento instantâneo. Para diálogo, utilize marcadores de interveniente como <|speaker:0|> e <|speaker:1|>, com uma lista ordenada de identificadores de voz ou grupos de referência separados para os intervenientes. O marcador numérico seleciona a entrada de voz correspondente; mantenha a ordem fixa à medida que a conversa avança. As indicações de interpretação em linguagem natural e a seleção de intervenientes têm funções diferentes no guião.

A saída de áudio pode ser MP3, WAV, PCM sem contentor ou Opus. MP3 tem a predefinição de 128 kbps e disponibiliza 64 ou 192 kbps; a saída Opus utiliza 48 kHz, enquanto WAV e PCM suportam as suas opções de taxa de amostragem documentadas em mono de 16 bits. Escolha o formato em função do destino efetivo: um ficheiro a guardar para narração ou blocos de áudio adequados para reprodução. O fluxo de voz do produtor descreve também transmissão de texto em direto quando o guião chega progressivamente. O resultado gerado deve manter-se associado ao guião completo e às vozes selecionadas.

A velocidade pode ser ajustada entre 0.5 e 2.0, com controlos de volume e de normalização do nível sonoro da saída. A normalização do texto melhora a leitura de números em inglês e chinês. O processamento utiliza blocos num intervalo de 100–300 e um limite de tokens de áudio por bloco, pelo que estas definições não devem ser interpretadas como um comprimento máximo fixo para uma narração inteira. O condicionamento pelo bloco anterior pode transportar o contexto da voz para o segmento seguinte. Os controlos de amostragem, como temperature e top-p, influenciam a variação; mesmo uma fala orientada deliberadamente precisa de texto e contexto suficientes para transmitir o som pretendido.

Um pedido de produção útil distingue narração, diálogo e indicações de interpretação, indicando depois a voz e o formato do resultado. Ouça e verifique palavras em falta, áudio repetido, pronúncia de números, mudanças de interveniente e o momento de uma reação. Reveja a fala ou a referência de voz responsável pelo desajuste, em vez de assumir que mais etiquetas melhorarão todas as passagens. S2 Pro continua a ser um modelo S2 distinto de uma geração anterior; S2.1 Pro é a edição posterior, com as suas próprias melhorias e comportamento específico das definições.