Fish Audio: S2.1 Pro

S2.1 Pro é o modelo posterior da geração S2 de conversão de texto em voz da Fish Audio para narração expressiva e aplicações de voz conversacional. Melhora a qualidade da voz, a latência e a capacidade de processamento face a S2 Pro, preservando o controlo da interpretação em linguagem natural e o diálogo nativo com vários intervenientes. S2.1 Pro e S2.1 Pro Free partilham o modelo de voz subjacente.

Para uma explicação narrada, forneça o texto acabado, a voz pretendida e os momentos em que o ritmo ou a ênfase devem mudar. Para uma aplicação de conversação, sintetize a resposta selecionada pela aplicação e mantenha o seu conteúdo factual separado das indicações de interpretação. Para uma troca com guião, defina os intervenientes e as respetivas vozes antes de escrever os seus turnos. Um resultado útil é uma passagem de áudio completa ou um fluxo reproduzível cujas palavras, interpretação e funções dos intervenientes correspondam a esse pedido.

Escreva as palavras que devem efetivamente ser pronunciadas e coloque depois uma instrução imediatamente antes da passagem cuja interpretação deve mudar. As indicações entre parênteses retos podem exprimir um sussurro, uma pausa, uma reação, ênfase ou um estilo de fala livre. Coloque uma mudança a meio de uma frase no ponto em que a interpretação a exige e faça seguir as indicações descritivas de fala efetiva. Um pedido útil para uma explicação distingue a formulação factual do calor, ritmo ou ênfase desejados para o ouvinte.

Para um interveniente, selecione um identificador de voz guardado ou forneça uma gravação de referência com a respetiva transcrição. O guia de voz do produtor recomenda uma amostra limpa de 10–30 segundos para condicionamento instantâneo da voz. Escolha uma referência com o tom e a qualidade de gravação adequados ao guião e preserve a mesma referência nas passagens relacionadas. A referência de voz fornece o som do interveniente; o texto e as indicações inseridas fornecem o conteúdo e a sua interpretação.

A síntese nativa com vários intervenientes utiliza marcadores como <|speaker:0|> e <|speaker:1|>, com um array ordenado de identificadores de voz ou grupos de referência separados. Mantenha os rótulos numéricos dos intervenientes alinhados com essa ordem. Para uma troca instrutiva, escreva a fala de cada interveniente e coloque a indicação de interpretação depois do marcador de interveniente a que pertence. Isto gera um diálogo num único pedido; é um fluxo de trabalho diferente dos segmentos separados de um só interveniente de S1 e da sua montagem posterior.

O fluxo de trabalho do produtor disponibiliza saída MP3, WAV, PCM sem contentor e Opus, com MP3 como predefinição. MP3 suporta 64, 128 e 192 kbps; WAV e PCM utilizam formatos de amostras mono de 16 bits documentados, enquanto Opus utiliza 48 kHz. Escolha o formato para um ficheiro de narração a guardar, reprodução em fluxo ou um fluxo posterior de processamento de áudio. Mantenha o guião completo e a seleção de voz junto do áudio para permitir que uma edição posterior altere uma fala sem perder a interpretação pretendida.

A velocidade pode ser ajustada de 0.5 a 2.0, com controlos de volume. A normalização do texto expande números em inglês e chinês para uma leitura natural. A normalização do nível sonoro da saída tem o valor predefinido true e aplica-se à família S2; o mesmo campo não tinha efeito em S1. O parâmetro repetition_penalty de S1 não altera o áudio de S2.1 Pro, pelo que uma definição antiga não deve ser tratada como um controlo eficaz deste modelo. Reveja diretamente os sons e as palavras repetidos, em vez de confiar num parâmetro herdado para comprovar o resultado.

Guiões mais longos são processados em blocos. O intervalo documentado de comprimento dos blocos é de 100–300 e max_new_tokens é um limite de tokens de áudio por bloco, em vez de uma garantia de duração total. O condicionamento pelo bloco anterior pode transportar o contexto da voz para a frente. O fluxo de entrega do produtor descreve áudio completo, blocos de áudio incrementais e transmissão de texto em direto quando o guião chega progressivamente. Escolha o método de consumo da aplicação e preserve contexto suficiente do guião para a pronúncia e o tom da passagem seguinte.

Para obter um resultado final útil, ouça e verifique palavras omitidas ou repetidas, pronúncia de números, mudanças de interveniente, pausas e a intensidade das indicações. Diferentes referências de voz podem interpretar uma indicação com intensidades diferentes, pelo que deve começar por uma fala simples com uma indicação antes de acrescentar etiquetas concorrentes. Em trabalho multilingue, forneça o guião no idioma de destino em vez de pedir ao modelo de voz que invente ou traduza o seu conteúdo. Uma revisão focada altera a fala, indicação ou referência responsável pelo desajuste, preservando as partes da interpretação que já correspondem ao pedido.