Fish Audio: S2 Pro

S2 Pro es el modelo de texto a voz de segunda generación de Fish Audio para narración expresiva, diálogos de personajes y salida de voz conversacional. Convierte un guion escrito en audio y admite dirección mediante lenguaje natural a nivel de palabra o frase. La generación anterior S1 usa indicaciones entre paréntesis, mientras que S2 Pro usa corchetes de forma nativa y admite varios hablantes dentro de una sola solicitud de síntesis. El fabricante publica los pesos de S2 Pro y código de ajuste fino para trabajos separados de personalización; una solicitud de voz normal usa el modelo seleccionado en lugar de entrenar uno nuevo.

Escribe primero el contenido hablado y después coloca una instrucción de interpretación inmediatamente antes de la palabra o frase a la que deba afectar. Las indicaciones pueden describir un susurro, una reacción, una pausa, un cambio emocional o un estilo de habla descrito libremente. Para una explicación breve de producto, mantén clara la oración factual y coloca énfasis solo donde el oyente deba notar una diferencia. Para una intervención de personaje, describe el cambio emocional en el momento en que ocurre en lugar de mantener todo el pasaje en un estado de ánimo fijo.

Las etiquetas entre corchetes son descripciones de dominio abierto, no un menú cerrado. Algunos ejemplos son [whispering], [sigh], [long pause] y una frase como [speaking slowly, almost hesitant]. Las etiquetas pueden aparecer a mitad de una oración y afectan al habla que les sigue. Una etiqueta descriptiva necesita texto real a continuación; una instrucción aislada puede producir una salida impredecible. Comienza con una o dos indicaciones útiles antes de añadir capas, ya que las etiquetas que compiten entre sí pueden ocultar la interpretación que buscabas. Distintas referencias de voz pueden responder a la misma indicación con diferente intensidad.

La publicación de S2 describe aproximadamente 80 idiomas y ofrece ejemplos de instrucciones de interpretación escritas en el mismo idioma que el guion. Prepara la redacción en el idioma que deba pronunciarse y conserva los nombres, las unidades y las abreviaturas que requieran una lectura específica. Una narración multilingüe puede mantener la voz prevista mientras cambia el idioma del guion, pero el entregable final sigue necesitando escucha para revisar pronunciación y continuidad. La síntesis produce el contenido proporcionado como voz, en lugar de decidir qué información debe decir la aplicación.

Para un solo hablante, elige un identificador de voz guardado o proporciona audio de referencia y su transcripción correspondiente. El productor recomienda una muestra limpia de 10–30 segundos para acondicionamiento instantáneo. Para un diálogo, usa marcadores de hablante como <|speaker:0|> y <|speaker:1|>, con una lista ordenada de identificadores de voz o grupos separados de referencias para los hablantes. El marcador numérico selecciona la entrada de voz correspondiente; mantén el orden fijo a medida que avance la conversación. Las indicaciones de interpretación en lenguaje natural y la selección de hablante cumplen funciones distintas en el guion.

La salida de audio puede ser MP3, WAV, PCM sin procesar u Opus. MP3 usa 128 kbps de forma predeterminada y ofrece 64 o 192 kbps; la salida Opus usa 48 kHz, mientras que WAV y PCM admiten sus opciones documentadas de frecuencia de muestreo en mono de 16 bits. Elige el formato según su destino real: un archivo que se conservará para narración o bloques de audio adecuados para reproducción. El flujo de voz del productor también describe streaming de texto en vivo cuando el guion llega progresivamente. El resultado generado debe permanecer asociado con el guion completo y las voces seleccionadas.

La velocidad puede ajustarse entre 0.5 y 2.0, con controles de volumen y normalización de sonoridad de salida. La normalización de texto mejora la lectura de números en inglés y chino. El procesamiento usa bloques en un rango de 100–300 y un presupuesto de tokens de audio por bloque, por lo que estos ajustes no deben interpretarse como una longitud máxima fija de toda una narración. El acondicionamiento a partir del bloque anterior puede trasladar el contexto de voz al siguiente segmento. Los controles de muestreo como temperature y top-p influyen en la variación; una línea dirigida deliberadamente sigue necesitando suficiente texto y contexto para transmitir el sonido previsto.

Un encargo útil de producción separa narración, diálogo e indicaciones de interpretación, y después establece la voz y el formato del entregable resultante. Escucha si faltan palabras, hay audio repetido, cómo se pronuncian los números, los cambios de hablante y el momento de una reacción. Revisa la línea o la referencia de voz responsable de la discrepancia en lugar de suponer que añadir etiquetas mejorará todos los pasajes. S2 Pro sigue siendo un modelo S2 independiente de una generación anterior; S2.1 Pro es la edición posterior con sus propias mejoras y comportamiento de ajustes específico del modelo.