Fish Audio: S2 Pro

S2 Pro est le modèle de synthèse vocale de deuxième génération de Fish Audio pour la narration expressive, les dialogues de personnages et la production vocale conversationnelle. Il transforme un texte écrit en audio et prend en charge les indications en langage naturel au niveau du mot ou de l’expression. La génération S1 précédente utilise des indications entre parenthèses, tandis que S2 Pro utilise nativement des crochets et prend en charge plusieurs locuteurs dans une seule requête de synthèse. Le fabricant publie les poids de S2 Pro et le code de réglage fin pour des travaux distincts de personnalisation; une requête vocale ordinaire utilise le modèle sélectionné plutôt que d’en entraîner un nouveau.

Rédigez d’abord le contenu à prononcer, puis placez une indication d’interprétation immédiatement avant le mot ou l’expression qu’elle doit modifier. Les indications peuvent décrire un chuchotement, une réaction, une pause, un changement émotionnel ou un style de diction libre. Pour une courte explication de produit, gardez la phrase factuelle claire et accentuez seulement les éléments dont l’auditeur doit percevoir la distinction. Pour une réplique de personnage, décrivez le changement émotionnel au moment où il se produit plutôt que d’imposer la même humeur à tout le passage.

Les étiquettes entre crochets sont des descriptions libres plutôt qu’un menu fermé. Les exemples comprennent [whispering], [sigh], [long pause] et une expression comme [speaking slowly, almost hesitant]. Les étiquettes peuvent apparaître au milieu d’une phrase et modifier les paroles qui suivent. Une étiquette descriptive doit être suivie d’un texte à prononcer; une consigne isolée peut produire un résultat imprévisible. Commencez par une ou deux indications utiles avant d’en superposer plusieurs, car des étiquettes concurrentes peuvent brouiller l’interprétation souhaitée. Des références vocales différentes peuvent réagir à la même indication avec une intensité différente.

La publication de S2 décrit environ 80 langues et donne des exemples d’indications d’interprétation rédigées dans la même langue que le texte. Préparez les mots dans la langue à prononcer et préservez les noms, les unités et les abréviations qui demandent une lecture particulière. Une narration multilingue peut conserver la voix souhaitée en changeant de langue, mais le livrable doit tout de même être écouté pour vérifier la prononciation et la continuité. La synthèse prononce le contenu fourni plutôt que de décider des renseignements que l’application doit communiquer.

Pour un seul locuteur, choisissez un identifiant de voix enregistré ou fournissez un audio de référence avec sa transcription correspondante. Le fabricant recommande un échantillon propre de 10 à 30 secondes pour le conditionnement instantané. Pour un dialogue, utilisez des marqueurs de locuteur comme <|speaker:0|> et <|speaker:1|>, avec une liste ordonnée d’identifiants de voix ou des groupes de références distincts pour chaque personne. Le marqueur numérique sélectionne l’entrée vocale correspondante; gardez cet ordre fixe pendant la conversation. Les indications d’interprétation en langage naturel et la sélection du locuteur ont des rôles distincts dans le texte.

La sortie audio peut être en MP3, WAV, PCM brut ou Opus. MP3 utilise 128 kbit/s par défaut et propose 64 ou 192 kbit/s; la sortie Opus utilise 48 kHz, tandis que WAV et PCM prennent en charge leurs choix de fréquences d’échantillonnage documentés en mono sur 16 bits. Choisissez le format selon sa destination réelle : fichier conservé pour une narration ou blocs audio adaptés à la lecture. Le processus vocal du fabricant décrit aussi la diffusion de texte en direct lorsque le texte arrive progressivement. Le résultat généré doit rester associé au texte complet et aux voix sélectionnées.

La vitesse peut être réglée entre 0.5 et 2.0, avec des commandes de volume et de normalisation du volume sonore de sortie. La normalisation du texte améliore la lecture des nombres en anglais et en chinois. Le traitement utilise des blocs dans une plage de 100 à 300 et un budget de jetons audio par bloc; ces réglages ne doivent donc pas être interprétés comme une longueur maximale fixe pour toute une narration. Le conditionnement à partir du bloc précédent peut transmettre le contexte vocal au segment suivant. Les commandes d’échantillonnage comme temperature et top-p influencent la variation; même une réplique délibérément dirigée a besoin d’un texte et d’un contexte suffisants pour porter le son souhaité.

Une bonne consigne de production distingue la narration, le dialogue et les indications d’interprétation, puis précise la voix et le format du livrable. Écoutez les mots manquants, les répétitions audio, la prononciation des nombres, les changements de locuteur et le moment d’une réaction. Révisez la réplique ou la référence vocale responsable de l’écart plutôt que de supposer qu’ajouter des étiquettes améliorera tous les passages. S2 Pro demeure un modèle S2 distinct de génération précédente; S2.1 Pro est l’édition ultérieure, avec ses propres améliorations et comportements de réglage.