Fish Audio: S2.1 Pro

S2.1 Pro est le modèle de synthèse vocale de génération S2 plus récent de Fish Audio, destiné à la narration expressive et aux applications vocales conversationnelles. Il améliore la qualité vocale, la latence et le débit par rapport à S2 Pro, tout en conservant le contrôle de l’interprétation en langage naturel et le dialogue natif à plusieurs locuteurs. S2.1 Pro et S2.1 Pro Free partagent le modèle vocal sous-jacent.

Pour une explication narrée, fournissez la formulation terminée, la voix souhaitée et les moments où le rythme ou l’accentuation doivent changer. Pour une application conversationnelle, synthétisez la réponse choisie par l’application et gardez son contenu factuel séparé des indications d’interprétation. Pour un échange scénarisé, définissez les locuteurs et leurs voix avant d’écrire leurs tours de parole. Un résultat utile est un passage audio complet ou un flux lisible dont les mots, l’interprétation et les rôles des locuteurs respectent ce brief.

Écrivez les mots qui doivent réellement être prononcés, puis placez une instruction juste avant le passage dont l’interprétation doit changer. Les indications entre crochets peuvent exprimer un chuchotement, une pause, une réaction, une accentuation ou un style de parole librement décrit. Placez un changement au milieu d’une phrase là où l’interprétation l’exige, et faites suivre les indications descriptives de paroles réelles. Un dossier d’explication utile sépare la formulation factuelle de la chaleur, du rythme ou de l’accentuation souhaités pour l’auditeur.

Pour un seul locuteur, sélectionnez un identifiant de voix enregistré ou fournissez un enregistrement de référence avec sa transcription. Le guide vocal du producteur recommande un échantillon propre de 10 à 30 secondes pour un conditionnement vocal instantané. Choisissez une référence dont le ton et la qualité d’enregistrement conviennent au script, et conservez la même référence pour les passages liés. La référence vocale fournit le son du locuteur ; le texte et les indications intégrées fournissent le contenu et son interprétation.

La synthèse native à plusieurs locuteurs utilise des marqueurs tels que <|speaker:0|> et <|speaker:1|>, avec un tableau ordonné d’identifiants de voix ou des groupes de références séparés. Maintenez la correspondance entre les numéros des locuteurs et cet ordre. Pour un échange pédagogique, écrivez la réplique de chaque locuteur et placez l’indication d’interprétation après le marqueur du locuteur auquel elle appartient. Cela génère un dialogue en une requête ; ce flux diffère des segments à locuteur unique séparés de S1 et de leur assemblage ultérieur.

Le flux du producteur propose des sorties MP3, WAV, PCM brut et Opus, avec MP3 par défaut. MP3 accepte 64, 128 et 192 kbps ; WAV et PCM utilisent les formats d’échantillons mono 16 bits documentés, tandis qu’Opus utilise 48 kHz. Choisissez le format pour un fichier de narration à conserver, une lecture en flux ou une chaîne audio en aval. Conservez le script complet et la sélection vocale avec l’audio pour qu’une révision ultérieure puisse modifier une ligne sans perdre l’interprétation prévue.

La vitesse peut être réglée de 0.5 à 2.0, avec des commandes de volume. La normalisation textuelle développe les nombres anglais et chinois pour une lecture naturelle. La normalisation du niveau sonore de sortie vaut true par défaut et s’applique à la famille S2 ; le même champ était sans effet sur S1. Le paramètre repetition_penalty de S1 ne modifie pas l’audio de S2.1 Pro ; un ancien réglage ne doit donc pas être considéré comme une commande effective pour ce modèle. Vérifiez directement les sons répétés et la formulation plutôt que de vous fier à un paramètre hérité pour établir le résultat.

Les scripts plus longs sont traités par blocs. La plage documentée de longueur des blocs est de 100 à 300, et max_new_tokens est un budget de tokens audio par bloc plutôt qu’une garantie de durée totale. Le conditionnement sur le bloc précédent peut transmettre le contexte vocal au suivant. Le flux de restitution du producteur décrit l’audio complet, les blocs audio progressifs et la diffusion de texte en direct lorsque le script arrive progressivement. Choisissez la méthode de consommation adaptée à l’application et conservez assez de contexte du script pour la prononciation et le ton du passage suivant.

Pour obtenir un livrable final utile, écoutez les mots omis ou répétés, la prononciation des nombres, les changements de locuteur, les pauses et l’intensité des indications. Des références vocales différentes peuvent interpréter une indication avec des intensités différentes ; commencez donc par une ligne dirigée simple avant d’ajouter des balises concurrentes. Pour un travail multilingue, fournissez le script dans la langue cible au lieu de demander au modèle vocal d’en inventer ou d’en traduire le contenu. Une révision ciblée modifie la ligne, l’indication ou la référence responsable de l’écart, tout en conservant les parties de l’interprétation qui correspondent déjà au brief.