Fish Audio: S2.1 Pro

S2.1 Pro est un modèle de synthèse vocale ultérieur de la génération S2 de Fish Audio, conçu pour la narration expressive et les applications vocales conversationnelles. Il améliore la qualité de la parole, la latence et le débit par rapport à S2 Pro, tout en conservant le contrôle de l’interprétation en langage naturel et les dialogues natifs à plusieurs voix. S2.1 Pro et S2.1 Pro Free partagent le même modèle vocal sous-jacent.

Pour une explication narrée, fournissez le texte terminé, la voix souhaitée et les moments où le rythme ou l’accentuation doivent changer. Pour une application conversationnelle, synthétisez la réponse choisie par l’application et distinguez son contenu factuel des indications d’interprétation. Pour un échange scénarisé, définissez les locuteurs et leurs voix avant de rédiger leurs répliques. Un résultat utile est un passage audio complet ou un flux lisible dont les mots, l’interprétation et les rôles des locuteurs correspondent à cette consigne.

Rédigez les mots qui doivent réellement être prononcés, puis placez une consigne immédiatement avant le passage dont l’interprétation doit changer. Les indications entre crochets peuvent exprimer un chuchotement, une pause, une réaction, une accentuation ou un style de diction libre. Placez un changement au milieu d’une phrase à l’endroit où l’interprétation l’exige, et faites suivre les indications descriptives de paroles à prononcer. Une bonne consigne pour une explication distingue le contenu factuel de la chaleur, du rythme ou de l’accentuation souhaités pour l’auditeur.

Pour une seule personne, sélectionnez un identifiant de voix enregistré ou fournissez un enregistrement de référence avec sa transcription. Le guide de synthèse vocale du fabricant recommande un échantillon propre de 10 à 30 secondes pour le conditionnement vocal instantané. Choisissez une référence dont le ton et la qualité d’enregistrement conviennent au texte, et conservez-la pour les passages connexes. La référence vocale fournit le son de la voix; le texte et les indications intégrées fournissent le contenu et son interprétation.

La synthèse native à plusieurs voix utilise des marqueurs comme <|speaker:0|> et <|speaker:1|>, associés à un tableau ordonné d’identifiants de voix ou à des groupes de références distincts. Faites correspondre les étiquettes numériques des locuteurs à cet ordre. Pour un échange pédagogique, rédigez la réplique de chaque personne et placez l’indication d’interprétation après son marqueur, à l’endroit approprié. Cette méthode génère un dialogue en une seule requête; elle diffère du fonctionnement de S1, qui produit des segments distincts à une seule voix avant leur assemblage.

Le processus du fabricant propose des sorties MP3, WAV, PCM brut et Opus, avec MP3 comme format par défaut. MP3 prend en charge 64, 128 et 192 kbit/s; WAV et PCM utilisent les formats d’échantillons mono sur 16 bits documentés, tandis qu’Opus utilise 48 kHz. Choisissez le format selon la destination : fichier de narration conservé, lecture en continu ou chaîne de traitement audio en aval. Conservez le texte complet et la sélection de voix avec l’audio pour qu’une modification ultérieure puisse viser une réplique sans perdre l’interprétation souhaitée.

La vitesse peut être réglée de 0.5 à 2.0, avec des commandes de volume. La normalisation du texte développe les nombres en anglais et en chinois pour une lecture naturelle. La normalisation du volume sonore de sortie vaut true par défaut et s’applique à la famille S2; ce même champ n’avait aucun effet sur S1. Le paramètre repetition_penalty de S1 ne modifie pas l’audio de S2.1 Pro : un ancien réglage ne doit donc pas être considéré comme une commande efficace pour ce modèle. Évaluez directement les sons et les mots répétés plutôt que de vous fier à un paramètre repris d’une autre version pour établir le résultat.

Les textes plus longs sont traités par blocs. La plage de longueur des blocs documentée va de 100 à 300, et max_new_tokens représente un budget de jetons audio par bloc plutôt qu’une garantie de durée totale. Le conditionnement à partir du bloc précédent peut transmettre le contexte vocal au suivant. Le processus de livraison du fabricant décrit l’audio complet, les blocs audio progressifs et la diffusion de texte en direct lorsque le texte arrive graduellement. Choisissez le mode de réception adapté à l’application et conservez suffisamment de contexte textuel pour la prononciation et le ton du passage suivant.

Pour obtenir un livrable utile, écoutez les mots omis ou répétés, la prononciation des nombres, les changements de locuteur, les pauses et l’intensité des indications. Selon la référence vocale, une même consigne peut être interprétée avec plus ou moins de force; commencez donc par une réplique comportant une indication simple avant d’ajouter des étiquettes concurrentes. Pour un travail multilingue, fournissez le texte dans la langue cible plutôt que de demander au modèle vocal d’inventer ou de traduire son contenu. Une révision ciblée modifie la réplique, l’indication ou la référence responsable de l’écart, tout en conservant les éléments de l’interprétation qui correspondent déjà à la consigne.