Fish Audio: S1

S1 est le modèle de synthèse vocale de génération précédente de Fish Audio pour la narration expressive et la sortie vocale à un seul locuteur. Il lit un script fourni et renvoie de l’audio dans une voix choisie ou conditionnée par une référence. Le modèle S1 complet est distinct de S1-mini, le modèle distillé plus petit ; le producteur les présente comme des variantes de 4 milliards et de 0,5 milliard de paramètres respectivement. Ce profil couvre le modèle nommé S1.

Pour une narration, préparez les mots qui doivent réellement être prononcés et repérez les endroits où l’interprétation doit changer. Un script d’explication utile énonce son idée principale en premier, développe une idée à la fois et utilise la ponctuation pour séparer les phrases nécessitant une pause naturelle. Pour une courte instruction, gardez la formulation claire lorsqu’elle est entendue sans écran. Préservez la lecture visée des noms, des abréviations et des unités et vérifiez les nombres dans la sortie parlée, plutôt que de supposer qu’une chaîne lisible visuellement possède une seule prononciation.

S1 utilise des indices d’émotion et d’interprétation entre parenthèses, tels que (angry), (sad), (in a hurry) ou (chuckling). Placez un indice avant la phrase ou l’expression qu’il doit influencer, avec la parole réelle après lui. L’interprétation concerne le texte qui suit ; un changement d’ambiance doit donc apparaître à l’endroit où l’interprétation doit changer. Cette syntaxe diffère des indications entre crochets de S2 ; gardez le script écrit pour la génération sélectionnée, plutôt que de supposer que les deux formes de balisage sont interchangeables.

Une voix peut être choisie au moyen d’un identifiant vocal enregistré ou conditionnée à partir d’un enregistrement de référence et de sa transcription. Pour un processus instantané de référence, le guide général de parole recommande un échantillon propre de 10 à 30 secondes. Choisissez un échantillon dont le style de parole et la qualité d’enregistrement correspondent au résultat visé et faites correspondre la transcription aux mots de cet échantillon. Pour un narrateur récurrent, réutilisez la même référence vocale entre les passages afin qu’un changement de sujet ne devienne pas involontairement un changement de personnage.

La publication S1 cite notamment l’anglais, le chinois, le japonais, l’allemand, le français, l’espagnol, le coréen, l’arabe, le russe, le néerlandais, l’italien, le polonais et le portugais parmi les langues prises en charge et décrit le mélange de langues au sein d’un script. Fournissez la formulation dans la langue cible, plutôt que de traiter la synthèse vocale comme une étape de traduction. Pour un passage comportant un nom emprunté ou un changement de langue, gardez clairs la graphie et le contexte de la phrase environnante et vérifiez comment la voix choisie gère cette transition.

L’interface du producteur de S1 prend en charge un locuteur par requête de synthèse. Un dialogue peut être préparé en segments distincts avec leurs propres références vocales, puis assemblé par l’application ; la synthèse native à plusieurs locuteurs de la famille S2 est une capacité distincte. Gardez le rôle, la voix et le texte associés à chaque segment lorsque vous préparez des phrases de personnages. Le résultat de synthèse est une interprétation audio du script, tandis que le calage temporel d’un échange ou sa combinaison avec de la musique et de la vidéo relèvent d’une étape ultérieure de montage.

Les options de sortie comprennent MP3, WAV, le PCM brut et Opus, avec MP3 par défaut. La sortie documentée est mono ; WAV et PCM utilisent des échantillons de 16 bits et les choix de fréquence d’échantillonnage diffèrent selon le format. MP3 prend en charge 64, 128 et 192 kbps, tandis qu’Opus utilise 48 kHz. La vitesse peut être ajustée de 0.5 à 2.0 avec des commandes de volume. Choisissez un fichier encodé pour un artefact de voix off ou un flux adapté à la lecture et conservez la voix choisie et le script avec le résultat.

Le producteur traite les textes longs par segments, avec une plage documentée de longueur de segment de 100 à 300 et un budget de tokens audio par segment, plutôt qu’une durée globale garantie d’enregistrement. La normalisation textuelle peut développer les nombres anglais et chinois en une lecture naturelle et la pénalité de répétition de S1 peut réduire les motifs audio répétés. La normalisation de sonie de sortie est un réglage différent qui n’a aucun effet sur S1. Examinez la prononciation, les limites de phrases, les sons répétés et le changement émotionnel visé avant d’assembler le passage terminé, puis révisez la phrase ou la référence précise qui nécessite une attention.