ElevenLabs: Eleven v4

Eleven v4 est le modèle de synthèse vocale expressive d’ElevenLabs pour les contenus produits, la narration et l’interprétation de personnages. Sa nouvelle architecture utilise le contexte du script pour façonner qui parle, ce qui s’est passé et la manière dont la phrase suivante doit sonner. L’entrée est un script écrit associé à une voix choisie ; la sortie est de l’audio. Le fabricant met en avant les dialogues émotionnels, la production de livres audio, l’animation et les jeux, ainsi que les projets multilingues comme des applications caractéristiques.

Des indications peuvent être écrites dans le script au moyen de balises audio intégrées. Des balises telles que [laughs], [whispers] et [door slams] peuvent décrire une interprétation vocale, un événement non verbal ou un son dans la scène. La mise à jour documentée de v4 améliore le suivi d’une séquence de ces indications par rapport à v3. Pour un court moment dramatique, écrivez les mots réellement prononcés et placez l’indice d’interprétation à l’endroit où il importe, plutôt que d’ajouter à la fin une liste d’émotions sans rapport.

Les pauses et l’accentuation utilisent des indications audio en langue naturelle. ElevenLabs documente [pause] et [long pause] pour les pauses et des indices tels que [excited] ou [sighs] pour l’interprétation. Les balises SSML <break> sont désactivées pour v4 ; un ancien script les utilisant doit donc être adapté au format d’indications de v4. Une balise nomme l’interprétation souhaitée ; elle ne fixe pas à elle seule un nombre exact de millisecondes et ne garantit pas une durée finale fixe.

Le processus de dialogue du producteur prend en charge plusieurs locuteurs, permettant à une scène de contenir des voix distinctes et des événements sonores. Son profil WebSocket de dialogue v4 prend en charge jusqu’à dix voix enregistrées, tandis que celui de v4 Turbo en utilise une. Préparez un ordre clair des tours de parole et gardez chaque phrase associée à la voix visée. Un échange illustratif pourrait passer d’une question doucement incertaine à une réponse assurée, puis à une réaction soulagée. Le contenu et la transition émotionnelle doivent être compréhensibles à partir du script lui-même. Pour un narrateur unique, utilisez la même clarté pour distinguer la narration d’une citation ou d’un changement d’ambiance.

Eleven v4 prend en charge plus de 90 langues, dont l’anglais, le français, l’allemand, le japonais, l’espagnol, le portugais et le russe. Le fabricant décrit une qualité vocale cohérente lors des changements de langue. Choisissez une voix et une prononciation adaptées à la langue et à la région de l’enregistrement visé ; la langue du script et le caractère de la voix comptent tous les deux. Pour une leçon localisée, traduisez d’abord les mots parlés et préservez le sens, la terminologie et les indices d’interprétation dans le nouveau script.

Une génération prend en charge jusqu’à 10 000 caractères. Les travaux plus longs sont préparés en plusieurs générations reliées, avec un raccordement du contexte destiné à garder le rythme et l’interprétation cohérents entre les segments. Divisez un chapitre à une limite naturelle de phrase ou de scène et conservez le contexte autour de cette limite. Le fabricant décrit aussi une identité de locuteur stable lorsqu’une phrase est régénérée. Cela sert à réviser un passage tout en gardant la même distribution de voix et le même style d’interprétation dans le matériau environnant.

V4 prend en charge les Instant Voice Clones et les Professional Voice Clones dans le processus du producteur ElevenLabs. ElevenLabs souligne leur retour dans v4 ; son guide de prompts v3 indique que les Professional Voice Clones ne sont pas entièrement optimisés pour v3. Les Instant Voice Clones ou Professional Voice Clones créés avant le lancement de v4 doivent être réentraînés pour v4 afin de fonctionner efficacement avec le modèle. Le clonage vocal crée ou prépare la voix utilisée pour la synthèse ; il est distinct de la conversion du script fourni en parole. L’identité du modèle n’impose pas une voix unique par défaut ; choisissez donc la voix selon le narrateur ou le personnage, plutôt que de supposer que le nom du modèle détermine un locuteur.

Le fabricant documente MP3 pour l’écoute générale et la fourniture de médias, WAV ou PCM pour l’audio non compressé de production et μ-law pour la téléphonie. Son API contrôle la fréquence d’échantillonnage et le débit du format choisi. Les dictionnaires de prononciation peuvent définir la prononciation des noms, des acronymes et des termes techniques. V4 reconnaît aussi les transcriptions IPA standards encadrées de barres obliques, telles que /IPA_transcription/, avec des marqueurs d’accentuation pour les termes de plusieurs syllabes ; la prononciation peut néanmoins varier avec la voix et la phrase. Préparez les termes requis avant la production et gardez leurs formes parlées souhaitées cohérentes au fil des révisions. Le profil du producteur v4 utilise les réglages vocaux Stability et Similarity ; les curseurs Style et Speed ne sont pas disponibles. Le rythme et l’interprétation émotionnelle sont dirigés au moyen du script et des balises audio.

Pour un cahier des charges concret de narration, fournissez une scène terminée, la voix visée, la langue, la progression émotionnelle et la destination de l’audio. Par exemple : « Lisez l’ouverture calmement, faites une pause avant la découverte et donnez un ton soulagé à la dernière phrase ; gardez le ton du narrateur cohérent. » Vérifiez la prononciation, les changements de locuteur, les balises ou événements audibles et les transitions entre les passages. Le livrable utile est un enregistrement vocal produit lié au script, avec une prise sélectionnée et les indications nécessaires à la révision d’une phrase particulière.