ElevenLabs: Eleven v4 Turbo

Eleven v4 Turbo est l’édition de synthèse vocale expressive d’ElevenLabs conçue pour la conversation en temps réel et les réponses d’agents vocaux. Elle reçoit du texte et renvoie de l’audio parlé, en apportant l’amplitude émotionnelle de la famille v4 à un processus interactif. Le producteur distingue son objectif de celui de v4 ordinaire, réglé pour les contenus produits et la narration. Les réponses d’assistance, les explications d’assistants et les phrases de personnages interactifs sont les applications Turbo citées.

Le processus de streaming bidirectionnel du producteur peut recevoir le texte à mesure qu’il est généré et renvoyer de l’audio avant l’arrivée de l’énoncé complet. Cela réduit la nécessité d’attendre un paragraphe terminé avant le début de la parole. C’est une étape texte-audio : les mots de la réponse sont fournis au modèle de synthèse. Écouter un interlocuteur, décider de l’action à effectuer et détecter les interruptions sont des fonctions distinctes de l’application environnante d’agent vocal.

Le profil WebSocket Text to Dialogue documenté enregistre exactement une voix pour v4 Turbo. Cela diffère du profil de v4, qui prend en charge jusqu’à dix voix enregistrées. Une connexion peut transporter des tours successifs dans la voix choisie, un signal de nouveau tour réinitialisant la prosodie à la limite du tour. Préparez une identité de locuteur claire pour un assistant et gardez-la cohérente tandis que le contenu et le ton changent au fil de la conversation.

Le streaming nécessite néanmoins assez de texte pour former un segment de parole utile. Le guide décrit un tampon du producteur d’environ 40 caractères et huit mots avant le début de l’audio partiel ; des tampons plus courts peuvent être vidés délibérément sans terminer la connexion. L’audio arrive en segments encodés en Base64 qu’une application peut décoder pour la lecture ou recueillir dans un fichier. Des informations d’alignement peuvent accompagner les segments lorsqu’elles sont demandées et disponibles. Ce sont des détails du processus du producteur, plutôt qu’une garantie de latence fixe ou de durée exacte pour un énoncé individuel.

Les balises audio et le contexte conversationnel guident l’interprétation. Une confirmation peut paraître satisfaite, une explication attentive et une correction calme tout en conservant la même voix. Placez l’indication audible près des mots pertinents. Une phrase illustrative pourrait être : « [warm] Cette étape est terminée. [pause] Vérifions l’élément suivant. » Les mots doivent déjà communiquer le bon résultat ; les balises façonnent la manière de l’entendre, plutôt que de fournir un contenu factuel manquant.

La famille v4 prend en charge plus de 90 langues, dont l’anglais, le français, l’allemand, le japonais, l’espagnol, le portugais et le russe parmi les exemples documentés. ElevenLabs décrit une identité de locuteur stable entre les tours et les langues et prend en charge les Professional Voice Clones dans v4 comme dans v4 Turbo. La préparation ou le clonage d’une voix est une étape distincte de la synthèse d’une réponse. Choisissez explicitement la voix et la langue cible et gardez les noms, la terminologie et les formes parlées souhaitées cohérents pendant le dialogue.

Les options de format documentées d’ElevenLabs comprennent MP3 pour l’écoute générale, le PCM non compressé ou WAV pour l’audio de production et μ-law pour la téléphonie. Le format de sortie choisi détermine la fréquence d’échantillonnage et l’encodage utilisés par le processus du producteur. Pour un assistant, choisissez le format selon la destination de lecture, plutôt que de demander au script de spécifier un encodage. Vérifiez les noms et les abréviations importants avec la voix choisie et écrivez clairement la formulation parlée requise dans le texte. Le producteur décrit Stability et Similarity comme les réglages vocaux des deux variantes v4 ; les curseurs Style et Speed ne sont pas disponibles dans ce profil. Utilisez le texte parlé et les indications audio pour façonner l’interprétation.

Un cahier des charges conversationnel concret commence par une réponse compacte contenant un résultat et une étape suivante claire. Par exemple : « Confirmez que le document a été reçu, puis expliquez le seul détail encore nécessaire. Utilisez une interprétation calme et amicale et préservez exactement le nom du document. » Divisez une longue réponse selon des limites porteuses de sens et gardez le contexte conversationnel environnant. Évaluez la clarté, le début et la fin de chaque tour et l’adéquation de l’émotion au message. Le livrable est de la parole en streaming ou recueillie pour le texte fourni et la voix choisie, distincte des étapes de raisonnement et d’écoute de l’application.