ElevenLabs: Eleven v4 Turbo

Eleven v4 Turbo es la edición de síntesis de voz expresiva de ElevenLabs diseñada para conversaciones en tiempo real y respuestas de agentes de voz. Recibe texto y devuelve audio hablado, trasladando el rango emocional de la familia v4 a un flujo interactivo. El productor distingue su finalidad de la de v4 estándar, que está ajustado para contenido de producción y narración. Las respuestas de soporte, las explicaciones de asistentes y las intervenciones de personajes interactivos son las aplicaciones indicadas para Turbo.

El flujo de streaming bidireccional del productor puede recibir texto a medida que se genera y devolver audio antes de que haya llegado toda la intervención. Esto reduce la necesidad de esperar a que un párrafo esté terminado para empezar a hablar. Es una etapa de conversión de texto a audio: las palabras de la respuesta se suministran al modelo de síntesis. Escuchar a una persona que llama, decidir qué acción realizar y detectar interrupciones son funciones independientes de la aplicación de agente de voz que lo rodea.

El perfil documentado Text to Dialogue WebSocket registra exactamente una voz para v4 Turbo. Esto difiere del perfil de v4, que admite hasta diez voces registradas. Una conexión puede transmitir turnos sucesivos con la voz seleccionada, con una señal de nuevo turno que restablece la prosodia en el límite entre turnos. Prepara una identidad de hablante clara para un asistente y mantenla coherente mientras cambian el contenido y el tono durante la conversación.

El streaming sigue necesitando suficiente texto para formar un segmento de habla útil. La guía describe un búfer del productor de aproximadamente 40 caracteres y ocho palabras antes de que empiece el audio parcial; los búferes más cortos pueden vaciarse deliberadamente sin cerrar la conexión. El audio llega en fragmentos codificados en Base64 que una aplicación puede decodificar para reproducirlos o reunir en un archivo. La información de alineación puede acompañar a los fragmentos cuando se solicita y está disponible. Son detalles del flujo del productor, no una garantía de latencia fija ni de duración exacta para una intervención individual.

Las etiquetas de audio y el contexto de la conversación guían la interpretación. Una confirmación puede sonar satisfecha, una explicación atenta y una corrección calmada, conservando la misma voz. Coloca la indicación audible cerca de las palabras correspondientes. Una frase ilustrativa podría ser: «[warm] Ese paso está completo. [pause] Revisemos el siguiente elemento». Las palabras ya deben comunicar el resultado correcto; las etiquetas dan forma a cómo se oye el resultado, en vez de aportar contenido factual que falta.

La familia de modelos v4 admite más de 90 idiomas, con inglés, francés, alemán, japonés, español, portugués y ruso entre los ejemplos documentados. ElevenLabs describe una identidad de hablante estable entre turnos e idiomas y admite Professional Voice Clones tanto en v4 como en v4 Turbo. La preparación o clonación de voz es un paso independiente de la síntesis de una respuesta. Selecciona explícitamente la voz y el idioma de destino y mantén coherentes los nombres, la terminología y las formas de pronunciación preferidas durante el diálogo.

Las opciones de formato documentadas de ElevenLabs incluyen MP3 para escucha general, PCM sin comprimir o WAV para audio de producción y μ-law para telefonía. El formato de salida seleccionado determina la frecuencia de muestreo y la codificación que utiliza el flujo del productor. Para un asistente, elige el formato según el destino de reproducción en vez de pedir al guion que especifique una codificación. Revisa los nombres y las abreviaturas importantes con la voz elegida y escribe claramente en el texto las palabras que deben pronunciarse. El productor describe Stability y Similarity como las opciones de voz de ambas variantes v4; los controles deslizantes Style y Speed no están disponibles en este perfil. Utiliza el texto hablado y las indicaciones de audio para dar forma a la interpretación.

Las instrucciones prácticas para una conversación empiezan por una respuesta breve que contenga un resultado y un siguiente paso claro. Por ejemplo: «Confirma que se ha recibido el documento y después explica el único detalle que todavía falta. Usa una interpretación calmada y amable y conserva exactamente el nombre del documento». Divide una respuesta larga en límites con sentido y conserva el contexto conversacional circundante. Evalúa la claridad, el principio y el final de cada turno y si la emoción encaja con el mensaje. El resultado es voz en streaming o reunida en una grabación para el texto suministrado y la voz seleccionada, independiente de las etapas de razonamiento y escucha de la aplicación.