ElevenLabs: Eleven v4

Eleven v4 is ElevenLabs’ expressieve tekst-naar-spraakmodel voor geproduceerde inhoud, vertelling en personagevertolking. De nieuwe architectuur gebruikt de context van het script om te bepalen wie spreekt, wat er is gebeurd en hoe de volgende zin moet klinken. De invoer is een geschreven script gekoppeld aan een gekozen stem; de uitvoer is audio. De ontwikkelaar benadrukt emotionele dialogen, luisterboekproductie, animatie en games en meertalige projecten als kenmerkende toepassingen.

Regie kan met inline audiotags in het script worden geschreven. Tags zoals [laughs], [whispers] en [door slams] kunnen de voordracht, een niet-verbale gebeurtenis of een geluid in de scène beschrijven. De gedocumenteerde v4-update verbetert het volgen van een reeks van zulke aanwijzingen ten opzichte van v3. Schrijf voor een kort dramatisch moment de werkelijk gesproken woorden en plaats de voordrachtaanwijzing waar die relevant is in plaats van achteraan een niet-gerelateerde lijst met emoties toe te voegen.

Pauzes en nadruk gebruiken audioaanwijzingen in natuurlijke taal. ElevenLabs documenteert [pause] en [long pause] voor onderbrekingen en aanwijzingen zoals [excited] of [sighs] voor voordracht. SSML-tags van het type <break> zijn uitgeschakeld voor v4, dus een ouder script met die tags moet aan het v4-regieformaat worden aangepast. Een tag benoemt de beoogde vertolking; hij bepaalt op zichzelf geen exact aantal milliseconden en garandeert geen vaste eindduur.

De dialoogworkflow van de ontwikkelaar ondersteunt meerdere sprekers, zodat een scène verschillende stemmen en geluidgebeurtenissen kan bevatten. Het v4-dialoogprofiel via WebSocket ondersteunt maximaal tien geregistreerde stemmen, terwijl het v4 Turbo-profiel er één gebruikt. Bereid een duidelijke volgorde van spreekbeurten voor en houd elke regel gekoppeld aan de bedoelde stem. Een voorbeelduitwisseling kan van een zacht uitgesproken, onzekere vraag naar een zelfverzekerd antwoord en vervolgens een opgeluchte reactie gaan. De inhoud en emotionele overgang moeten uit het script zelf te begrijpen zijn. Gebruik voor één verteller dezelfde duidelijkheid om vertelling van een geciteerde regel of een stemmingswisseling te onderscheiden.

Eleven v4 ondersteunt meer dan 90 talen, waaronder Engels, Frans, Duits, Japans, Spaans, Portugees en Russisch. De ontwikkelaar beschrijft een constante stemkwaliteit bij taalwisselingen. Kies een stem en uitspraak die passen bij de taal en regio van de beoogde opname; zowel de scripttaal als het stemkarakter is relevant. Vertaal voor een gelokaliseerde les eerst de gesproken formulering en behoud de betekenis, terminologie en voordrachtaanwijzingen in het nieuwe script.

Een generatie ondersteunt maximaal 10.000 tekens. Langer werk wordt voorbereid als meerdere verbonden generaties, waarbij contextverbinding het tempo en de voordracht tussen segmenten consistent moet houden. Deel een hoofdstuk op een natuurlijke zins- of scènegrens en bewaar de omringende context. De ontwikkelaar beschrijft ook een stabiele sprekeridentiteit wanneer een regel opnieuw wordt gegenereerd. Dat is nuttig om één passage te herzien en dezelfde bezetting en vertolkingsstijl in het omringende materiaal te behouden.

V4 ondersteunt Instant en Professional Voice Clones in de workflow van ElevenLabs. ElevenLabs benadrukt hun terugkeer in v4; de v3-prompthandleiding zegt dat Professional Voice Clones niet volledig voor v3 zijn geoptimaliseerd. Instant of Professional Voice Clones die vóór de introductie van v4 zijn gemaakt, moeten opnieuw worden getraind voor v4 om effectief met het model te werken. Stemklonen maakt of bereidt de stem voor die bij synthese wordt gebruikt; dat staat los van het omzetten van het aangeleverde script in spraak. De identiteit van het model vereist geen enkele vaste standaardstem, dus kies de stem voor de verteller of het personage in plaats van aan te nemen dat de modelnaam de spreker bepaalt.

De ontwikkelaar documenteert MP3 voor algemeen luisteren en medialevering, WAV of PCM voor ongecomprimeerde productieaudio en μ-law voor telefonie. De API bepaalt de samplefrequentie en bitrate van het gekozen formaat. Uitspraakwoordenboeken kunnen vastleggen hoe namen, afkortingen en technische termen worden uitgesproken. V4 herkent ook standaard-IPA-transcripties tussen schuine strepen, zoals /IPA_transcription/, inclusief klemtoontekens voor meerlettergrepige termen; de uitspraak kan nog steeds met de stem en frase verschillen. Bereid vereiste termen vóór productie voor en houd hun gewenste uitspraak consistent tijdens revisies. Het v4-profiel van de ontwikkelaar gebruikt de steminstellingen Stability en Similarity; de schuifregelaars Style en Speed zijn niet beschikbaar. Tempo en emotionele voordracht worden via het script en audiotags gestuurd.

Geef voor een praktische vertelopdracht een voltooide scène, de beoogde stem, de taal, de emotionele ontwikkeling en de bestemming van de audio. Bijvoorbeeld: “Lees de opening kalm, pauzeer vóór de ontdekking en laat de laatste regel opgelucht klinken; houd de toon van de verteller consistent.” Beoordeel uitspraak, sprekerwisselingen, hoorbare tags of gebeurtenissen en de overgangen tussen passages. Het bruikbare resultaat is een geproduceerde spraakopname die aan het script is gekoppeld, met een gekozen opnamevariant en de aanwijzingen om een specifieke regel te herzien.