ElevenLabs: Eleven v4 Turbo

Eleven v4 Turbo is de expressieve spraaksyntheseversie van ElevenLabs voor realtimegesprekken en antwoorden van stemagenten. Het ontvangt tekst en geeft gesproken audio terug, waarmee het emotionele bereik van de v4-familie in een interactieve workflow wordt toegepast. De producent onderscheidt het doel van dat van de gewone v4, die is afgestemd op geproduceerde content en vertelteksten. Antwoorden voor ondersteuning, uitleg door assistenten en teksten voor interactieve personages zijn de genoemde Turbo-toepassingen.

De bidirectionele streamingworkflow van de producent kan tekst ontvangen terwijl die wordt gegenereerd en audio teruggeven voordat de volledige uiting is binnengekomen. Daardoor hoeft minder lang op een afgeronde alinea te worden gewacht voordat de spraak begint. Het is een tekst-naar-audiofase: de woorden van het antwoord worden aan het synthesemodel aangeleverd. Luisteren naar een beller, beslissen welke actie moet worden uitgevoerd en onderbrekingen detecteren zijn afzonderlijke functies van de omliggende toepassing voor stemagenten.

Het gedocumenteerde Text to Dialogue-WebSocket-profiel registreert precies één stem voor v4 Turbo. Dat verschilt van het v4-profiel, dat maximaal tien geregistreerde stemmen ondersteunt. Een verbinding kan opeenvolgende spreekbeurten in de geselecteerde stem verwerken, waarbij een signaal voor een nieuwe beurt de prosodie op de beurtgrens opnieuw instelt. Bereid één duidelijke sprekeridentiteit voor een assistent voor en houd deze consistent terwijl inhoud en toon gedurende het gesprek veranderen.

Streaming heeft nog steeds voldoende tekst nodig om een bruikbaar spraaksegment te vormen. De gids beschrijft een buffer bij de producent van ongeveer 40 tekens en acht woorden voordat gedeeltelijke audio begint; kortere buffers kunnen bewust worden geleegd zonder de verbinding te beëindigen. De audio komt in Base64-gecodeerde delen binnen, die een toepassing voor afspelen kan decoderen of in een bestand kan verzamelen. Uitlijningsinformatie kan de delen vergezellen wanneer deze is aangevraagd en beschikbaar is. Dit zijn details van de workflow van de producent, geen garantie voor een vaste vertraging of exacte duur van een individuele uiting.

Audiotags en gesprekscontext sturen de voordracht. Een bevestiging kan blij klinken, een uitleg aandachtig en een correctie rustig, terwijl dezelfde stem behouden blijft. Plaats de aanwijzing voor de hoorbare voordracht dicht bij de betreffende woorden. Een voorbeeldzin is: “[warm] Die stap is voltooid. [pause] Laten we het volgende onderdeel controleren.” De woorden moeten het juiste resultaat al overbrengen; de tags bepalen hoe dat resultaat wordt gehoord en vullen geen ontbrekende feitelijke inhoud aan.

De v4-modelfamilie ondersteunt meer dan 90 talen, met onder meer Engels, Frans, Duits, Japans, Spaans, Portugees en Russisch als gedocumenteerde voorbeelden. ElevenLabs beschrijft een stabiele sprekeridentiteit tussen spreekbeurten en talen en ondersteunt Professional Voice Clones in zowel v4 als v4 Turbo. Stemvoorbereiding of klonen is een afzonderlijke stap van het synthetiseren van een antwoord. Selecteer de stem en doeltaal expliciet en houd namen, terminologie en gewenste spreekvormen consistent in de dialoog.

De gedocumenteerde formaatopties van ElevenLabs omvatten MP3 voor algemeen luisteren, ongecomprimeerde PCM of WAV voor productieaudio en μ-law voor telefonie. Het gekozen uitvoerformaat bepaalt de samplefrequentie en codering die de workflow van de producent gebruikt. Kies voor een assistent het formaat op basis van de afspeelbestemming, in plaats van het script om een coderingsspecificatie te vragen. Controleer belangrijke namen en afkortingen met de gekozen stem en schrijf de vereiste gesproken formulering duidelijk in de tekst. De producent noemt Stability en Similarity als steminstellingen voor beide v4-varianten; schuifregelaars voor Style en Speed zijn in dit profiel niet beschikbaar. Gebruik de gesproken tekst en audioaanwijzingen om de voordracht vorm te geven.

Een praktische gespreksbriefing begint met een compact antwoord dat één resultaat en één duidelijke volgende stap bevat. Bijvoorbeeld: “Bevestig dat het document is ontvangen en leg vervolgens uit welk ene detail nog nodig is. Gebruik een rustige, vriendelijke voordracht en behoud de documentnaam exact.” Verdeel een lang antwoord op betekenisvolle grenzen en behoud de omliggende gesprekscontext. Beoordeel de duidelijkheid, het begin en einde van elke spreekbeurt en of de emotie bij de boodschap past. Het resultaat is gestreamde of verzamelde spraak voor de aangeleverde tekst en geselecteerde stem, afzonderlijk van de redeneer- en luisterfasen van de toepassing.