ElevenLabs: Eleven v4

Eleven v4 är ElevenLabs uttrycksfulla text-till-tal-modell för producerat innehåll, berättarröst och karaktärsframföranden. Den nya arkitekturen använder manusets kontext för att forma vem som talar, vad som har hänt och hur nästa replik ska låta. Indatan är ett skrivet manus kopplat till en vald röst; utdatan är ljud. Tillverkaren lyfter emotionell dialog, ljudboksproduktion, animation och spel samt flerspråkiga projekt som typiska tillämpningar.

Regi kan skrivas in i manuset med infogade ljudtaggar. Taggar såsom [laughs], [whispers] och [door slams] kan beskriva röstframförande, en icke-verbal händelse eller ett ljud i scenen. V4:s dokumenterade uppdatering förbättrar följsamheten till en följd av sådana anvisningar jämfört med v3. För ett kort dramatiskt ögonblick skriver du de faktiska talade orden och placerar en framförandeanvisning där den är viktig i stället för att lägga en orelaterad lista med känslor sist.

Pauser och betoning använder ljudanvisningar på naturligt språk. ElevenLabs dokumenterar [pause] och [long pause] för avbrott och anvisningar som [excited] eller [sighs] för framförande. SSML-taggar av typen <break> är avstängda för v4, så ett äldre manus med dessa taggar behöver anpassas till v4:s anvisningsformat. En tagg namnger det avsedda framförandet; den ställer inte i sig in ett exakt antal millisekunder eller garanterar en fast slutlängd.

Tillverkarens dialogflöde stöder flera talare så att en scen kan innehålla separata röster och ljudhändelser. Dess v4-dialogprofil för WebSocket stöder upp till tio registrerade röster, medan v4 Turbos profil använder en. Förbered en tydlig ordning på talarturer och håll varje replik kopplad till den avsedda rösten. Ett illustrativt utbyte kan gå från en tyst osäker fråga till ett självsäkert svar och sedan en lättad reaktion. Innehållet och den emotionella övergången bör vara begripliga från manuset självt. För en ensam berättare använder du samma tydlighet för att skilja berättandet från en citerad replik eller ett förändrat stämningsläge.

Eleven v4 stöder fler än 90 språk, inklusive engelska, franska, tyska, japanska, spanska, portugisiska och ryska. Tillverkaren beskriver konsekvent röstkvalitet genom språkbyten. Välj en röst och ett uttal som passar språket och regionen för den avsedda inspelningen; både manusets språk och röstens karaktär spelar roll. För en lokaliserad lektion översätter du först den talade ordalydelsen och bevarar innebörd, terminologi och framförandeanvisningar i det nya manuset.

En generering stöder upp till 10,000 tecken. Längre arbeten förbereds som flera sammanlänkade genereringar, med kontextsammanfogning avsedd att hålla tempo och framförande konsekventa mellan segmenten. Dela ett kapitel vid en naturlig menings- eller scengräns och behåll kontexten runt den. Tillverkaren beskriver också stabil talaridentitet när en replik genereras om. Det är användbart för att revidera ett avsnitt och samtidigt behålla samma rollbesättning och framförandestil i det omgivande materialet.

V4 stöder Instant och Professional Voice Clones i ElevenLabs tillverkarflöde. ElevenLabs lyfter deras återkomst i v4; dess v3-guide för promptning säger att Professional Voice Clones inte är helt optimerade för v3. Instant eller Professional Voice Clones skapade före v4-lanseringen behöver tränas om för v4 för att fungera effektivt med modellen. Röstkloning skapar eller förbereder rösten som används för syntes; det är skilt från att omvandla det tillhandahållna manuset till tal. Modellens identitet kräver ingen enskild standardröst, så välj röst för berättaren eller karaktären i stället för att anta att modellnamnet bestämmer en talare.

Tillverkaren dokumenterar MP3 för allmän lyssning och medieleverans, WAV eller PCM för okomprimerat produktionsljud och μ-law för telefoni. API:et styr samplingsfrekvens och bithastighet för det valda formatet. Uttalsordböcker kan definiera hur namn, akronymer och tekniska termer uttalas. V4 känner också igen standardiserade IPA-transkriptioner omslutna av snedstreck, såsom /IPA_transcription/, inklusive betoningsmarkörer för flerstaviga termer; uttalet kan fortfarande variera med röst och fras. Förbered nödvändiga termer före produktionen och håll deras föredragna talade former konsekventa genom revideringar. Tillverkarprofilen för v4 använder röstinställningarna Stability och Similarity; reglagen Style och Speed är inte tillgängliga. Tempo och emotionellt framförande styrs genom manuset och ljudtaggarna.

För en praktisk berättarbeskrivning ger du en färdig scen, avsedd röst, språk, emotionell båge och ljudets destination. Exempelvis: ”Läs öppningen lugnt, pausa före upptäckten och låt slutrepliken låta lättad; håll berättarens ton konsekvent.” Granska uttal, talarbyten, hörbara taggar eller händelser och övergångarna mellan avsnitt. Den användbara leveransen är en producerad talinspelning kopplad till manuset, med en vald tagning och anvisningarna som behövs för att revidera en viss replik.