ElevenLabs: Eleven v4

Eleven v4 er ElevenLabs’ udtryksfulde tekst-til-tale-model til produceret indhold, fortælling og fremførelse af karakterer. Den nye arkitektur bruger manuskriptets kontekst til at forme, hvem der taler, hvad der er sket, og hvordan næste replik skal lyde. Inputtet er et skriftligt manuskript knyttet til en valgt stemme; outputtet er lyd. Udvikleren fremhæver følelsesladet dialog, lydbogsproduktion, animation og spil samt flersprogede projekter som karakteristiske anvendelser.

Instruktion kan skrives ind i manuskriptet med indlejrede lydtags. Tags såsom [laughs], [whispers] og [door slams] kan beskrive stemmeføringen, en ikkeverbal hændelse eller en lyd i scenen. Den dokumenterede v4-opdatering forbedrer evnen til at følge en sekvens af sådanne anvisninger sammenlignet med v3. Ved et kort dramatisk øjeblik skrives de faktiske talte ord, og en fremførelsesanvisning placeres dér, hvor den er relevant, frem for at føje en uvedkommende liste over følelser til slutningen.

Pauser og betoning bruger lydanvisninger i naturligt sprog. ElevenLabs dokumenterer [pause] og [long pause] til ophold og anvisninger såsom [excited] eller [sighs] til fremførelsen. SSML-tags af typen <break> er slået fra for v4, så et ældre manuskript med disse tags skal tilpasses v4’s instruktionsformat. Et tag navngiver den tilsigtede fremførelse; det fastsætter ikke i sig selv et præcist antal millisekunder eller garanterer en fast slutvarighed.

Udviklerens dialogforløb understøtter flere talere, så en scene kan indeholde separate stemmer og lydhændelser. Dialogprofilen for v4 via WebSocket understøtter op til ti registrerede stemmer, mens v4 Turbo-profilen bruger én. Forbered en tydelig rækkefølge af taleture, og hold hver replik knyttet til den tilsigtede stemme. En eksempeludveksling kan bevæge sig fra et stille, usikkert spørgsmål til et selvsikkert svar og derefter en lettet reaktion. Indholdet og den følelsesmæssige overgang bør være forståelige ud fra selve manuskriptet. For en enkelt fortæller bruges samme tydelighed til at skelne fortælling fra en citeret replik eller et stemningsskift.

Eleven v4 understøtter mere end 90 sprog, herunder engelsk, fransk, tysk, japansk, spansk, portugisisk og russisk. Udvikleren beskriver ensartet stemmekvalitet gennem sprogskift. Vælg en stemme og udtale, som passer til den tilsigtede optagelses sprog og region; både manuskriptets sprog og stemmens karakter er relevante. Ved en lokaliseret lektion oversættes den talte ordlyd først, og betydning, terminologi og fremførelsesanvisninger bevares i det nye manuskript.

En generering understøtter op til 10.000 tegn. Længere arbejde forberedes som flere sammenhængende genereringer, hvor sammenkædning af kontekst skal holde tempo og fremførelse ensartet mellem segmenterne. Del et kapitel ved en naturlig sætnings- eller scenegrænse, og bevar konteksten omkring den. Udvikleren beskriver også stabil taleridentitet, når en replik genereres igen. Det er nyttigt ved revision af én passage med bevaret besætning og fremførelsesstil i det omgivende materiale.

V4 understøtter Instant og Professional Voice Clones i ElevenLabs’ udviklerforløb. ElevenLabs fremhæver deres tilbagevenden i v4; promptingvejledningen for v3 angiver, at Professional Voice Clones ikke er fuldt optimeret til v3. Instant eller Professional Voice Clones oprettet før v4’s lancering skal genoptrænes til v4 for at fungere effektivt med modellen. Stemmekloning skaber eller forbereder den stemme, som bruges til syntese; den er adskilt fra selve omdannelsen af det givne manuskript til tale. Modellens identitet kræver ikke én bestemt standardstemme, så vælg stemmen til fortælleren eller figuren frem for at antage, at modelnavnet bestemmer taleren.

Udvikleren dokumenterer MP3 til almindelig aflytning og medielevering, WAV eller PCM til ukomprimeret produktionslyd og μ-law til telefoni. API’en styrer samplingsfrekvensen og bitraten i det valgte format. Udtaleordbøger kan definere, hvordan navne, akronymer og tekniske udtryk udtales. V4 genkender også standard-IPA-transskriptioner mellem skråstreger, såsom /IPA_transcription/, herunder trykmarkører til flerstavelsesord; udtalen kan stadig variere med stemmen og frasen. Forbered krævede udtryk før produktion, og hold deres foretrukne udtaleformer ensartede gennem revisioner. Udviklerprofilen for v4 bruger stemmeindstillingerne Stability og Similarity; skyderne Style og Speed er ikke tilgængelige. Tempo og følelsesmæssig fremførelse styres gennem manuskriptet og lydtags.

Ved en praktisk fortælleopgave gives en færdig scene, den tilsigtede stemme, sproget, den følelsesmæssige udvikling og lydens anvendelsessted. For eksempel: “Læs indledningen roligt, hold en pause før opdagelsen, og lad sidste replik lyde lettet; hold fortællerens tone ensartet.” Gennemgå udtale, talerskift, hørbare tags eller hændelser og overgangene mellem passager. Det nyttige resultat er en produceret taleoptagelse knyttet til manuskriptet med en valgt optagelsesvariant og de anvisninger, der er nødvendige for at revidere en bestemt replik.