ElevenLabs: Eleven v4

Eleven v4 er ElevenLabs' uttrykksfulle tekst-til-tale-modell for produsert innhold, fortellerstemmer og karakterfremføring. Den nye arkitekturen bruker manusets kontekst til å forme hvem som snakker, hva som har skjedd, og hvordan neste replikk skal lyde. Input er et skriftlig manus knyttet til en valgt stemme; output er lyd. Produsenten fremhever følelsesladet dialog, lydbokproduksjon, animasjon og spill samt flerspråklige prosjekter som typiske bruksområder.

Regi kan skrives inn i manuset med innebygde lydtagger. Tagger som [laughs], [whispers] og [door slams] kan beskrive stemmebruk, en ikke-verbal hendelse eller en lyd i scenen. V4s dokumenterte oppdatering forbedrer følging av en sekvens med slike anvisninger sammenlignet med v3. For et kort dramatisk øyeblikk skriver du de faktiske ordene som skal sies og plasserer en fremføringsanvisning der den betyr noe, fremfor å legge en ubeslektet liste over følelser til på slutten.

Pauser og betoning bruker lydanvisninger på naturlig språk. ElevenLabs dokumenterer [pause] og [long pause] for opphold og anvisninger som [excited] eller [sighs] for fremføring. SSML-tagger av typen <break> er deaktivert for v4, så et eldre manus som bruker disse taggene må tilpasses v4s regiformat. En tagg navngir den tiltenkte fremføringen; den setter ikke i seg selv et nøyaktig antall millisekunder eller garanterer en fast sluttvarighet.

Produsentens dialogarbeidsflyt støtter flere talere, slik at en scene kan inneholde separate stemmer og lydhendelser. WebSocket-profilen for v4-dialog støtter opptil ti registrerte stemmer, mens v4 Turbos profil bruker én. Forbered en tydelig rekkefølge på talernes turer og hold hver replikk knyttet til den tiltenkte stemmen. En illustrerende utveksling kan gå fra et stille, usikkert spørsmål til et selvsikkert svar og deretter en lettet reaksjon. Innholdet og den følelsesmessige overgangen bør være forståelige ut fra selve manuset. For én forteller bruker du samme tydelighet for å skille fortellertekst fra en sitert replikk eller et stemningsskifte.

Eleven v4 støtter mer enn 90 språk, blant annet engelsk, fransk, tysk, japansk, spansk, portugisisk og russisk. Produsenten beskriver jevn stemmekvalitet ved språkbytte. Velg en stemme og uttale som passer språket og regionen for den tiltenkte innspillingen; både manusets språk og stemmens karakter betyr noe. For en lokalisert leksjon oversetter du først den talte ordlyden og bevarer betydning, terminologi og fremføringsanvisninger i det nye manuset.

Én generering støtter opptil 10,000 tegn. Lengre arbeid forberedes som flere sammenhengende genereringer, med kontekstsammenføyning som skal holde tempo og fremføring konsistent mellom segmentene. Del et kapittel ved en naturlig setnings- eller scenegrense og behold konteksten rundt den. Produsenten beskriver også stabil taleridentitet når en replikk genereres på nytt. Dette er nyttig ved revisjon av ett avsnitt samtidig som de samme stemmene og fremføringsstilen opprettholdes i materialet rundt.

V4 støtter Instant og Professional Voice Clones i ElevenLabs' produsentarbeidsflyt. ElevenLabs fremhever at de er tilbake i v4; selskapets v3-veiledning for ledetekster sier at Professional Voice Clones ikke er fullt optimalisert for v3. Instant eller Professional Voice Clones som ble opprettet før lanseringen av v4, må trenes på nytt for v4 for å fungere effektivt med modellen. Stemmekloning lager eller forbereder stemmen som brukes til syntese; dette er adskilt fra å gjøre det innsendte manuset om til tale. Modellens identitet krever ikke én bestemt standardstemme, så velg stemmen for fortelleren eller figuren, fremfor å anta at modellnavnet bestemmer hvem som snakker.

Produsenten dokumenterer MP3 for generell lytting og medielevering, WAV eller PCM for ukomprimert produksjonslyd og μ-law for telefoni. API-et kontrollerer samplingsfrekvensen og bitraten for det valgte formatet. Uttaleordbøker kan definere hvordan navn, akronymer og tekniske termer sies. V4 gjenkjenner også standard IPA-transkripsjoner mellom skråstreker, som /IPA_transcription/, inkludert trykkmarkører for flerstavelsesord; uttalen kan fortsatt variere med stemmen og frasen. Forbered nødvendige termer før produksjon og hold de foretrukne uttaleformene konsistente gjennom revisjoner. V4s produsentprofil bruker stemmeinnstillingene Stability og Similarity; glidebryterne Style og Speed er ikke tilgjengelige. Tempo og følelsesmessig fremføring styres gjennom manuset og lydtaggene.

For en praktisk fortelleroppgave oppgir du en ferdig scene, tiltenkt stemme, språk, følelseskurve og lydens brukssted. For eksempel: «Les åpningen rolig, ta en pause før oppdagelsen og la den siste replikken lyde lettet; hold fortellerens tone konsistent.» Vurder uttale, talerbytter, hørbare tagger eller hendelser og overgangene mellom avsnitt. Den nyttige leveransen er en produsert taleinnspilling knyttet til manuset, med et valgt opptak og anvisningene som trengs for å revidere en bestemt replikk.