ElevenLabs: Eleven Multilingual v2

Eleven Multilingual v2 er ElevenLabs’ tekst-til-tale-modell for naturlig, følelsesnyansert og konsistent fortelleropplesning. Den tar imot et skriftlig manus og returnerer talelyd, der den valgte stemmen tilfører mye av særpreget og aksenten. Produsenten fremhever stabilitet ved lengre genereringer, profesjonelt innhold, karakterstemmer, e-læring og flerspråklige prosjekter. Dette er en talesyntesemodell, adskilt fra stemmeomformeren Multilingual Speech to Speech med lignende navn.

Den dokumenterte samlingen inneholder 29 språk: engelsk, japansk, kinesisk, tysk, hindi, fransk, koreansk, portugisisk, italiensk, spansk, indonesisk, nederlandsk, tyrkisk, filippinsk, polsk, svensk, bulgarsk, rumensk, arabisk, tsjekkisk, gresk, finsk, kroatisk, malayisk, slovakisk, dansk, tamil, ukrainsk og russisk. Skriv det faktiske manuset på et støttet språk før syntese i stedet for å forvente at stemmemodellen oversetter det.

Modellen er laget for å bevare den valgte talerens kjennetegn og personlighet på tvers av støttede språk. Aksenten avhenger fortsatt sterkt av stemmen: ElevenLabs anbefaler en stemme trent på målspråket og den regionale aksenten, fordi en ikke-innfødt stemme kan beholde sin opprinnelige aksent eller skifte underveis. I et lokalisert kurs bør du bevare fortellerrollen og den overordnede tonen, samtidig som setningsstruktur, faguttrykk og uttale tilpasses publikum. En felles stemmeidentitet fjerner ikke behovet for å gjennomgå fremføringen på målspråket.

Forespørselsgrensen er 10 000 tegn. Lengre materiale kan deles i sammenhengende kapitler eller avsnitt; produsentens felles TTS-arbeidsflyt dokumenterer bruk av foregående og etterfølgende tekst, eller kontekst fra tilstøtende forespørsler, for å bevare prosodien mellom deler. Del ved en meningsfull setningsgrense og ta med nok omkringliggende kontekst til starten og slutten av et avsnitt. Produsentens omtrentlige minutter per forespørsel er ikke et løfte om fast varighet, fordi ordvalg, språk og tempo bestemmer lengden på det valgte opptaket.

Fremføringen følger tekstens betydning, fortellerkontekst, tegnsetting og den valgte stemmen. Stabilitet styrer variasjon og følelsesmessig spenn; likhet styrer hvor tett resultatet ligner stemmen. Den felles produktveiledningen beskriver et hastighetsområde fra 0.7 til 1.2, med 1.0 som uendret. Høy stabilitet kan høres tilbakeholden eller monoton ut, mens for lav stabilitet kan gjøre fremføringen ujevn. Skriftlige beskrivelser av fremføringen kan selv bli lest opp, så lag det endelige manuset i stedet for å bygge inn instruksjoner som aldri skal høres.

Denne modellens pausearbeidsflyt støtter SSML break-tagger, i motsetning til v3 og v4. Produsenten gir <break time="1.5s" /> som eksempel på å be om en naturlig pause og dokumenterer pauser på opptil tre sekunder. For mange break-tagger kan føre til tempoendringer eller artefakter, og den valgte stemmen kan påvirke hvordan pausen høres ut. Bruk pauser ved meningsfulle overganger, for eksempel etter en definisjon eller før neste del av en muntlig instruksjon.

Multilingual v2 støtter ikke fonemtagger i produsentens uttaleveiledning. Bruk ordbokaliaser eller en forberedt alternativ skrivemåte for å angi ønsket taleform for et navn, et akronym eller et faguttrykk. ElevenLabs beskriver også modellen som mer naturlig i behandlingen av tall enn Flash v2.5, samtidig som veiledningen om forberedelse fortsatt anbefaler å skrive kritiske tall, datoer og symboler som ordene som skal sies. En referansekode og en mengde trenger ulik opplesning selv når sifrene ser like ut.

Produsentens lydformatfamilie omfatter MP3 til distribusjon, ukomprimert 16-bits PCM til produksjonsarbeid, μ-law og A-law til telefoni, og Opus. Full talegenerering og strømming er dokumentert i den felles TTS-arbeidsflyten. Velg utdata til det tiltenkte formålet og oppbevar manus, stemme og valgt opptak sammen. Et lydbokkapittel, en bedriftsfortellerstemme og en kort leksjon kan ha samme modellformål, men trenge forskjellig tempo og inndeling.

For en praktisk leksjon skriver du innledningen, definisjonene, eksemplet og overgangen som fullstendige muntlige avsnitt. Marker uttrykkene som trenger konsistent uttale, og legg inn en naturlig pause etter hovedbegrepet. Gjennomgå en representativ del med navn, tall og en lengre setning, og kontroller aksent, forståelighet og om fremføringen holder seg jevn over avsnittsgrensen. Det nyttige resultatet er et konsistent fortelleropptak som kan brukes i kurset, lydboken eller videoen sammen med kildemanuset.