ElevenLabs: Eleven Multilingual v2

Eleven Multilingual v2 er ElevenLabs' tekst-til-tale-model til naturlig, følelsesmæssigt nuanceret og ensartet oplæsning. Den accepterer et skriftligt manuskript og returnerer talt lyd, hvor den valgte stemme bidrager med meget af karakteren og accenten. Producenten fremhæver stabilitet ved længere genereringer, professionelt indhold, indtalte karakterstemmer, e-læring og flersprogede projekter. Det er en talesyntesemodel, adskilt fra stemmeændreren Multilingual Speech to Speech med det lignende navn.

Det dokumenterede sæt omfatter 29 sprog: engelsk, japansk, kinesisk, tysk, hindi, fransk, koreansk, portugisisk, italiensk, spansk, indonesisk, nederlandsk, tyrkisk, filippinsk, polsk, svensk, bulgarsk, rumænsk, arabisk, tjekkisk, græsk, finsk, kroatisk, malajisk, slovakisk, dansk, tamil, ukrainsk og russisk. Forbered det faktiske manuskript på et understøttet sprog før syntese frem for at forvente, at stemmemodellen oversætter det.

Modellen er udformet til at bevare den valgte talers egenskaber og personlighed på tværs af understøttede sprog. Accenten afhænger stadig stærkt af stemmen: ElevenLabs anbefaler en stemme trænet på målsproget og den regionale accent, fordi en stemme fra et andet sprogmiljø kan bevare sin oprindelige accent eller ændre accent undervejs. Til et lokaliseret kursus bevares fortællerens rolle og overordnede tone, mens sætningsstruktur, terminologi og udtale tilpasses publikum. En fælles stemmeidentitet fjerner ikke behovet for at gennemgå fremførelsen på målsproget.

Grænsen er 10.000 tegn pr. forespørgsel. Længere materiale kan opdeles i forbundne kapitler eller afsnit; producentens fælles TTS-forløb dokumenterer foregående og efterfølgende tekst eller kontekst fra tilstødende forespørgsler til at bevare prosodien mellem tekstdele. Læg opdelingen ved en meningsfuld sætningsgrænse, og medtag nok omgivende kontekst til starten og slutningen af en passage. Producentens omtrentlige antal minutter pr. forespørgsel er ikke et løfte om fast varighed, fordi ord, sprog og tempo bestemmer den valgte optagelses længde.

Fremførelsen følger tekstens betydning, fortællekontekst, tegnsætning og den valgte stemme. Stabilitet styrer variationen og det følelsesmæssige spænd; lighed styrer, hvor meget resultatet ligner stemmen. Den fælles produktvejledning beskriver et hastighedsinterval fra 0.7 til 1.2 med 1.0 som uændret hastighed. Høj stabilitet kan lyde afdæmpet eller monoton, mens for lav stabilitet kan gøre fremførelsen uregelmæssig. Skriftlige beskrivelser af fremførelsen kan selv blive læst op, så forbered det endelige manuskript frem for at indlejre instruktioner, der aldrig skal høres.

Denne models pauseforløb understøtter SSML-break-tags i modsætning til v3 og v4. Producenten giver <break time="1.5s" /> som en måde at anmode om en naturlig pause på og dokumenterer pauser på op til tre sekunder. For mange break-tags kan medføre hastighedsændringer eller forvrængninger, og den valgte stemme kan påvirke, hvordan en pause lyder. Brug pauser ved meningsfulde overgange, eksempelvis efter en definition eller før næste del af en indtalt instruktion.

Multilingual v2 understøtter ikke fonem-tags ifølge producentens udtalevejledning. Brug ordbogsaliaser eller en forberedt alternativ stavemåde til at angive den ønskede talte form af et navn, et akronym eller et fagudtryk. ElevenLabs beskriver også modellen som mere naturlig til tal end Flash v2.5, mens forberedelsesvejledningen stadig anbefaler at skrive kritiske tal, datoer og symboler som de ord, der skal siges. En referencekode og en mængde kræver forskellige oplæsninger, selv når de skrevne cifre ligner hinanden.

Producentens lydformatfamilie omfatter MP3 til distribution, ukomprimeret 16-bit PCM til produktionsarbejde, μ-law og A-law til telefoni samt Opus. Fuld talegenerering og streaming er dokumenteret i det fælles TTS-forløb. Vælg outputtet efter det tilsigtede anvendelsessted, og bevar manuskript, stemme og den valgte optagelse sammen. Et lydbogskapitel, en virksomhedsfortælling og en kort lektion kan bruge samme modelformål, men kræve forskelligt tempo og opdeling.

Til en praktisk lektion skrives indledning, definitioner, eksempel og overgang som fuldstændige talte passager. Marker de termer, der kræver ensartet udtale, og brug en naturlig pause efter kernebegrebet. Gennemgå en repræsentativ del med navne, tal og en længere sætning, og kontroller accent, forståelighed og om fremførelsen forbliver stabil hen over afsnitsgrænsen. Det nyttige resultat er en ensartet fortælleoptagelse, der kan placeres i kurset, lydbogen eller videoen sammen med sit kildemanuskript.