ElevenLabs: Eleven Multilingual v2

Eleven Multilingual v2 je model prevodu textu na reč od ElevenLabs pre prirodzený, emocionálne citlivý a konzistentný prednes. Prijíma písaný scenár a vracia hovorený zvuk, pričom zvolený hlas mu dodáva veľkú časť charakteru a prízvuku. Výrobca zdôrazňuje stabilitu pri dlhších generovaniach, profesionálny obsah, hlasy postáv, elektronické vzdelávanie a viacjazyčné projekty. Ide o model syntézy reči, odlišný od podobne pomenovaného meniča hlasu Multilingual Speech to Speech.

Dokumentovaný súbor obsahuje 29 jazykov: angličtinu, japončinu, čínštinu, nemčinu, hindčinu, francúzštinu, kórejčinu, portugalčinu, taliančinu, španielčinu, indonézštinu, holandčinu, turečtinu, filipínčinu, poľštinu, švédčinu, bulharčinu, rumunčinu, arabčinu, češtinu, gréčtinu, fínčinu, chorvátčinu, malajčinu, slovenčinu, dánčinu, tamilčinu, ukrajinčinu a ruštinu. Skutočný scenár pred syntézou pripravte v podporovanom jazyku a neočakávajte, že ho hlasový model preloží.

Model je navrhnutý tak, aby v podporovaných jazykoch zachovával vlastnosti a osobnosť vybraného hovoriaceho. Prízvuk stále výrazne závisí od hlasu: ElevenLabs odporúča hlas trénovaný v cieľovom jazyku a regionálnom prízvuku, pretože hlas hovoriaceho, pre ktorého daný jazyk nie je materinský, si môže ponechať pôvodný prízvuk alebo sa od požadovaného prejavu odchýliť. Pri lokalizovanom kurze zachovajte úlohu rozprávača a celkový tón, no prispôsobte vetnú stavbu, terminológiu a výslovnosť publiku. Spoločná hlasová identita neodstraňuje potrebu skontrolovať prednes v cieľovom jazyku.

Limit požiadavky je 10 000 znakov. Dlhší materiál možno rozdeliť na nadväzujúce kapitoly alebo úseky; spoločný postup TTS výrobcu dokumentuje predchádzajúci a nasledujúci text alebo kontext susedných požiadaviek na zachovanie prozódie medzi časťami. Rozdelenie umiestnite na zmysluplnú hranicu vety a preneste dostatok okolitého kontextu pre začiatok a koniec pasáže. Približné minúty na požiadavku uvádzané výrobcom nie sú prísľubom pevnej dĺžky, pretože dĺžku vybranej nahrávky určujú slová, jazyk a tempo.

Prednes vychádza z významu textu, rozprávačského kontextu, interpunkcie a zvoleného hlasu. Stabilita ovláda variabilitu a emocionálny rozsah; podobnosť určuje, ako veľmi sa výsledok podobá hlasu. Spoločná produktová príručka opisuje rozsah rýchlosti 0.7 až 1.2, pričom 1.0 znamená nezmenené tempo. Vysoká stabilita môže pôsobiť zdržanlivo alebo monotónne, kým príliš nízka môže viesť k nevyrovnanému prednesu. Písané pokyny k prednesu môžu byť samy vyslovené, preto pripravte konečný scenár a nevkladajte doň pokyny, ktoré nemajú zaznieť.

Postup pre prestávky tohto modelu podporuje značky SSML break, na rozdiel od v3 a v4. Výrobca uvádza <break time="1.5s" /> ako spôsob vyžiadania prirodzenej prestávky a dokumentuje prestávky do troch sekúnd. Nadmerný počet značiek break môže spôsobiť zmeny rýchlosti alebo artefakty a zvolený hlas môže ovplyvniť znenie prestávky. Prestávky používajte na významových prechodoch, napríklad po definícii alebo pred ďalšou časťou nahovoreného pokynu.

Multilingual v2 nepodporuje fonémové značky v príručke výslovnosti výrobcu. Požadovanú hovorenú podobu mena, skratky alebo odborného výrazu určite slovníkovým aliasom alebo pripraveným alternatívnym zápisom. ElevenLabs tento model tiež opisuje ako prirodzenejší pri spracovaní čísel než Flash v2.5, jeho prípravné odporúčania však stále radia zapisovať dôležité čísla, dátumy a symboly slovami, ktoré sa majú vysloviť. Referenčný kód a množstvo vyžadujú odlišné čítanie, aj keď ich zapísané číslice vyzerajú podobne.

Rodina zvukových formátov výrobcu zahŕňa MP3 na distribúciu, nekomprimovaný 16-bitový PCM na produkčnú prácu, μ-law a A-law pre telefonovanie a Opus. Úplné generovanie reči a streamovanie sú dokumentované v spoločnom postupe TTS. Výstup vyberte podľa zamýšľaného cieľa a scenár, hlas a vybranú nahrávku uchovajte spolu. Kapitola audioknihy, firemný prednes a krátka lekcia môžu využívať rovnaký účel modelu, no vyžadovať odlišné tempo a členenie.

Pri praktickej lekcii napíšte úvod, definície, príklad a prechod ako úplné hovorené pasáže. Označte výrazy, ktoré potrebujú konzistentnú výslovnosť, a po hlavnej myšlienke použite prirodzenú prestávku. Skontrolujte reprezentatívnu časť obsahujúcu mená, čísla a dlhšiu vetu: prízvuk, zrozumiteľnosť a to, či prednes zostáva rovnomerný na hranici úsekov. Užitočným výsledkom je konzistentná nahrávka prednesu, ktorú možno vložiť do kurzu, audioknihy alebo videa spolu s jej zdrojovým scenárom.