ElevenLabs: Eleven Multilingual v2

Eleven Multilingual v2 to model zamiany tekstu na mowę ElevenLabs do naturalnej, uwzględniającej emocje i spójnej narracji. Przyjmuje pisemny scenariusz i zwraca audio z mową, której charakter i akcent w dużej mierze wynikają z wybranego głosu. Producent podkreśla stabilność dłuższych generacji, treści profesjonalne, głosy postaci, e-learning i projekty wielojęzyczne. Jest to model syntezy mowy, odrębny od podobnie nazwanego narzędzia do zmiany głosu Multilingual Speech to Speech.

Udokumentowany zestaw obejmuje 29 języków: angielski, japoński, chiński, niemiecki, hindi, francuski, koreański, portugalski, włoski, hiszpański, indonezyjski, niderlandzki, turecki, filipiński, polski, szwedzki, bułgarski, rumuński, arabski, czeski, grecki, fiński, chorwacki, malajski, słowacki, duński, tamilski, ukraiński i rosyjski. Przed syntezą przygotuj rzeczywisty scenariusz w obsługiwanym języku, zamiast oczekiwać, że model głosu go przetłumaczy.

Model zaprojektowano tak, aby zachowywał cechy i osobowość wybranego mówcy w obsługiwanych językach. Akcent nadal silnie zależy od głosu: ElevenLabs zaleca głos wytrenowany w docelowym języku i regionalnym akcencie, ponieważ głos nierodzimy może zachować pierwotny akcent lub zmieniać go podczas wypowiedzi. W lokalizowanym kursie zachowaj rolę narratora i ogólny ton, dostosowując strukturę zdań, terminologię oraz wymowę do odbiorców. Wspólna tożsamość głosu nie eliminuje potrzeby oceny wypowiedzi w języku docelowym.

Limit żądania wynosi 10 000 znaków. Dłuższy materiał można podzielić na powiązane rozdziały lub sekcje; wspólny proces TTS producenta dokumentuje poprzedni i następny tekst lub kontekst sąsiednich żądań, aby zachować prozodię między fragmentami. Dziel tekst na znaczących granicach zdań i przenoś wystarczający kontekst otoczenia dla początku oraz końca fragmentu. Przybliżona liczba minut na żądanie podawana przez producenta nie jest obietnicą stałej długości, ponieważ długość wybranego nagrania zależy od słów, języka i tempa.

Sposób wypowiedzi wynika ze znaczenia tekstu, kontekstu narracji, interpunkcji i wybranego głosu. Stabilność reguluje różnorodność i zakres emocjonalny, a podobieństwo określa, jak mocno wynik przypomina głos. Wspólny przewodnik po produkcie opisuje zakres szybkości od 0.7 do 1.2, z wartością 1.0 bez zmian. Wysoka stabilność może brzmieć powściągliwie lub monotonnie, a zbyt niska może powodować nieprzewidywalną interpretację. Pisemne wskazówki dotyczące sposobu odczytania mogą same zostać wypowiedziane, dlatego przygotuj końcowy scenariusz zamiast umieszczać w nim instrukcje, których nie należy słyszeć.

W przeciwieństwie do v3 i v4 model ten obsługuje pauzy za pomocą znaczników SSML break. Producent podaje <break time="1.5s" /> jako sposób żądania naturalnej pauzy i dokumentuje pauzy do trzech sekund. Nadmiar takich znaczników może powodować zmiany tempa lub artefakty, a wybrany głos może wpływać na brzmienie pauzy. Stosuj je przy znaczących przejściach, na przykład po definicji lub przed kolejną częścią instrukcji narratora.

Multilingual v2 nie obsługuje znaczników fonemów w przewodniku wymowy producenta. Używaj aliasów słownikowych lub przygotowanej alternatywnej pisowni, aby wskazać pożądaną formę mówioną nazwy, akronimu lub terminu technicznego. ElevenLabs opisuje też ten model jako odczytujący liczby naturalniej niż Flash v2.5, choć wskazówki przygotowania nadal zalecają zapisywanie istotnych liczb, dat i symboli słowami, które mają zostać wypowiedziane. Kod referencyjny i wielkość ilościowa wymagają innego odczytania, nawet gdy ich zapis cyframi wygląda podobnie.

Rodzina formatów audio producenta obejmuje MP3 do dystrybucji, nieskompresowany 16-bitowy PCM do pracy produkcyjnej, μ-law i A-law do telefonii oraz Opus. Pełna generacja mowy i strumieniowanie są opisane we wspólnym procesie TTS. Dobierz wyjście do docelowego zastosowania i zachowaj razem scenariusz, głos oraz wybrane nagranie. Rozdział audiobooka, narracja firmowa i krótka lekcja mogą korzystać z tego samego przeznaczenia modelu, wymagając odmiennego tempa i podziału na fragmenty.

W praktycznej lekcji zapisz wstęp, definicje, przykład i przejście jako kompletne fragmenty do wypowiedzenia. Oznacz terminy wymagające spójnej wymowy i zastosuj naturalną pauzę po głównym pojęciu. Odsłuchaj reprezentatywny fragment zawierający nazwy, liczby i dłuższe zdanie, sprawdzając akcent, zrozumiałość oraz stabilność wypowiedzi na granicy sekcji. Użytecznym rezultatem jest spójne nagranie narracji, które można umieścić w kursie, audiobooku lub filmie wraz ze scenariuszem źródłowym.