ElevenLabs: Eleven v4

Eleven v4 to ekspresyjny model zamiany tekstu na mowę firmy ElevenLabs, przeznaczony do produkcji treści, narracji i odgrywania postaci. Nowa architektura wykorzystuje kontekst scenariusza, aby kształtować to, kto mówi, co się wydarzyło i jak powinna zabrzmieć następna kwestia. Wejściem jest pisemny scenariusz powiązany z wybranym głosem; wyjściem jest dźwięk. Producent wyróżnia dialogi emocjonalne, produkcję audiobooków, animacje i gry oraz projekty wielojęzyczne jako typowe zastosowania.

Wskazówki reżyserskie można zapisać bezpośrednio w scenariuszu za pomocą znaczników audio. Znaczniki takie jak [laughs], [whispers] i [door slams] mogą opisywać sposób mówienia, zdarzenie niewerbalne lub dźwięk w scenie. Udokumentowana aktualizacja V4 poprawia wykonywanie sekwencji tych wskazówek w porównaniu z v3. Przy krótkim momencie dramatycznym zapisz rzeczywiste wypowiadane słowa i umieść wskazówkę wykonawczą tam, gdzie jest istotna, zamiast dodawać na końcu niepowiązaną listę emocji.

Pauzy i akcentowanie korzystają ze wskazówek audio w języku naturalnym. ElevenLabs dokumentuje [pause] i [long pause] jako przerwy oraz wskazówki sposobu mówienia, takie jak [excited] lub [sighs]. Znaczniki SSML <break> są wyłączone w v4, dlatego starszy scenariusz używający tych znaczników wymaga dostosowania do formatu wskazówek v4. Znacznik nazywa zamierzone wykonanie; sam nie ustala dokładnej liczby milisekund ani nie gwarantuje stałego czasu trwania końcowego nagrania.

Przepływ dialogowy producenta obsługuje wielu rozmówców, pozwalając na oddzielne głosy i zdarzenia dźwiękowe w scenie. Profil dialogowy WebSocket v4 obsługuje do dziesięciu zarejestrowanych głosów, podczas gdy profil v4 Turbo używa jednego. Przygotuj jasną kolejność wypowiedzi i przypisz każdą kwestię właściwemu głosowi. Przykładowa wymiana zdań może przechodzić od cichego, niepewnego pytania do pewnej odpowiedzi, a potem reakcji pełnej ulgi. Treść i przejście emocjonalne powinny być zrozumiałe z samego scenariusza. W przypadku jednego narratora równie wyraźnie oddziel narrację od cytowanej kwestii lub zmiany nastroju.

Eleven v4 obsługuje ponad 90 języków, w tym angielski, francuski, niemiecki, japoński, hiszpański, portugalski i rosyjski. Producent opisuje spójną jakość głosu przy zmianach języka. Wybierz głos i wymowę odpowiednie dla języka i regionu docelowego nagrania; znaczenie mają zarówno język scenariusza, jak i charakter głosu. W lokalizowanej lekcji najpierw przetłumacz wypowiadane słowa, zachowując sens, terminologię i wskazówki wykonawcze w nowym scenariuszu.

Jedno generowanie obsługuje do 10 000 znaków. Dłuższy materiał przygotowuje się w kilku połączonych generowaniach, a łączenie kontekstu ma utrzymywać spójność tempa i sposobu mówienia między segmentami. Podziel rozdział na naturalnej granicy zdania lub sceny i zachowaj otaczający ją kontekst. Producent opisuje również stabilną tożsamość mówiącego przy ponownym generowaniu kwestii. Przydaje się to do poprawiania jednego fragmentu przy zachowaniu tej samej obsady i stylu wykonania w sąsiednim materiale.

V4 obsługuje Instant i Professional Voice Clones w przepływie producenta ElevenLabs. ElevenLabs podkreśla ich powrót w v4; przewodnik tworzenia promptów v3 mówi, że Professional Voice Clones nie są w pełni zoptymalizowane dla v3. Instant lub Professional Voice Clones utworzone przed premierą v4 wymagają ponownego szkolenia dla v4, aby skutecznie działać z tym modelem. Klonowanie głosu tworzy lub przygotowuje głos używany w syntezie; jest odrębne od przekształcania dostarczonego scenariusza w mowę. Tożsamość modelu nie wymaga jednego konkretnego głosu domyślnego, dlatego wybierz głos narratora lub postaci, zamiast zakładać, że nazwa modelu wyznacza mówiącego.

Producent dokumentuje MP3 do ogólnego odsłuchu i dostarczania mediów, WAV lub PCM do nieskompresowanego dźwięku produkcyjnego oraz μ-law do telefonii. Jego API kontroluje częstotliwość próbkowania i bitrate wybranego formatu. Słowniki wymowy mogą określać brzmienie nazw, skrótowców i terminów technicznych. V4 rozpoznaje także standardowe transkrypcje IPA otoczone ukośnikami, np. /IPA_transcription/, w tym oznaczenia akcentu w terminach wielosylabowych; wymowa nadal może różnić się zależnie od głosu i frazy. Przygotuj wymagane terminy przed produkcją i zachowuj ich preferowane brzmienie w kolejnych poprawkach. Profil producenta v4 używa ustawień głosu Stability i Similarity; suwaki Style i Speed są niedostępne. Tempo i ekspresję emocjonalną określa się w scenariuszu i znacznikach audio.

Do praktycznego zlecenia narracji dostarcz gotową scenę, wybrany głos, język, przebieg emocji i przeznaczenie dźwięku. Przykładowo: „Przeczytaj początek spokojnie, zrób pauzę przed odkryciem i nadaj ostatniej kwestii ton ulgi; zachowaj spójny ton narratora”. Sprawdź wymowę, zmiany mówiących, słyszalne znaczniki lub zdarzenia oraz przejścia między fragmentami. Użytecznym rezultatem jest gotowe nagranie mowy powiązane ze scenariuszem, z wybranym ujęciem i wskazówkami potrzebnymi do poprawienia konkretnej kwestii.