ElevenLabs: Eleven v4 Turbo

Eleven v4 Turbo to ekspresyjna wersja syntezy mowy ElevenLabs przeznaczona do rozmów w czasie rzeczywistym i odpowiedzi agentów głosowych. Przyjmuje tekst i zwraca audio z mową, przenosząc zakres emocjonalny rodziny v4 do procesu interaktywnego. Producent odróżnia jej przeznaczenie od zwykłego v4, dostrojonego do produkowanych treści i narracji. Wskazane zastosowania Turbo to odpowiedzi wsparcia, objaśnienia asystenta i interaktywne kwestie postaci.

Dwukierunkowy strumieniowy proces producenta może odbierać tekst podczas jego generowania i zwracać audio, zanim nadejdzie cała wypowiedź. Ogranicza to konieczność czekania na gotowy akapit przed rozpoczęciem mowy. Jest to etap tekst–audio: słowa odpowiedzi są dostarczane modelowi syntezy. Słuchanie rozmówcy, podejmowanie decyzji i wykrywanie przerwań to odrębne funkcje otaczającej aplikacji agenta głosowego.

Udokumentowany profil Text to Dialogue WebSocket rejestruje dokładnie jeden głos dla v4 Turbo. Różni się od profilu v4 obsługującego do dziesięciu zarejestrowanych głosów. Połączenie może przenosić kolejne tury wybranym głosem, a sygnał nowej tury resetuje prozodię na jej granicy. Przygotuj jedną wyraźną tożsamość mówcy dla asystenta i utrzymuj ją, gdy treść oraz ton zmieniają się w rozmowie.

Strumieniowanie nadal potrzebuje wystarczającego tekstu do utworzenia użytecznego segmentu mowy. Przewodnik opisuje bufor producenta wynoszący około 40 znaków i osiem słów, zanim zacznie napływać częściowe audio; krótsze bufory można celowo opróżnić bez kończenia połączenia. Audio przychodzi we fragmentach zakodowanych w Base64, które aplikacja może dekodować do odtwarzania lub zebrać w plik. Informacje o wyrównaniu czasowym mogą towarzyszyć fragmentom, gdy są żądane i dostępne. Są to szczegóły procesu producenta, a nie gwarancja stałego opóźnienia lub dokładnej długości pojedynczej wypowiedzi.

Znaczniki audio i kontekst rozmowy kierują realizacją. Potwierdzenie może brzmieć z zadowoleniem, objaśnienie uważnie, a korekta spokojnie, zachowując ten sam głos. Umieść wskazówkę słyszalnej interpretacji blisko właściwych słów. Przykładowa wypowiedź może brzmieć: „[warm] Ten krok jest zakończony. [pause] Sprawdźmy następny element”. Słowa muszą już komunikować właściwy wynik; znaczniki kształtują sposób jego usłyszenia, a nie uzupełniają brakujących faktów.

Rodzina v4 obsługuje ponad 90 języków, a udokumentowane przykłady obejmują angielski, francuski, niemiecki, japoński, hiszpański, portugalski i rosyjski. ElevenLabs opisuje stabilną tożsamość mówcy między turami i językami oraz obsługuje Professional Voice Clones zarówno w v4, jak i v4 Turbo. Przygotowanie lub klonowanie głosu jest osobnym krokiem od syntezy odpowiedzi. Jawnie wybierz głos i język docelowy oraz zachowuj spójne nazwy, terminologię i preferowane formy mówione w dialogu.

Udokumentowane formaty ElevenLabs obejmują MP3 do zwykłego odsłuchu, nieskompresowany PCM lub WAV do produkcji audio oraz μ-law do telefonii. Wybrany format wyjściowy określa częstotliwość próbkowania i kodowanie procesu producenta. Dla asystenta wybierz format pod kątem docelowego odtwarzania, zamiast wymagać, by scenariusz określał kodowanie. Sprawdź ważne nazwy i skróty wybranym głosem oraz jasno zapisz wymaganą formę mówioną w tekście. Producent opisuje Stability i Similarity jako ustawienia głosu obu wariantów v4; suwaki Style i Speed są niedostępne w tym profilu. Kształtuj realizację tekstem do wypowiedzenia i wskazówkami audio.

Praktyczny brief konwersacyjny zaczyna się od zwięzłej odpowiedzi z jednym wynikiem i jednym jasnym kolejnym krokiem. Na przykład: „Potwierdź otrzymanie dokumentu, a następnie wyjaśnij, jakiej jednej informacji jeszcze potrzeba. Mów spokojnie i przyjaźnie oraz zachowaj dokładną nazwę dokumentu”. Dziel długą odpowiedź w znaczących miejscach i zachowuj otaczający kontekst rozmowy. Oceniaj jasność, początek i koniec każdej tury oraz dopasowanie emocji do komunikatu. Rezultatem jest strumieniowana lub zebrana mowa dla dostarczonego tekstu i wybranego głosu, odrębna od etapów rozumowania i słuchania aplikacji.