ElevenLabs: Eleven v4

Eleven v4 adalah model teks-ke-ucapan ekspresif ElevenLabs untuk konten produksi, narasi, dan pemeranan karakter. Arsitektur barunya menggunakan konteks naskah untuk membentuk siapa yang berbicara, apa yang telah terjadi, dan bagaimana kalimat berikutnya perlu terdengar. Masukannya adalah naskah tertulis yang dikaitkan dengan suara pilihan; keluarannya adalah audio. Pengembang menyoroti dialog emosional, produksi buku audio, animasi dan gim, serta proyek multibahasa sebagai penggunaan khasnya.

Arahan dapat ditulis dalam naskah melalui tag audio sebaris. Tag seperti [laughs], [whispers], dan [door slams] dapat menjelaskan cara penyampaian suara, kejadian nonverbal, atau suara dalam adegan. Pembaruan v4 yang didokumentasikan meningkatkan kepatuhan terhadap urutan arahan tersebut dibandingkan v3. Untuk momen dramatis singkat, tulis kata-kata yang benar-benar diucapkan dan tempatkan petunjuk penyampaian pada titik yang penting, alih-alih menambahkan daftar emosi yang tidak berkaitan di akhir.

Jeda dan penekanan menggunakan arahan audio bahasa alami. ElevenLabs mendokumentasikan [pause] dan [long pause] untuk jeda serta petunjuk seperti [excited] atau [sighs] untuk penyampaian. Tag SSML <break> dinonaktifkan untuk v4, sehingga naskah lama yang memakai tag tersebut perlu disesuaikan dengan format arahan v4. Tag menyebutkan penampilan yang diinginkan; tag itu sendiri tidak menetapkan jumlah milidetik yang tepat atau menjamin durasi akhir tetap.

Alur kerja dialog pengembang mendukung beberapa pembicara, sehingga satu adegan dapat memuat suara dan kejadian bunyi yang terpisah. Profil WebSocket dialog v4 mendukung hingga sepuluh suara terdaftar, sedangkan profil v4 Turbo menggunakan satu suara. Siapkan urutan giliran pembicara yang jelas dan pertahankan setiap kalimat terkait dengan suara yang dituju. Contoh percakapan dapat beralih dari pertanyaan pelan yang ragu-ragu ke jawaban percaya diri, lalu reaksi lega. Konten dan transisi emosional perlu dapat dipahami dari naskah itu sendiri. Untuk satu narator, gunakan kejelasan yang sama untuk membedakan narasi dari kalimat kutipan atau perubahan suasana hati.

Eleven v4 mendukung lebih dari 90 bahasa, termasuk Inggris, Prancis, Jerman, Jepang, Spanyol, Portugis, dan Rusia. Pengembang menjelaskan kualitas suara yang konsisten saat bahasa berganti. Pilih suara dan pelafalan yang sesuai dengan bahasa serta wilayah rekaman yang dituju; bahasa naskah dan karakter suara sama-sama penting. Untuk pelajaran yang dilokalkan, terjemahkan kata-kata yang diucapkan terlebih dahulu dan pertahankan makna, istilah, serta petunjuk penyampaian dalam naskah baru.

Satu generasi mendukung hingga 10,000 karakter. Karya yang lebih panjang disiapkan sebagai beberapa generasi yang saling terhubung, dengan penyambungan konteks yang ditujukan untuk menjaga tempo dan penyampaian tetap konsisten antarsegmen. Bagi bab pada batas kalimat atau adegan yang alami dan pertahankan konteks di sekitarnya. Pengembang juga menjelaskan identitas pembicara yang stabil ketika suatu kalimat dibuat ulang. Ini berguna untuk merevisi satu bagian sambil mempertahankan pemeran dan gaya penampilan yang sama pada materi di sekitarnya.

V4 mendukung Instant dan Professional Voice Clones dalam alur kerja pengembang ElevenLabs. ElevenLabs menyoroti kembalinya fitur tersebut pada v4; panduan prompt v3 menyatakan Professional Voice Clones belum sepenuhnya dioptimalkan untuk v3. Instant atau Professional Voice Clones yang dibuat sebelum peluncuran v4 perlu dilatih ulang untuk v4 agar bekerja efektif dengan model. Kloning suara membuat atau menyiapkan suara yang digunakan untuk sintesis; ini berbeda dari tindakan mengubah naskah yang diberikan menjadi ucapan. Identitas model tidak mewajibkan satu suara bawaan tertentu, sehingga pilih suara untuk narator atau karakter, alih-alih menganggap nama model menentukan pembicara.

Pengembang mendokumentasikan MP3 untuk mendengarkan secara umum dan penyampaian media, WAV atau PCM untuk audio produksi tanpa kompresi, serta μ-law untuk telepon. API-nya mengontrol sample rate dan bitrate format yang dipilih. Kamus pelafalan dapat menentukan cara nama, akronim, dan istilah teknis diucapkan. V4 juga mengenali transkripsi IPA standar yang diapit garis miring, seperti /IPA_transcription/, termasuk penanda tekanan untuk istilah beberapa suku kata; pelafalan tetap dapat bervariasi menurut suara dan frasa. Siapkan istilah wajib sebelum produksi dan pertahankan bentuk pengucapan yang diinginkan secara konsisten melalui revisi. Profil pengembang v4 menggunakan pengaturan suara Stability dan Similarity; slider Style dan Speed tidak tersedia. Tempo serta penyampaian emosi diarahkan melalui naskah dan tag audio.

Untuk deskripsi narasi praktis, berikan adegan yang telah selesai, suara yang dituju, bahasa, alur emosi, dan tujuan penggunaan audio. Misalnya: “Bacakan pembukaan dengan tenang, beri jeda sebelum penemuan, dan buat kalimat terakhir terdengar lega; pertahankan nada narator yang konsisten.” Periksa pelafalan, pergantian pembicara, tag atau kejadian yang terdengar, dan transisi antarbagian. Hasil yang berguna adalah rekaman ucapan hasil produksi yang terkait dengan naskah, beserta take yang dipilih dan arahan yang diperlukan untuk merevisi kalimat tertentu.