ElevenLabs: Eleven v4

Eleven v4 ialah model teks ke pertuturan ekspresif ElevenLabs untuk kandungan produksi, narasi dan persembahan watak. Seni bina baharunya menggunakan konteks skrip untuk membentuk siapa yang sedang bercakap, perkara yang telah berlaku dan cara ayat seterusnya patut kedengaran. Inputnya ialah skrip bertulis yang dikaitkan dengan suara pilihan; outputnya ialah audio. Pengeluar menonjolkan dialog beremosi, produksi buku audio, animasi dan permainan, serta projek berbilang bahasa sebagai aplikasi lazim.

Arahan boleh ditulis ke dalam skrip dengan tag audio sebaris. Tag seperti [laughs], [whispers] dan [door slams] boleh menerangkan penyampaian vokal, peristiwa bukan lisan atau bunyi dalam adegan. Kemas kini v4 yang didokumenkan meningkatkan pematuhan terhadap urutan arahan tersebut berbanding v3. Untuk detik dramatik ringkas, tulis perkataan yang benar-benar dituturkan dan letakkan petunjuk penyampaian pada titik yang penting, dan bukannya menambahkan senarai emosi yang tidak berkaitan di penghujung.

Jeda dan penekanan menggunakan arahan audio bahasa semula jadi. ElevenLabs mendokumenkan [pause] dan [long pause] untuk jeda serta petunjuk seperti [excited] atau [sighs] untuk penyampaian. Tag SSML <break> dilumpuhkan untuk v4, maka skrip lama yang menggunakan tag itu perlu disesuaikan kepada format arahan v4. Tag menamakan persembahan yang dimaksudkan; tag itu sendiri tidak menetapkan bilangan milisaat yang tepat atau menjamin tempoh akhir tetap.

Aliran kerja dialog pengeluar menyokong berbilang penutur, membolehkan adegan mengandungi suara berasingan dan peristiwa bunyi. Profil WebSocket dialog v4 menyokong sehingga sepuluh suara berdaftar, manakala profil v4 Turbo menggunakan satu. Sediakan susunan giliran penutur yang jelas dan pastikan setiap ayat dikaitkan dengan suara yang dimaksudkan. Contoh perbualan boleh bergerak daripada soalan perlahan yang kurang pasti kepada jawapan yakin, kemudian reaksi lega. Kandungan dan peralihan emosi patut dapat difahami daripada skrip itu sendiri. Untuk seorang pencerita, gunakan kejelasan yang sama untuk membezakan narasi daripada ayat petikan atau perubahan suasana hati.

Eleven v4 menyokong lebih daripada 90 bahasa, termasuk bahasa Inggeris, Perancis, Jerman, Jepun, Sepanyol, Portugis dan Rusia. Pengeluar menerangkan kualiti suara yang konsisten ketika bahasa berubah. Pilih suara dan sebutan yang sesuai dengan bahasa serta wilayah rakaman yang dimaksudkan; bahasa skrip dan perwatakan suara kedua-duanya penting. Untuk pelajaran yang disetempatkan, terjemahkan perkataan pertuturan dahulu dan kekalkan makna, istilah serta petunjuk penyampaian dalam skrip baharu.

Satu penjanaan menyokong sehingga 10,000 aksara. Kerja yang lebih panjang disediakan sebagai beberapa penjanaan yang saling berkaitan, dengan penyambungan konteks bertujuan mengekalkan rentak dan penyampaian yang konsisten antara segmen. Bahagikan bab pada sempadan ayat atau adegan yang semula jadi dan kekalkan konteks di sekelilingnya. Pengeluar turut menerangkan identiti penutur yang stabil apabila sesuatu ayat dijana semula. Ini berguna untuk menyemak semula satu petikan sambil mengekalkan barisan watak dan gaya persembahan yang sama merentas bahan sekeliling.

V4 menyokong Instant dan Professional Voice Clones dalam aliran kerja pengeluar ElevenLabs. ElevenLabs menonjolkan kemunculan semula sokongan itu dalam v4; panduan prompt v3 menyatakan bahawa Professional Voice Clones belum dioptimumkan sepenuhnya untuk v3. Instant atau Professional Voice Clones yang dibuat sebelum pelancaran v4 perlu dilatih semula untuk v4 supaya berfungsi dengan berkesan bersama model. Pengklonan suara mencipta atau menyediakan suara yang digunakan untuk sintesis; ia berbeza daripada tindakan menukar skrip yang diberikan kepada pertuturan. Identiti model tidak memerlukan satu suara lalai tertentu, maka pilih suara untuk pencerita atau watak dan bukannya menganggap nama model menentukan penutur.

Pengeluar mendokumenkan MP3 untuk pendengaran umum dan penyampaian media, WAV atau PCM untuk audio produksi tanpa pemampatan, serta μ-law untuk telefon. API-nya mengawal kadar pensampelan dan kadar bit format pilihan. Kamus sebutan boleh menentukan cara nama, akronim dan istilah teknikal dituturkan. V4 turut mengenali transkripsi IPA standard yang diapit garis miring, seperti /IPA_transcription/, termasuk penanda tekanan untuk istilah berbilang suku kata; sebutan masih boleh berbeza mengikut suara dan frasa. Sediakan istilah yang diperlukan sebelum produksi dan kekalkan bentuk pertuturan pilihannya secara konsisten sepanjang semakan. Profil pengeluar v4 menggunakan tetapan suara Stability dan Similarity; gelangsar Style dan Speed tidak tersedia. Rentak dan penyampaian emosi diarahkan melalui skrip dan tag audio.

Untuk taklimat narasi praktikal, berikan adegan lengkap, suara yang dimaksudkan, bahasa, perkembangan emosi dan destinasi audio. Contohnya: “Baca pembukaan dengan tenang, berhenti seketika sebelum penemuan dan jadikan ayat akhir kedengaran lega; kekalkan nada pencerita secara konsisten.” Semak sebutan, pertukaran penutur, tag atau peristiwa yang boleh didengar dan peralihan antara petikan. Hasil yang berguna ialah rakaman pertuturan produksi yang dikaitkan dengan skrip, bersama rakaman pilihan dan arahan yang diperlukan untuk menyemak semula sesuatu ayat.