Deepgram: Flux TTS

Flux TTS ialah keluarga teks ke pertuturan Deepgram untuk perbualan langsung dan kandungan pertuturan tetap. Ciri utamanya ialah kesinambungan perbualan: model penstriman mengekalkan prosodi merentas giliran, supaya penyampaian dapat mengekalkan nada yang konsisten apabila interaksi berterusan. Ia menerima teks bertulis dan mengembalikan audio pertuturan. Flux TTS dan model pengecaman pertuturan bernama Flux yang berasingan menjalankan bahagian yang berbeza dalam perbualan suara.

Pilih suara bahasa Inggeris

Katalog Flux yang didokumenkan bertutur dalam bahasa Inggeris, dengan loghat Amerika, British, Ireland, Australia, India, Singapura dan Filipina. Penerangan suara membantu memilih penutur untuk khidmat pelanggan, menu telefon, narasi atau perbualan santai. Contohnya, pengeluar menyenaraikan Haley sebagai suara Amerika yang tenang dan Jack sebagai suara British yang profesional. Pilih suara berdasarkan khalayak dan jenis teks yang akan dibacanya, kemudian kekalkannya sepanjang karya atau perbualan. Pertuturan bahasa lain memerlukan pilihan model yang didokumenkan secara berasingan.

Giliran langsung dan sampukan

Dalam aliran kerja penstriman pengeluar, teks boleh tiba semasa aplikasi menggubah respons dan audio dikembalikan secara beransur-ansur. Sesuatu giliran mempunyai peristiwa mula dan selesai sendiri; menamatkan giliran menyelesaikan sintesis yang masih berbaki. Konteks merentas giliran mengekalkan prosodi dalam sesi tersebut. Ini berguna untuk pembantu pertuturan yang mula-mula menerangkan pilihan kemudian menjawab permintaan penjelasan tanpa mengubah perwatakan suaranya.

Sampukan membatalkan giliran aktif dan mengembalikan bahagian yang telah dituturkan serta teks yang masih berbaki. Perbezaan itu membantu aplikasi meneruskan daripada perkara yang benar-benar didengar oleh pendengar. Untuk interaksi praktikal, sediakan jawapan ringkas dengan arahan penting dahulu, diikuti penerangan. Jika pendengar menyampuk selepas arahan pertama itu, respons seterusnya boleh menangani soalan baharu dan bukannya menganggap seluruh penerangan telah disampaikan.

Audio tetap dan format output

Sintesis kelompok menerima satu blok teks lengkap dan mengembalikan audionya dalam satu respons. Ia menggunakan katalog suara yang sama seperti penstriman dan sesuai untuk arahan telefon yang dirakam, pemberitahuan atau narasi yang disediakan lebih awal. Permintaan kelompok adalah bebas antara satu sama lain; keadaan giliran penstriman dan peristiwa sampukan tidak terpakai pada klip tetap.

Output penstriman ialah audio mentah tanpa bekas fail: PCM 16 bit, mu-law atau A-law. Pengeluar mendokumenkan kadar pensampelan PCM 8, 16, 24, 32, 44.1 dan 48 kHz; mu-law dan A-law menggunakan 8 atau 16 kHz. Output kelompok turut menyokong MP3, Opus, FLAC dan AAC. Pilih pengekodan dan bekas yang boleh ditafsirkan oleh pemain atau saluran telefon sasaran dan bukannya menganggap aliran sampel mentah sebagai fail audio biasa.

Kawalan penyampaian dan batasan

Pengeluar mendokumenkan julat kadar pertuturan 0.5 hingga 1.5 dengan kenaikan 0.05. Perubahan kelajuan penstriman berkuat kuasa pada sempadan segmen. Kawalan ekspresiviti beta yang berasingan mengubah penyampaian daripada tenang kepada penuh semangat. SSML biasa dan tag pesaing yang dikenali dibuang dan bukannya digunakan sebagai arahan ekspresif; kawalan natif Flux mempunyai maknanya sendiri.

Jeda sebaris adalah untuk sintesis kelompok, dengan tempoh 500–3,000 ms dalam kenaikan 100 ms dan paling banyak lapan penanda bagi setiap permintaan. Teks mesti memisahkan jeda yang bersebelahan, dan kelajuan dihadkan kepada 1.15 apabila jeda digunakan. Penggantian sebutan menggunakan IPA dan berada dalam Early Access; pengeluar menyatakan bahawa sebutan yang diminta boleh berbeza antara penjanaan. Sebutan tidak boleh digabungkan dengan kelajuan bukan lalai atau dengan kawalan jeda. Untuk skrip yang mengandungi nama khusus, dengar istilah tersebut dengan suara pilihan dan nyatakan perkataan yang perlu dituturkan dengan jelas.

Sesi penstriman yang didokumenkan oleh Deepgram berlangsung sehingga satu jam dan ditutup selepas enam puluh saat tanpa mesej masuk melainkan dikekalkan aktif melalui mekanisme sambungan yang disokong. Had sesi itu berkaitan dengan aliran kerja sintesis langsung. Hasil yang berguna ialah suara yang dipilih dengan tujuan jelas, teks yang mesra pendengar dan audio yang sesuai untuk destinasinya, dengan aplikasi langsung menjejaki perkara yang benar-benar dituturkan apabila sesuatu giliran disampuk.