Deepgram: Flux TTS

Flux TTS adalah keluarga teks ke suara Deepgram untuk percakapan langsung dan konten lisan tetap. Ciri utamanya adalah kesinambungan percakapan: model streaming membawa prosodi antargiliran, sehingga penyampaian dapat mempertahankan nada yang konsisten saat interaksi berlanjut. Model ini menerima teks tertulis dan mengembalikan audio ucapan. Flux TTS dan model pengenalan ucapan bernama Flux yang terpisah menjalankan bagian berbeda dalam percakapan suara.

Pilih suara berbahasa Inggris

Katalog Flux yang didokumentasikan berbicara dalam bahasa Inggris, dengan aksen Amerika, Britania, Irlandia, Australia, India, Singapura, dan Filipina. Deskripsi suara membantu memilih penutur untuk layanan pelanggan, menu telepon, narasi, atau percakapan santai. Misalnya, produsen mencantumkan Haley sebagai suara Amerika yang tenang dan Jack sebagai suara Britania yang profesional. Pilih suara berdasarkan audiens dan jenis susunan kata yang akan dibacanya, lalu pertahankan suara itu sepanjang karya atau percakapan. Ucapan dalam bahasa lain memerlukan pilihan model yang didokumentasikan secara terpisah.

Giliran langsung dan interupsi

Dalam alur kerja streaming produsen, teks dapat masuk saat aplikasi menyusun respons dan audio dikembalikan secara bertahap. Satu giliran memiliki peristiwa mulai dan selesai sendiri; mengakhiri giliran menyelesaikan sintesis yang masih tersisa. Konteks antargiliran mempertahankan prosodi dalam sesi tersebut. Ini berguna bagi asisten suara yang mula-mula menjelaskan pilihan lalu menjawab permintaan klarifikasi tanpa mengubah karakter suaranya.

Interupsi membatalkan giliran aktif dan mengembalikan bagian yang telah diucapkan serta teks yang tersisa. Pembedaan itu membantu aplikasi melanjutkan berdasarkan apa yang benar-benar didengar pendengar. Untuk interaksi praktis, siapkan jawaban singkat dengan instruksi penting terlebih dahulu, diikuti penjelasan. Jika pendengar menyela setelah instruksi pertama, respons berikutnya dapat menangani pertanyaan baru alih-alih menganggap seluruh penjelasan telah tersampaikan.

Audio tetap dan format keluaran

Sintesis batch menerima satu blok teks lengkap dan mengembalikan audionya dalam satu respons. Model ini menggunakan katalog suara yang sama dengan streaming dan cocok untuk petunjuk telepon yang direkam, notifikasi, atau narasi yang disiapkan sebelumnya. Permintaan batch saling independen; status giliran streaming dan peristiwa interupsi tidak berlaku pada klip tetap.

Keluaran streaming adalah audio mentah tanpa kontainer berkas: PCM 16 bit, mu-law, atau A-law. Produsen mendokumentasikan laju sampel PCM sebesar 8, 16, 24, 32, 44,1, dan 48 kHz; mu-law dan A-law menggunakan 8 atau 16 kHz. Keluaran batch juga mendukung MP3, Opus, FLAC, dan AAC. Pilih pengodean dan kontainer yang dapat diinterpretasikan pemutar atau jalur telepon sasaran alih-alih memperlakukan aliran sampel mentah sebagai berkas audio biasa.

Kendali penyampaian dan batasan

Produsen mendokumentasikan rentang kecepatan bicara dari 0.5 hingga 1.5 dengan kenaikan 0.05. Perubahan kecepatan streaming berlaku pada batas segmen. Kendali ekspresivitas beta yang terpisah mengubah penyampaian dari tenang menjadi penuh semangat. SSML biasa dan tag pesaing yang dikenali dihapus alih-alih digunakan sebagai instruksi ekspresif; kendali bawaan Flux memiliki maknanya sendiri.

Jeda sebaris berlaku untuk sintesis batch, dengan durasi 500–3.000 ms dalam kenaikan 100 ms dan paling banyak delapan penanda per permintaan. Teks harus memisahkan jeda yang berdekatan, dan kecepatan dibatasi hingga 1.15 saat terdapat jeda. Penggantian pelafalan menggunakan IPA dan berada dalam Early Access; produsen menyatakan bahwa pelafalan yang diminta dapat bervariasi antarhasil generasi. Pelafalan tidak dapat digabungkan dengan kecepatan selain bawaan atau dengan kendali jeda. Untuk naskah dengan nama khusus bidang tertentu, dengarkan istilah tersebut dengan suara pilihan dan buat susunan kata lisannya eksplisit.

Sesi streaming yang didokumentasikan Deepgram berlangsung hingga satu jam dan ditutup setelah enam puluh detik tanpa pesan masuk kecuali dipertahankan aktif dengan mekanisme koneksi yang didukung. Batas sesi tersebut berkaitan dengan alur kerja sintesis langsung. Hasil yang berguna adalah suara yang dipilih secara sengaja, teks yang ramah pendengar, dan audio yang sesuai dengan tujuannya, dengan aplikasi langsung melacak apa yang benar-benar diucapkan saat giliran diinterupsi.