Fish Audio: S2 Pro

S2 Pro adalah model teks-ke-ucapan generasi kedua Fish Audio untuk narasi ekspresif, dialog karakter, dan keluaran suara percakapan. Model ini mengubah naskah tertulis menjadi audio dan mendukung arahan bahasa alami pada tingkat kata atau frasa. Generasi sebelumnya, S1, menggunakan isyarat dalam tanda kurung biasa, sedangkan S2 Pro secara bawaan menggunakan tanda kurung siku dan mendukung beberapa pembicara dalam satu permintaan sintesis. Pembuat merilis bobot S2 Pro dan kode fine-tuning untuk pekerjaan penyesuaian terpisah; permintaan ucapan biasa menggunakan model yang dipilih, bukan melatih model baru.

Tulis isi ucapan terlebih dahulu, lalu letakkan instruksi penyampaian tepat sebelum kata atau frasa yang perlu dipengaruhinya. Arahan dapat mendeskripsikan bisikan, reaksi, jeda, perubahan emosi, atau gaya bicara yang bebas dirumuskan. Untuk penjelasan produk pendek, jaga kalimat faktual tetap jelas dan berikan penekanan hanya pada bagian yang perbedaannya perlu diperhatikan pendengar. Untuk baris karakter, jelaskan perubahan emosi saat perubahan itu terjadi, bukan memberi seluruh bagian satu suasana tetap.

Tag dalam tanda kurung siku merupakan deskripsi terbuka, bukan menu terbatas. Contohnya meliputi [whispering], [sigh], [long pause], serta frasa seperti [speaking slowly, almost hesitant]. Tag dapat muncul di tengah kalimat dan memengaruhi ucapan setelahnya. Tag deskriptif memerlukan teks nyata sesudahnya; instruksi yang berdiri sendiri dapat menghasilkan keluaran yang tidak dapat diprediksi. Mulai dengan satu atau dua arahan berguna sebelum menambahkan lapisan, karena tag yang saling bersaing dapat mengaburkan penampilan yang dimaksud. Referensi suara berbeda dapat merespons arahan yang sama dengan intensitas berbeda.

Rilis S2 menjelaskan sekitar 80 bahasa dan memberikan contoh penulisan instruksi penyampaian dalam bahasa yang sama dengan naskah. Siapkan susunan kata dalam bahasa yang harus diucapkan dan pertahankan nama, satuan, serta singkatan yang membutuhkan pembacaan tertentu. Narasi multibahasa dapat mempertahankan suara yang diinginkan ketika bahasa naskah berubah, tetapi artefak akhirnya tetap perlu didengarkan untuk memeriksa pelafalan dan kesinambungan. Sintesis menghasilkan isi yang diberikan sebagai ucapan, bukan menentukan informasi yang harus disampaikan aplikasi.

Untuk satu pembicara, pilih pengenal suara tersimpan atau berikan audio referensi beserta transkrip yang sesuai. Produsen menyarankan sampel bersih berdurasi 10–30 detik untuk pengondisian instan. Untuk dialog, gunakan penanda pembicara seperti <|speaker:0|> dan <|speaker:1|>, dengan daftar pengenal suara berurutan atau kelompok referensi terpisah untuk masing-masing pembicara. Penanda numerik memilih entri suara yang sesuai; pertahankan urutannya saat percakapan berkembang. Arahan penampilan dengan bahasa alami dan pemilihan pembicara memiliki peran berbeda dalam naskah.

Keluaran audio dapat berupa MP3, WAV, PCM mentah, atau Opus. MP3 bernilai bawaan 128 kbps dan menyediakan 64 atau 192 kbps; keluaran Opus menggunakan 48 kHz, sedangkan WAV dan PCM mendukung pilihan laju sampel terdokumentasi sebagai mono 16-bit. Pilih format berdasarkan tujuan sebenarnya: berkas yang disimpan untuk narasi, atau potongan audio yang cocok untuk pemutaran. Alur kerja ucapan produsen juga menjelaskan streaming teks langsung ketika naskah tiba secara bertahap. Hasil yang dibangkitkan perlu tetap dikaitkan dengan naskah lengkap dan suara yang dipilih.

Kecepatan dapat disesuaikan antara 0.5 dan 2.0, dengan kontrol volume dan normalisasi kenyaringan keluaran. Normalisasi teks meningkatkan pembacaan angka bahasa Inggris dan Mandarin. Pemrosesan menggunakan potongan dalam rentang 100–300 dan anggaran token audio per potongan, sehingga pengaturan ini tidak boleh diartikan sebagai panjang maksimum tetap untuk seluruh narasi. Pengondisian dari potongan sebelumnya dapat membawa konteks suara ke segmen berikutnya. Kontrol sampling seperti temperature dan top-p memengaruhi variasi; baris yang diarahkan secara sengaja tetap membutuhkan teks dan konteks yang cukup untuk membawa bunyi yang dimaksud.

Arahan produksi yang berguna memisahkan narasi, dialog, dan arahan penyampaian, lalu menyatakan suara serta format artefak hasil. Dengarkan apakah ada kata yang hilang, audio berulang, pelafalan angka, pergantian pembicara, dan ketepatan waktu suatu reaksi. Revisi baris atau referensi suara yang menyebabkan ketidaksesuaian, alih-alih berasumsi semakin banyak tag akan memperbaiki setiap bagian. S2 Pro tetap merupakan model S2 generasi sebelumnya yang berbeda; S2.1 Pro adalah edisi lebih baru dengan peningkatan dan perilaku pengaturan khusus modelnya sendiri.