Fish Audio: S2.1 Pro

S2.1 Pro ialah model teks kepada pertuturan generasi S2 yang lebih baharu daripada Fish Audio untuk narasi ekspresif dan aplikasi suara perbualan. Ia menambah baik mutu pertuturan, kependaman dan daya pemprosesan berbanding S2 Pro sambil mengekalkan kawalan penyampaian dalam bahasa semula jadi dan dialog berbilang penutur secara natif. S2.1 Pro dan S2.1 Pro Free berkongsi model pertuturan asas yang sama.

Untuk penerangan bernarasi, berikan susunan kata yang sudah siap, suara yang dimaksudkan dan titik perubahan rentak atau penegasan. Untuk aplikasi perbualan, sintesiskan respons yang dipilih oleh aplikasi dan pisahkan kandungan faktanya daripada arahan penyampaian. Untuk pertukaran dialog berskrip, takrifkan penutur dan suara mereka sebelum menulis giliran mereka. Hasil yang berguna ialah petikan audio lengkap atau strim yang boleh dimainkan dengan perkataan, penyampaian dan peranan penutur yang sepadan dengan ringkasan arahan itu.

Tulis perkataan yang benar-benar perlu dituturkan, kemudian letakkan arahan sejurus sebelum petikan yang penyampaiannya perlu berubah. Arahan dalam kurungan siku boleh menyatakan bisikan, jeda, reaksi, penegasan atau gaya pertuturan yang bebas. Letakkan perubahan di tengah ayat pada titik yang diperlukan oleh persembahan, dan ikuti arahan deskriptif dengan pertuturan sebenar. Ringkasan arahan penerangan yang berguna memisahkan kandungan faktanya daripada kemesraan, rentak atau penegasan yang dikehendaki untuk pendengar.

Untuk seorang penutur, pilih pengecam suara yang disimpan atau berikan rakaman rujukan berserta transkripnya. Panduan pertuturan pengeluar mengesyorkan sampel bersih sepanjang 10–30 saat untuk pelaziman suara serta-merta. Pilih rujukan dengan nada dan mutu rakaman yang sesuai dengan skrip, dan kekalkan rujukan yang sama untuk petikan berkaitan. Rujukan suara membekalkan bunyi penutur; teks dan arahan sebaris membekalkan kandungan serta cara penyampaiannya.

Sintesis berbilang penutur secara natif menggunakan penanda seperti <|speaker:0|> dan <|speaker:1|> bersama tatasusunan pengecam suara yang tersusun atau kumpulan rujukan berasingan. Pastikan label angka penutur sepadan dengan susunan itu. Untuk pertukaran dialog berbentuk pengajaran, tulis baris setiap penutur dan letakkan arahan penyampaian selepas penanda penutur pada tempat yang sesuai. Ini menghasilkan dialog dalam satu permintaan; aliran kerjanya berbeza daripada segmen penutur tunggal S1 yang berasingan dan pemasangan kemudian.

Aliran kerja pengeluar menawarkan output MP3, WAV, PCM mentah dan Opus, dengan MP3 sebagai pilihan lalai. MP3 menyokong 64, 128 dan 192 kbps; WAV dan PCM menggunakan format sampel mono 16 bit yang didokumenkan, manakala Opus menggunakan 48 kHz. Pilih format untuk fail narasi yang disimpan, main balik penstriman atau saluran pemprosesan audio hiliran. Simpan skrip lengkap dan pilihan suara bersama audio supaya suntingan kemudian boleh membetulkan satu baris tanpa kehilangan penyampaian yang dimaksudkan.

Kelajuan boleh dilaraskan dari 0.5 hingga 2.0, dengan kawalan kelantangan. Penormalan teks mengembangkan angka bahasa Inggeris dan Cina untuk bacaan semula jadi. Penormalan kelantangan output mempunyai nilai lalai true dan digunakan pada keluarga S2; medan yang sama tidak berkesan pada S1. repetition_penalty daripada S1 tidak mengubah audio S2.1 Pro, jadi tetapan lama tidak patut dianggap sebagai kawalan yang berkesan untuk model ini. Semak bunyi dan perkataan yang berulang secara langsung, bukannya bergantung pada parameter yang dibawa daripada versi lama untuk membuktikan hasilnya.

Skrip yang lebih panjang diproses dalam cebisan. Julat panjang cebisan yang didokumenkan ialah 100–300, dan max_new_tokens ialah peruntukan token audio bagi setiap cebisan, bukannya jaminan jumlah tempoh. Pelaziman daripada cebisan terdahulu boleh membawa konteks suara ke hadapan. Aliran penghantaran pengeluar menerangkan audio lengkap, cebisan audio secara beransur-ansur dan penstriman teks langsung apabila skrip tiba sedikit demi sedikit. Pilih kaedah penggunaan untuk aplikasi dan kekalkan konteks skrip yang mencukupi untuk sebutan dan nada petikan seterusnya.

Untuk artifak akhir yang berguna, dengar sama ada terdapat perkataan yang tertinggal atau berulang, sebutan angka, pertukaran penutur, jeda dan kekuatan arahan. Rujukan suara yang berbeza boleh mentafsir petunjuk dengan kekuatan berbeza, jadi mulakan dengan satu baris berarahan yang mudah sebelum menambah tag yang bersaing. Dalam kerja berbilang bahasa, berikan skrip dalam bahasa sasaran dan bukannya meminta model pertuturan mereka atau menterjemah kandungannya. Semakan terfokus mengubah baris, petunjuk atau rujukan yang menyebabkan ketidakpadanan sambil mengekalkan bahagian persembahan yang sudah memenuhi ringkasan arahan.