Fish Audio: S2 Pro

S2 Pro ialah model teks kepada pertuturan generasi kedua Fish Audio untuk narasi ekspresif, dialog watak dan output suara perbualan. Ia menukar skrip bertulis kepada audio dan menyokong arahan bahasa semula jadi pada peringkat perkataan atau frasa. Generasi S1 terdahulu menggunakan petunjuk dalam kurungan biasa, manakala S2 Pro menggunakan kurungan siku secara natif dan menyokong berbilang penutur dalam satu permintaan sintesis. Pembuat mengeluarkan pemberat S2 Pro dan kod penalaan halus untuk kerja penyesuaian berasingan; permintaan pertuturan biasa menggunakan model yang dipilih dan bukannya melatih model baharu.

Tulis kandungan pertuturan dahulu, kemudian letakkan arahan penyampaian sejurus sebelum perkataan atau frasa yang patut dipengaruhinya. Arahan boleh menerangkan bisikan, reaksi, jeda, perubahan emosi atau gaya pertuturan yang bebas. Untuk penerangan produk pendek, pastikan ayat fakta jelas dan letakkan penegasan hanya pada tempat pendengar patut menyedari perbezaan. Untuk baris dialog watak, terangkan perubahan emosi pada saat perubahan itu berlaku, bukannya memberikan satu suasana tetap kepada seluruh petikan.

Tag dalam kurungan siku ialah penerangan domain terbuka, bukannya menu tertutup. Contohnya termasuk [whispering], [sigh], [long pause] dan frasa seperti [speaking slowly, almost hesitant]. Tag boleh muncul di tengah ayat dan mempengaruhi pertuturan selepasnya. Tag deskriptif memerlukan teks sebenar selepasnya; arahan yang berdiri sendiri boleh menghasilkan output yang tidak dapat diramal. Mulakan dengan satu atau dua arahan yang berguna sebelum menambah lapisan, kerana tag yang bersaing boleh mengaburkan penyampaian yang dimaksudkan. Rujukan suara yang berbeza boleh bertindak balas terhadap arahan sama dengan kekuatan berbeza.

Keluaran S2 menerangkan kira-kira 80 bahasa dan memberikan contoh menulis arahan penyampaian dalam bahasa yang sama dengan skrip. Sediakan susunan kata dalam bahasa yang patut dituturkan dan kekalkan nama, unit serta singkatan yang memerlukan bacaan tertentu. Narasi berbilang bahasa boleh mengekalkan suara yang dimaksudkan sambil menukar bahasa skrip, tetapi artifak akhir masih perlu didengar untuk menyemak sebutan dan kesinambungan. Sintesis menghasilkan kandungan yang dibekalkan sebagai pertuturan, bukannya menentukan maklumat yang patut disampaikan aplikasi.

Untuk seorang penutur, pilih pengecam suara yang disimpan atau berikan audio rujukan dengan transkrip yang sepadan. Pengeluar mengesyorkan sampel bersih sepanjang 10–30 saat untuk pelaziman serta-merta. Untuk dialog, gunakan penanda penutur seperti <|speaker:0|> dan <|speaker:1|>, bersama senarai tersusun pengecam suara atau kumpulan rujukan berasingan bagi penutur. Penanda angka memilih entri suara yang sepadan; kekalkan susunannya sepanjang perbualan berkembang. Arahan penyampaian bahasa semula jadi dan pemilihan penutur mempunyai peranan berbeza dalam skrip.

Output audio boleh berupa MP3, WAV, PCM mentah atau Opus. MP3 mempunyai nilai lalai 128 kbps dan menawarkan 64 atau 192 kbps; output Opus menggunakan 48 kHz, manakala WAV dan PCM menyokong pilihan kadar sampel yang didokumenkan sebagai mono 16 bit. Pilih format berdasarkan destinasi sebenarnya: fail yang disimpan untuk narasi, atau cebisan audio yang sesuai untuk main balik. Aliran kerja pertuturan pengeluar turut menerangkan penstriman teks langsung apabila skrip tiba secara beransur-ansur. Hasil yang dijana patut kekal dikaitkan dengan skrip lengkap dan suara yang dipilih.

Kelajuan boleh dilaraskan antara 0.5 dan 2.0, dengan kawalan kelantangan dan penormalan kelantangan output. Penormalan teks menambah baik bacaan angka bahasa Inggeris dan Cina. Pemprosesan menggunakan cebisan dalam julat 100–300 dan peruntukan token audio bagi setiap cebisan, jadi tetapan ini tidak patut dibaca sebagai panjang maksimum tetap untuk seluruh narasi. Pelaziman daripada cebisan terdahulu boleh membawa konteks suara ke segmen seterusnya. Kawalan pensampelan seperti temperature dan top-p mempengaruhi variasi; baris dengan arahan yang disengajakan masih memerlukan teks dan konteks mencukupi untuk membawa bunyi yang dimaksudkan.

Ringkasan arahan produksi yang berguna memisahkan narasi, dialog dan arahan penyampaian, kemudian menyatakan suara serta format artifak yang dihasilkan. Dengar sama ada terdapat perkataan tertinggal, audio berulang, sebutan angka, pertukaran penutur dan pemasaan reaksi. Semak baris atau rujukan suara yang menyebabkan ketidakpadanan, bukannya menganggap lebih banyak tag akan menambah baik setiap petikan. S2 Pro kekal sebagai model S2 generasi terdahulu yang tersendiri; S2.1 Pro ialah edisi lebih baharu dengan penambahbaikan dan tingkah laku tetapan khusus modelnya sendiri.