Fish Audio: S2 Pro

S2 Pro — Fish Audio’ning ifodali ovozli bayon, qahramonlar muloqoti va suhbat ovozi uchun ikkinchi avlod matnni nutqqa aylantirish modeli. U yozma ssenariyni audioga aylantiradi va so‘z yoki ibora darajasida tabiiy tildagi ko‘rsatmalarni qo‘llab-quvvatlaydi. Oldingi S1 avlodi yumaloq qavsdagi ishoralardan, S2 Pro esa bevosita kvadrat qavslardan foydalanadi va bitta sintez so‘rovida bir nechta so‘zlovchini qo‘llab-quvvatlaydi. Ishlab chiqaruvchi S2 Pro vaznlari va qo‘shimcha o‘qitish kodini alohida moslashtirish ishlari uchun chiqaradi; oddiy nutq so‘rovi yangi model o‘qitmasdan tanlangan modeldan foydalanadi.

Avval aytiladigan mazmunni yozing, so‘ng ijro ko‘rsatmasini u ta’sir qilishi kerak bo‘lgan so‘z yoki ibora oldiga bevosita qo‘ying. Ko‘rsatmalar pichirlash, reaksiya, pauza, hissiy o‘zgarish yoki erkin ta’riflangan so‘zlash uslubini tavsiflashi mumkin. Qisqa mahsulot tushuntirishida faktik jumlani ravshan tuting va faqat tinglovchi farqni sezishi kerak bo‘lgan joyga urg‘u bering. Qahramon jumlasida butun parchaga bitta o‘zgarmas kayfiyat berish o‘rniga hissiy o‘zgarishni sodir bo‘lgan paytda tavsiflang.

Kvadrat qavsdagi teglar yopiq menyu emas, erkin sohadagi tavsiflardir. Misollar: [whispering], [sigh], [long pause] va [speaking slowly, almost hesitant] kabi ibora. Teglar gap o‘rtasida kelib, keyingi nutqqa ta’sir qilishi mumkin. Tavsifiy tegdan keyin haqiqiy matn bo‘lishi kerak; yolg‘iz ko‘rsatma oldindan aytib bo‘lmaydigan natija berishi mumkin. Qo‘shimcha qatlamlardan oldin bir yoki ikki foydali ko‘rsatmadan boshlang, chunki bir-biriga zid teglar mo‘ljallangan ijroni xiralashtirishi mumkin. Turli ovoz namunalari bir xil ko‘rsatmaga turli kuchda javob berishi mumkin.

S2 relizi taxminan 80 tilni tavsiflaydi va ijro ko‘rsatmalarini ssenariy bilan bir tilda yozish misollarini beradi. Matnni aytilishi kerak bo‘lgan tilda tayyorlang va alohida o‘qilishi kerak bo‘lgan nomlar, birliklar va qisqartmalarni saqlang. Ko‘p tilli ovozli bayon ssenariy tili o‘zgarganda mo‘ljallangan ovozni saqlashi mumkin, biroq yakuniy materialda talaffuz va izchillik tinglab tekshirilishi kerak. Sintez ilova qanday ma’lumot aytishini belgilamasdan, berilgan mazmunni nutqqa aylantiradi.

Bitta so‘zlovchi uchun saqlangan ovoz identifikatorini tanlang yoki namuna audio va unga mos transkript bering. Ishlab chiqaruvchi darhol moslashtirish uchun toza 10–30 soniyali namunani tavsiya qiladi. Muloqotda so‘zlovchilar uchun tartiblangan ovoz identifikatorlari ro‘yxati yoki alohida namuna guruhlari bilan <|speaker:0|> va <|speaker:1|> kabi belgilardan foydalaning. Raqamli belgi tegishli ovoz yozuvini tanlaydi; suhbat rivojlanganda tartibni o‘zgartirmang. Tabiiy tildagi ijro ko‘rsatmalari va so‘zlovchi tanlash ssenariyda turli vazifalarni bajaradi.

Audio chiqishi MP3, WAV, xom PCM yoki Opus bo‘lishi mumkin. MP3 standart holda 128 kbps, shuningdek 64 yoki 192 kbps’ni taklif qiladi; Opus chiqishi 48 kHz’dan foydalanadi, WAV va PCM esa hujjatlashtirilgan namuna chastotasi variantlarini 16 bitli mono sifatida qo‘llab-quvvatlaydi. Formatni haqiqiy manziliga qarab tanlang: ovozli bayon uchun saqlanadigan fayl yoki ijro uchun mos audio bo‘laklari. Ishlab chiqaruvchining nutq jarayoni ssenariy asta kelganda jonli matn oqimini ham tavsiflaydi. Generatsiya qilingan natija to‘liq ssenariy va tanlangan ovozlarga bog‘langan holda qolishi kerak.

Tezlikni 0.5 va 2.0 orasida o‘zgartirish, ovoz balandligi va chiqish balandligini me’yorlashtirishni boshqarish mumkin. Matnni me’yorlashtirish ingliz va xitoy tillaridagi sonlarni o‘qishni yaxshilaydi. Qayta ishlash 100–300 oralig‘idagi bo‘laklar va har bo‘lakka audio token byudjetidan foydalanadi; bu sozlamalarni butun ovozli bayonning qat’iy maksimal uzunligi deb tushunmang. Oldingi bo‘lakka tayantirish ovoz kontekstini keyingi segmentga o‘tkazishi mumkin. temperature va top-p kabi tanlab olish boshqaruvlari xilma-xillikka ta’sir qiladi; ataylab boshqarilgan jumlaga ham mo‘ljallangan jarangni berish uchun yetarli matn va kontekst zarur.

Foydali ishlab chiqarish topshirig‘i ovozli bayon, muloqot va ijro ko‘rsatmalarini ajratadi, so‘ng natijaning ovozi va formatini belgilaydi. Tushib qolgan so‘zlar, takrorlangan audio, sonlar talaffuzi, so‘zlovchi almashishi va reaksiya vaqtini tinglang. Ko‘proq teg har bir parchani yaxshilaydi deb hisoblamasdan, nomuvofiqlikka sabab bo‘lgan jumla yoki ovoz namunasini tahrirlang. S2 Pro oldingi S2 avlodining alohida modeli bo‘lib qoladi; S2.1 Pro esa o‘z yaxshilanishlari va modelga xos sozlama xatti-harakatiga ega keyingi nashrdir.