Fish Audio: S2.1 Pro

S2.1 Pro är Fish Audios senare text-till-tal-modell i S2-generationen för uttrycksfull berättarröst och röstbaserade samtalsapplikationer. Den förbättrar talkvalitet, latens och genomströmning jämfört med S2 Pro och behåller kontroll av framförandet på naturligt språk samt inbyggd dialog med flera talare. S2.1 Pro och S2.1 Pro Free delar den underliggande talmodellen.

För en uppläst förklaring anger du den färdiga ordalydelsen, den avsedda rösten och de ögonblick då takt eller betoning ska ändras. För en samtalsapplikation syntetiserar du det svar som applikationen har valt och håller dess faktainnehåll åtskilt från anvisningar för framförandet. För ett manusbundet samtal definierar du talarna och deras röster innan du skriver deras turer. Ett användbart resultat är ett komplett ljudavsnitt eller en spelbar ström vars ord, framförande och talarroller motsvarar detta underlag.

Skriv de ord som faktiskt ska uttalas och placera sedan en instruktion omedelbart före det avsnitt vars framförande ska ändras. Anvisningar inom hakparenteser kan uttrycka en viskning, en paus, en reaktion, betoning eller en fritt beskriven talstil. Placera en ändring mitt i en mening där framförandet behöver den och låt beskrivande anvisningar följas av faktiskt tal. Ett användbart underlag för en förklarande uppläsning skiljer faktainnehållets ordalydelse från den värme, takt eller betoning som lyssnaren ska få uppleva.

För en talare väljer du en sparad röstidentifierare eller anger en referensinspelning med dess transkription. Tillverkarens talguide rekommenderar ett rent prov på 10–30 sekunder för direkt röstanpassning. Välj en referens vars ton och inspelningskvalitet passar manuset och bevara samma referens i sammanhängande avsnitt. Röstreferensen ger talaren dess klang; texten och de infogade anvisningarna anger innehållet och framförandet.

Inbyggd syntes med flera talare använder markörer som <|speaker:0|> och <|speaker:1|> tillsammans med en ordnad array av röstidentifierare eller separata referensgrupper. Håll de numeriska talaretiketterna i linje med denna ordning. För ett instruerande samtal skriver du varje talares replik och placerar anvisningen för framförandet efter talarmarkören där den hör hemma. Detta skapar en dialog inom en enda begäran; arbetsflödet skiljer sig från S1:s separata segment med en talare och efterföljande sammanfogning.

Tillverkarens arbetsflöde erbjuder utdata i MP3, WAV, rå PCM och Opus, med MP3 som standard. MP3 stöder 64, 128 och 192 kbps; WAV och PCM använder dokumenterade 16-bitars monoformat för ljudsampling, medan Opus använder 48 kHz. Välj formatet för en sparad berättarröstfil, strömmad uppspelning eller en efterföljande ljudpipeline. Behåll hela manuset och röstvalet tillsammans med ljudet så att en senare redigering kan behandla en replik utan att tappa det avsedda framförandet.

Hastigheten kan justeras från 0,5 till 2,0, med volymkontroller. Textnormalisering skriver ut engelska och kinesiska tal för naturlig uppläsning. Normalisering av utdataljudets upplevda ljudstyrka har standardvärdet true och tillämpas på S2-familjen; samma fält hade ingen effekt på S1. S1:s repetition_penalty ändrar inte ljudet från S2.1 Pro, så en gammal inställning bör inte behandlas som en fungerande kontroll för denna modell. Granska upprepade ljud och formuleringar direkt i stället för att förlita dig på en ärvd parameter som bevis för resultatet.

Längre manus bearbetas i delar. Det dokumenterade intervallet för dellängd är 100–300, och max_new_tokens är en budget för ljudtoken per del snarare än en garanti för den totala längden. Anpassning utifrån föregående del kan föra röstkontexten vidare. Tillverkarens leveransflöde beskriver komplett ljud, successiva ljuddelar och direkt strömning av text när manuset kommer stegvis. Välj hur applikationen ska ta emot resultatet och bevara tillräcklig manuskontext för uttal och ton i nästa avsnitt.

För ett användbart slutresultat ska du lyssna efter utelämnade eller upprepade ord, uttal av tal, talarbyten, pauser och anvisningarnas intensitet. Olika röstreferenser kan tolka en anvisning med olika styrka, så börja med en enkel regisserad replik innan du lägger till konkurrerande taggar. Vid flerspråkigt arbete anger du manuset på målspråket i stället för att be talmodellen hitta på eller översätta innehållet. En fokuserad korrigering ändrar den replik, anvisning eller referens som orsakar avvikelsen och behåller de delar av framförandet som redan passar underlaget.