Fish Audio: S2 Pro

S2 Pro är Fish Audios andra generation av text-till-tal-modeller för uttrycksfull berättarröst, karaktärsdialog och talade samtalssvar. Den omvandlar ett skrivet manus till ljud och stöder anvisningar på naturligt språk på ord- eller frasnivå. Den föregående S1-generationen använder anvisningar inom parenteser, medan S2 Pro har inbyggt stöd för hakparenteser och flera talare inom en syntesbegäran. Tillverkaren publicerar vikter och kod för finjustering av S2 Pro för separat anpassningsarbete; en vanlig talbegäran använder den valda modellen i stället för att träna en ny.

Skriv det talade innehållet först och placera sedan en anvisning för framförandet omedelbart före ordet eller frasen som den ska påverka. Anvisningar kan beskriva en viskning, en reaktion, en paus, en känslomässig förändring eller en fritt beskriven talstil. För en kort produktförklaring håller du faktameningen tydlig och lägger betoning endast där lyssnaren bör uppmärksamma en skillnad. För en karaktärsreplik beskriver du den känslomässiga förändringen i det ögonblick den inträffar i stället för att ge hela avsnittet en och samma fasta sinnesstämning.

Taggar inom hakparenteser är fritt formulerade beskrivningar snarare än en sluten meny. Exempel är [whispering], [sigh], [long pause] och en fras som [speaking slowly, almost hesitant]. Taggar kan förekomma mitt i en mening och påverka det efterföljande talet. En beskrivande tagg behöver faktisk text efter sig; en isolerad instruktion kan ge oförutsägbar utdata. Börja med en eller två användbara anvisningar innan du lägger till fler lager, eftersom konkurrerande taggar kan fördunkla det avsedda framförandet. Olika röstreferenser kan reagera på samma anvisning med olika intensitet.

S2:s utgåva beskriver cirka 80 språk och ger exempel på anvisningar för framförandet på samma språk som manuset. Förbered ordalydelsen på språket som ska talas och bevara namn, enheter och förkortningar som kräver ett visst uttal. En flerspråkig berättarröst kan behålla sin avsedda röst medan manusspråket ändras, men slutresultatet behöver fortfarande avlyssnas för uttal och kontinuitet. Syntesen återger det tillhandahållna innehållet som tal snarare än avgör vilken information applikationen ska säga.

För en ensam talare väljer du en sparad röstidentifierare eller anger referensljud och dess motsvarande transkription. Tillverkaren rekommenderar ett rent prov på 10–30 sekunder för direkt anpassning. För dialog använder du talarmarkörer som <|speaker:0|> och <|speaker:1|>, med en ordnad lista av röstidentifierare eller separata referensgrupper för talarna. Den numeriska markören väljer motsvarande röstpost; håll ordningen fast medan samtalet utvecklas. Anvisningar för framförandet på naturligt språk och talarval har olika roller i manuset.

Ljudutdata kan vara MP3, WAV, rå PCM eller Opus. MP3 har standardvärdet 128 kbps och erbjuder 64 eller 192 kbps; Opus-utdata använder 48 kHz, medan WAV och PCM stöder sina dokumenterade samplingsfrekvenser som 16-bitars mono. Välj format efter dess faktiska destination: en sparad fil för berättarröst eller lämpliga ljuddelar för uppspelning. Tillverkarens talflöde beskriver även direkt textströmning när manuset kommer stegvis. Det genererade resultatet bör förbli kopplat till hela manuset och de valda rösterna.

Hastigheten kan justeras mellan 0,5 och 2,0, med kontroller för volym och normalisering av utdataljudets upplevda ljudstyrka. Textnormalisering förbättrar uppläsningen av engelska och kinesiska tal. Bearbetningen använder delar i intervallet 100–300 och en budget för ljudtoken per del, så dessa inställningar bör inte läsas som en fast maximal längd för en hel uppläsning. Anpassning utifrån föregående del kan föra röstkontexten in i nästa segment. Samplingskontroller som temperature och top-p påverkar variationen; en avsiktligt regisserad replik behöver fortfarande tillräckligt med text och kontext för att bära det avsedda ljudet.

Ett användbart produktionsunderlag skiljer berättarröst, dialog och anvisningar för framförandet åt och anger sedan röst och format för resultatet. Lyssna efter saknade ord, upprepat ljud, uttal av tal, talarbyten och en reaktions timing. Ändra den replik eller röstreferens som orsakar avvikelsen i stället för att anta att fler taggar förbättrar varje avsnitt. S2 Pro förblir en separat S2-modell från föregående generation; S2.1 Pro är den senare utgåvan med egna förbättringar och modellspecifikt inställningsbeteende.