Fish Audio: S2 Pro

S2 Pro er Fish Audios anden generations tekst-til-tale-model til udtryksfuld indtaling, karakterdialog og samtalebaseret taleoutput. Den omdanner et skrevet manuskript til lyd og understøtter instruktioner i naturligt sprog på ord- eller fraseniveau. Den tidligere S1-generation bruger signaler i runde parenteser, mens S2 Pro indbygget bruger firkantede parenteser og understøtter flere talere i én synteseanmodning. Producenten udgiver S2 Pro-modelvægte og finjusteringskode til separat tilpasningsarbejde; en almindelig taleanmodning bruger den valgte model frem for at træne en ny.

Skriv først det talte indhold, og placer derefter en instruktion for fremførelse umiddelbart før det ord eller den frase, den skal påvirke. Instruktioner kan beskrive en hvisken, en reaktion, en pause, et følelsesmæssigt skift eller en frit beskrevet talestil. Til en kort produktforklaring skal du holde den faktuelle sætning tydelig og kun lægge betoning dér, hvor lytteren skal bemærke en forskel. Til en karakterreplik skal du beskrive følelsesskiftet i det øjeblik, det sker, frem for at give hele passagen én fast stemning.

Tags i firkantede parenteser er frie beskrivelser og ikke en lukket menu. Eksempler er [whispering], [sigh], [long pause] og en formulering som [speaking slowly, almost hesitant]. Tags kan stå midt i en sætning og påvirker den efterfølgende tale. Et beskrivende tag kræver faktisk tekst efter sig; en isoleret instruktion kan give uforudsigeligt output. Begynd med én eller to nyttige instruktioner, før du tilføjer flere lag, da modstridende tags kan sløre den fremførelse, du ønskede. Forskellige stemmereferencer kan reagere på samme instruktion med forskellig intensitet.

S2-udgivelsen beskriver omkring 80 sprog og giver eksempler på at skrive instruktioner for fremførelse på samme sprog som manuskriptet. Forbered ordlyden på det sprog, der skal tales, og bevar navne, enheder og forkortelser, som kræver en bestemt oplæsning. En flersproget indtaling kan bevare sin tilsigtede stemme, mens manuskriptets sprog ændres, men slutresultatet kræver stadig gennemlytning af udtale og kontinuitet. Syntesen producerer det leverede indhold som tale frem for at beslutte, hvilke oplysninger applikationen skal sige.

Til én taler skal du vælge en gemt stemmeidentifikator eller levere referencelyd og dens tilsvarende transskription. Producenten anbefaler en ren prøve på 10–30 sekunder til øjeblikkelig tilpasning. Til dialog skal du bruge talermarkører som <|speaker:0|> og <|speaker:1|> sammen med en ordnet liste over stemmeidentifikatorer eller separate referencegrupper til talerne. Den numeriske markør vælger den tilsvarende stemmepost; hold rækkefølgen fast, efterhånden som samtalen udvikler sig. Instruktioner for fremførelse i naturligt sprog og stemmevalg har forskellige roller i manuskriptet.

Lydoutput kan være MP3, WAV, rå PCM eller Opus. MP3 har som standard 128 kbps og tilbyder 64 eller 192 kbps; Opus-output bruger 48 kHz, mens WAV og PCM understøtter deres dokumenterede valg af samplingsfrekvens som 16-bit mono. Vælg formatet efter dets faktiske destination: en gemt fil til indtaling eller egnede lydblokke til afspilning. Producentens talearbejdsgang beskriver også live tekststreaming, når manuskriptet ankommer gradvist. Det genererede resultat bør fortsat være knyttet til det komplette manuskript og de valgte stemmer.

Hastigheden kan justeres mellem 0.5 og 2.0 med indstillinger for lydstyrke og normalisering af outputtets oplevede lydstyrke. Tekstnormalisering forbedrer oplæsning af engelske og kinesiske tal. Behandlingen bruger blokke i intervallet 100–300 og et budget for lydtokens pr. blok, så disse indstillinger bør ikke læses som en fast maksimal længde for en hel indtaling. Tilpasning ud fra den foregående blok kan føre stemmekontekst videre til næste segment. Samplingindstillinger som temperature og top-p påvirker variation; en bevidst instrueret replik kræver stadig nok tekst og kontekst til at bære den tilsigtede lyd.

En nyttig produktionsbrief adskiller indtaling, dialog og instruktioner for fremførelse og angiver derefter stemmen og formatet for det resulterende materiale. Lyt efter manglende ord, gentaget lyd, taludtale, talerskift og timingen af en reaktion. Revider den replik eller stemmereference, der er ansvarlig for afvigelsen, i stedet for at antage, at flere tags vil forbedre enhver passage. S2 Pro er fortsat en særskilt tidligere S2-generation; S2.1 Pro er den senere udgave med sine egne forbedringer og modelspecifik adfærd for indstillingerne.