Fish Audio: S2.1 Pro

S2.1 Pro er Fish Audios senere tekst-til-tale-model i S2-generationen til udtryksfuld indtaling og applikationer med samtaletale. Den forbedrer talekvalitet, latenstid og gennemløb i forhold til S2 Pro og bevarer samtidig styring af fremførelse i naturligt sprog og indbygget dialog med flere talere. S2.1 Pro og S2.1 Pro Free deler den underliggende talemodel.

Til en indtalt forklaring skal du levere den færdige ordlyd, den tilsigtede stemme og de steder, hvor tempo eller betoning skal ændres. Til en samtaleapplikation skal du syntetisere det svar, applikationen har valgt, og holde dets faktuelle indhold adskilt fra instruktionerne for fremførelse. Til en manuskriptbaseret udveksling skal du definere talerne og deres stemmer, før du skriver deres replikker. Et nyttigt resultat er en komplet lydpassage eller en afspillelig stream, hvis ord, fremførelse og talerroller svarer til denne brief.

Skriv de ord, der faktisk skal siges, og placer derefter en instruktion umiddelbart før den passage, hvis fremførelse skal ændres. Instruktioner i firkantede parenteser kan udtrykke en hvisken, en pause, en reaktion, betoning eller en frit beskrevet talestil. Placer en ændring midt i en sætning dér, hvor fremførelsen kræver det, og lad beskrivende instruktioner efterfølges af faktisk tale. En nyttig brief til en forklaring adskiller den faktuelle ordlyd fra den varme, det tempo eller den betoning, der ønskes for lytteren.

Til én taler skal du vælge en gemt stemmeidentifikator eller levere en referenceoptagelse med dens transskription. Producentens talevejledning anbefaler en ren prøve på 10–30 sekunder til øjeblikkelig stemmetilpasning. Vælg en reference med en tone og optagekvalitet, der passer til manuskriptet, og bevar samme reference på tværs af sammenhængende passager. Stemmereferencen leverer talerens klang; teksten og de indlejrede instruktioner leverer indholdet og dets fremførelse.

Indbygget syntese med flere talere bruger markører som <|speaker:0|> og <|speaker:1|> sammen med et ordnet array af stemmeidentifikatorer eller separate referencegrupper. Hold de numeriske talerbetegnelser i overensstemmelse med denne rækkefølge. Ved en undervisende udveksling skal du skrive hver talers replik og placere instruktionen for fremførelse efter talermarkøren dér, hvor den hører til. Det genererer en dialog i én anmodning; det er en anden arbejdsgang end S1s separate segmenter med én taler og efterfølgende samling.

Producentens arbejdsgang tilbyder MP3, WAV, rå PCM og Opus som output med MP3 som standard. MP3 understøtter 64, 128 og 192 kbps; WAV og PCM bruger de dokumenterede 16-bit mono-sampleformater, mens Opus bruger 48 kHz. Vælg formatet til en gemt indtalingsfil, streamet afspilning eller en efterfølgende lydpipeline. Bevar det komplette manuskript og stemmevalget sammen med lyden, så en senere redigering kan rette én replik uden at miste den tilsigtede fremførelse.

Hastigheden kan justeres fra 0.5 til 2.0 sammen med lydstyrkeindstillinger. Tekstnormalisering udvider engelske og kinesiske tal til naturlig oplæsning. Normalisering af outputtets oplevede lydstyrke er som standard true og anvendes på S2-familien; samme felt havde ingen effekt på S1. S1s repetition_penalty ændrer ikke S2.1 Pro-lyd, så en gammel indstilling bør ikke betragtes som en virksom indstilling til denne model. Gennemgå gentagne lyde og ordlyd direkte i stedet for at stole på en overført parameter som dokumentation for resultatet.

Længere manuskripter behandles i blokke. Det dokumenterede interval for bloklængde er 100–300, og max_new_tokens er et budget for lydtokens pr. blok frem for en garanti for samlet varighed. Tilpasning ud fra den foregående blok kan føre stemmekontekst videre. Producentens leveringsarbejdsgang beskriver komplet lyd, trinvise lydblokke og live tekststreaming, når manuskriptet ankommer gradvist. Vælg applikationens modtagelsesmetode, og bevar tilstrækkelig manuskriptkontekst til næste passages udtale og tone.

For at få et nyttigt slutresultat skal du lytte efter udeladte eller gentagne ord, taludtale, talerskift, pauser og instruktionernes intensitet. Forskellige stemmereferencer kan fortolke et signal med forskellig styrke, så begynd med en enkel instrueret replik, før du tilføjer modstridende tags. Ved flersproget arbejde skal du levere manuskriptet på målsproget i stedet for at bede talemodellen om at opfinde eller oversætte indholdet. En fokuseret revision ændrer den replik, det signal eller den reference, der forårsager afvigelsen, og bevarer de dele af fremførelsen, som allerede passer til briefen.