Fish Audio: S2.1 Pro Free (free)

S2.1 Pro Free er Fish Audios udviklerorienterede udgave af tekst-til-tale-modellen S2.1. Den deler den underliggende model og de centrale synteseegenskaber med S2.1 Pro: udtryksfuld flersproget tale, instruktioner for fremførelse i naturligt sprog og indbygget dialog med flere talere. Dens rolle er test, prototyper, udvikling og mindre applikationsarbejdsgange.

Til en prototype på en stemmeassistent skal du begynde med et komplet prøvesvar og vurdere, hvordan det lyder, før du tester tekst, der ankommer gradvist. Til et læringsprodukt skal du forberede en kort forklaring med de præcise termer og taloplæsninger, som lytteren har brug for. Til en dialogprototype skal du definere talerne og deres stemmereferencer, før du tilføjer instruktioner for fremførelse. Disse trin udvikler et lydresultat og et applikationsforløb omkring det frem for at gøre en synteseanmodning ansvarlig for hele samtalen.

Skriv de ord, der faktisk skal siges, og placer derefter en instruktion umiddelbart før den passage, hvis fremførelse skal ændres. Instruktioner i firkantede parenteser kan udtrykke en hvisken, en pause, en reaktion, betoning eller en frit beskrevet talestil. Placer en ændring midt i en sætning dér, hvor fremførelsen kræver det, og lad beskrivende instruktioner efterfølges af faktisk tale. En nyttig brief til en forklaring adskiller den faktuelle ordlyd fra den varme, det tempo eller den betoning, der ønskes for lytteren.

Til én taler skal du vælge en gemt stemmeidentifikator eller levere en referenceoptagelse med dens transskription. Producentens talevejledning anbefaler en ren prøve på 10–30 sekunder til øjeblikkelig stemmetilpasning. Vælg en reference med en tone og optagekvalitet, der passer til manuskriptet, og bevar samme reference på tværs af sammenhængende passager. Stemmereferencen leverer talerens klang; teksten og de indlejrede instruktioner leverer indholdet og dets fremførelse.

Indbygget syntese med flere talere bruger markører som <|speaker:0|> og <|speaker:1|> sammen med et ordnet array af stemmeidentifikatorer eller separate referencegrupper. Hold de numeriske talerbetegnelser i overensstemmelse med denne rækkefølge. Ved en undervisende udveksling skal du skrive hver talers replik og placere instruktionen for fremførelse efter talermarkøren dér, hvor den hører til. Det genererer en dialog i én anmodning; det er en anden arbejdsgang end S1s separate segmenter med én taler og efterfølgende samling.

Producentens arbejdsgang tilbyder MP3, WAV, rå PCM og Opus som output med MP3 som standard. MP3 understøtter 64, 128 og 192 kbps; WAV og PCM bruger de dokumenterede 16-bit mono-sampleformater, mens Opus bruger 48 kHz. Vælg formatet til en gemt indtalingsfil, streamet afspilning eller en efterfølgende lydpipeline. Bevar det komplette manuskript og stemmevalget sammen med lyden, så en senere redigering kan rette én replik uden at miste den tilsigtede fremførelse.

Hastigheden kan justeres fra 0.5 til 2.0 sammen med lydstyrkeindstillinger. Tekstnormalisering udvider engelske og kinesiske tal til naturlig oplæsning. Normalisering af outputtets oplevede lydstyrke er som standard true og anvendes på S2-familien; samme felt havde ingen effekt på S1. S1s repetition_penalty ændrer ikke S2.1 Pro-lyd, så en gammel indstilling bør ikke betragtes som en virksom indstilling til denne model. Gennemgå gentagne lyde og ordlyd direkte i stedet for at stole på en overført parameter som dokumentation for resultatet.

Længere manuskripter behandles i blokke. Det dokumenterede interval for bloklængde er 100–300, og max_new_tokens er et budget for lydtokens pr. blok frem for en garanti for samlet varighed. Tilpasning ud fra den foregående blok kan føre stemmekontekst videre. Producentens leveringsarbejdsgang beskriver komplet lyd, trinvise lydblokke og live tekststreaming, når manuskriptet ankommer gradvist. Vælg applikationens modtagelsesmetode, og bevar tilstrækkelig manuskriptkontekst til næste passages udtale og tone.

For at få et nyttigt slutresultat skal du lytte efter udeladte eller gentagne ord, taludtale, talerskift, pauser og instruktionernes intensitet. Forskellige stemmereferencer kan fortolke et signal med forskellig styrke, så begynd med en enkel instrueret replik, før du tilføjer modstridende tags. Ved flersproget arbejde skal du levere manuskriptet på målsproget i stedet for at bede talemodellen om at opfinde eller oversætte indholdet. En fokuseret revision ændrer den replik, det signal eller den reference, der forårsager afvigelsen, og bevarer de dele af fremførelsen, som allerede passer til briefen.