Fish Audio: S2.1 Pro

S2.1 Pro er Fish Audios nyere tekst-til-tale-modell i S2-generasjonen for uttrykksfull fortellerstemme og samtalebaserte taleapplikasjoner. Den forbedrer talekvalitet, forsinkelse og gjennomstrømming sammenlignet med S2 Pro, samtidig som den beholder fremføringsstyring i naturlig språk og innebygd dialog med flere talere. S2.1 Pro og S2.1 Pro Free deler den underliggende talemodellen.

Ved en innlest forklaring oppgir du den ferdige ordlyden, ønsket stemme og stedene der tempo eller betoning skal endres. Ved en samtaleapplikasjon syntetiserer du svaret applikasjonen har valgt, og holder faktainnholdet atskilt fra fremføringsinstruksjonene. Ved en manusbasert dialog definerer du talerne og stemmene deres før du skriver replikkene. Et nyttig resultat er en fullstendig lydpassasje eller avspillbar strøm der ord, fremføring og talerroller samsvarer med beskrivelsen.

Skriv ordene som faktisk skal uttales, og plasser deretter en instruksjon rett før passasjen der fremføringen skal endres. Instruksjoner i hakeparenteser kan uttrykke hvisking, en pause, en reaksjon, betoning eller en fritt beskrevet talemåte. Plasser en endring midt i setningen der fremføringen trenger den, og la beskrivende instruksjoner følges av faktisk tale. En nyttig beskrivelse for en forklarende innlesing skiller faktainnholdet fra varmen, tempoet eller betoningen som ønskes for lytteren.

For én taler velger du en lagret stemmeidentifikator eller legger ved et referanseopptak med transkripsjon. Produsentens taleveiledning anbefaler et rent opptak på 10–30 sekunder for umiddelbar stemmetilpasning. Velg en referanse med tone og opptakskvalitet som passer til manuset, og bevar den samme referansen gjennom beslektede passasjer. Stemmereferansen gir talerens klang; teksten og instruksjonene i den gir innholdet og fremføringen.

Innebygd syntese med flere talere bruker markører som <|speaker:0|> og <|speaker:1|> med en ordnet tabell av stemmeidentifikatorer eller separate referansegrupper. Hold de numeriske taleretikettene i samsvar med denne rekkefølgen. Ved en instruksjonsdialog skriver du hver talers replikk og plasserer fremføringsinstruksjonen etter talermarkøren der den hører hjemme. Dette genererer en dialog i én forespørsel; det er en annen arbeidsflyt enn S1s separate segmenter med én taler og etterfølgende sammenstilling.

Produsentens arbeidsflyt tilbyr MP3, WAV, rå PCM og Opus som utdata, med MP3 som standard. MP3 støtter 64, 128 og 192 kbps; WAV og PCM bruker de dokumenterte 16-biters monoformatene, mens Opus bruker 48 kHz. Velg format for en fortellerfil som skal lagres, strømmet avspilling eller en etterfølgende lydprosess. Behold hele manuset og stemmevalget sammen med lyden, slik at en senere redigering kan endre én linje uten å miste den tiltenkte fremføringen.

Hastigheten kan justeres fra 0.5 til 2.0, med voluminnstillinger. Tekstnormalisering skriver ut engelske og kinesiske tall for naturlig opplesing. Normalisering av lydstyrke i utdata har standardverdien true og brukes på S2-familien; det samme feltet hadde ingen virkning på S1. S1s repetition_penalty endrer ikke lyden fra S2.1 Pro, så en gammel innstilling bør ikke behandles som en virksom styring for denne modellen. Kontroller gjentatte lyder og ord direkte fremfor å støtte deg på en overført parameter for å fastslå resultatet.

Lengre manus behandles i biter. Det dokumenterte intervallet for bitlengde er 100–300, og max_new_tokens er et lydtokenbudsjett per bit, ikke en garanti for samlet varighet. Tilpasning ut fra forrige bit kan føre stemmekontekst videre. Produsentens leveringsflyt beskriver fullstendig lyd, fortløpende lydbiter og strømming av tekst i sanntid når manuset kommer gradvis. Velg mottaksmetoden for applikasjonen, og bevar nok manuskontekst til neste passasjes uttale og tone.

For et nyttig ferdig resultat lytter du etter utelatte eller gjentatte ord, talluttale, talerskifter, pauser og styrken i instruksjonene. Ulike stemmereferanser kan tolke en instruksjon med ulik styrke, så begynn med en enkel regissert linje før du legger til konkurrerende tagger. Ved flerspråklig arbeid legger du ved manuset på målspråket fremfor å be talemodellen finne på eller oversette innholdet. En målrettet revisjon endrer linjen, instruksjonen eller referansen som forårsaker avviket, samtidig som delene av fremføringen som allerede passer til oppgaven, beholdes.