Canopy Labs: Orpheus 3B

Orpheus 3B 0.1 Fine-Tuned er Canopy Labs’ engelske tekst-til-tale-modell for vanlig syntese. Den tilhører Orpheus-familien, bygget på et Llama 3B-grunnlag, og retter seg mot naturlig intonasjon, rytme og uttrykksfull fremføring. Inndata er teksten som skal sies, med en valgt taler; utdata er talelyd. Produsenten oppgir også zero-shot-stemmekloning for akkurat denne finjusterte modellen. Det publiserte eksemplet på finjustert syntese bruker forhåndsdefinerte talere, mens tekst–tale-prompting betinget av referanser er dokumentert separat for den forhåndstrente utgaven. Denne finjusterte utgaven er forskjellig fra den forhåndstrente modellen og de separat utgitte flerspråklige forskningsmodellene.

Velg en taler og forbered replikken

Produsenten oppgir åtte forhåndsdefinerte engelske stemmer: tara, leah, jess, leo, dan, mia, zac og zoe. Promptkonvensjonen plasserer talernavnet før taleteksten, adskilt med et kolon. Referansearbeidsflyten for talegenerering kan legge til denne formateringen når stemmen oppgis separat. Velg en taler til det tiltenkte innholdet og bruk samme valg gjennom sammenhengende avsnitt.

Til en kort forklaringsvideo skriver du den endelige fortellerteksten i stedet for en instruksjon som ber modellen finne på forklaringen. En nyttig muntlig replikk er: «Velg mappen du vil dele, kontroller hvem som kan åpne den, og lagre endringene.» Til dialog forbereder du hver talers replikk eksplisitt og beholder tegnsettingen som hjelper fremføringen. En forkortelse, dato eller et produktnavn bør skrives slik du vil at lytteren skal høre det, særlig når den skriftlige kortformen er tvetydig.

Uttrykksfulle og ikke-verbale signaler

Orpheus dokumenterer taggene <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> og <gasp>. De gir teksten en eksplisitt ikke-verbal hendelse på det aktuelle stedet. Et kort samtaleavsnitt kan plassere en humring før en lett bemerkning eller et sukk før en reflekterende setning. Bruk signalet der det hører hjemme i fremføringen, og hold replikkens faktiske ord tydelige.

Dette er signaler for talegenerering, ikke et generelt instruksjonsspråk for redigering av et eksisterende opptak. Til en voiceover begynner du med lesbar tekst og legger bare til uttrykkshendelsene scenen trenger. Lytt til hele replikken for å vurdere om hendelsen, betoningen og tempoet støtter betydningen. En fortelleroppgave kan kreve en jevn stemme, mens en karakterreplikk kan ha nytte av et bestemt ikke-verbalt signal.

Strømming og lydresultatet

Produsenten tilbyr både en notebook uten strømming og et eksempel på strømmet tale. Strømming returnerer påfølgende lydblokker mens avsnittet genereres. I det publiserte eksemplet skrives blokkene til en mono-WAV-fil med 24 000 Hz og 16-bits lydprøver. Filinnstillingene beskriver referansearbeidsflyten; det nyttige resultatet er et avspillbart opptak der ord, taler og fremføring kan kontrolleres mot manuset.

Til en lengre fortellertekst forbereder du sammenhengende avsnitt med klare setningsgrenser og oppbevarer en kopi av det endelige manuset sammen med lyden. Gjennomgå starten og slutten av hvert avsnitt, uttalen av viktige navn og overgangen mellom tilstøtende opptak. Produsentens veiledning om sampling angir en repetisjonsstraff på minst 1.1 for stabil generering i referanseimplementasjonen og påpeker at samplingvalg kan påvirke talehastigheten. Eksemplets konfigurerte modellengde er en inferensinnstilling, ikke en etablert maksimal fortellervarighet.

Grenser mellom utgaver

Denne profilen gjelder den finjusterte engelske modellen med dokumenterte forhåndsdefinerte talere. Den forhåndstrente modellen har sin egen arbeidsflyt for betinging med tekst og tale; flerspråklige utgivelser har språkspesifikke talere og tagger. Valg av denne engelske utgaven kombinerer ikke de separate profilene. Et praktisk resultat er et muntlig manus, en bevisst valgt forhåndsdefinert stemme og lyd som er gjennomgått for ordlyden og fremføringen innholdet krever.