Canopy Labs: Orpheus 3B

Orpheus 3B 0.1 Fine-Tuned är Canopy Labs engelska text-till-tal-modell för vardaglig syntes. Den tillhör Orpheus-familjen, som bygger på en Llama 3B-bas, och fokuserar på naturlig intonation, rytm och uttrycksfullt framförande. Indata är texten som ska läsas upp, med en vald talare; utdata är talljud. Tillverkaren anger också röstkloning utan exempelträning, zero-shot, för just denna finjusterade modell. Det publicerade exemplet på finjusterad syntes använder förinställda talare, medan referensstyrda text–tal-promptar dokumenteras separat för den förtränade versionen. Den finjusterade versionen skiljer sig från den förtränade modellen och de separat släppta flerspråkiga forskningsmodellerna.

Välj en talare och förbered repliken

Tillverkaren listar åtta engelska förinställda röster: tara, leah, jess, leo, dan, mia, zac och zoe. Promptkonventionen placerar talarens namn före den talade texten, avskilt med kolon. Referensarbetsflödet för talgenerering kan lägga till denna formatering när rösten anges separat. Välj en talare för det avsedda innehållet och håll valet konsekvent över sammanhängande avsnitt.

Skriv den slutliga berättartexten för en kort förklaringsfilm i stället för en instruktion som ber modellen hitta på förklaringen. En användbar talad replik är: ”Välj mappen du vill dela, kontrollera vem som kan öppna den och spara ändringarna.” För dialog förbereder du varje talares replik uttryckligen och behåller interpunktionen som hjälper framförandet. En förkortning, ett datum eller ett produktnamn ska skrivas i den form som du vill att lyssnaren ska höra, särskilt när den skrivna kortformen skulle vara tvetydig.

Uttrycksfulla och icke-verbala signaler

Orpheus dokumenterar taggarna <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> och <gasp>. De ger texten en uttrycklig icke-verbal händelse vid den relevanta punkten. Ett kort samtalsavsnitt kan lägga ett småskratt före en lättsam kommentar eller en suck före en eftertänksam mening. Använd signalen där den hör hemma i framförandet och håll replikens faktiska ord tydliga.

Det här är signaler för talgenerering, inte ett allmänt instruktionsspråk för redigering av en befintlig inspelning. Börja med läsbar text för en voice-over och lägg bara till de uttryckshändelser som scenen behöver. Lyssna på hela repliken för att bedöma om händelsen, betoningen och tempot stödjer innebörden. En berättarröstuppgift kan kräva en jämn röst, medan en karaktärsreplik kan vinna på en specifik icke-verbal signal.

Strömning och ljudresultatet

Tillverkaren tillhandahåller både en notebook utan strömning och ett exempel på strömmande tal. Strömning returnerar successiva ljuddelar medan avsnittet genereras. I det publicerade exemplet skrivs dessa delar till en mono-WAV-fil vid 24 000 Hz med 16-bitars sampel. Filinställningarna beskriver referensarbetsflödet; det användbara resultatet är en spelbar inspelning vars ord, talare och framförande kan jämföras med manuset.

För en längre berättarröst förbereder du sammanhängande avsnitt med tydliga meningsgränser och sparar en kopia av slutmanuset bredvid ljudet. Granska början och slutet av varje avsnitt, uttalet av viktiga namn och övergången mellan intilliggande inspelningar. Tillverkarens samplingsguide anger ett repetitionsstraff på minst 1.1 för stabil generering i referensimplementationen och påpekar att samplingsval kan påverka talhastigheten. Exemplets konfigurerade modellängd är en inferensinställning, inte en fastställd maximal längd för berättarröst.

Versionsgränser

Den här profilen gäller den finjusterade engelska modellen med dess dokumenterade förinställda talare. Den förtränade modellen har ett eget arbetsflöde för text- och talstyrning; flerspråkiga utgåvor har språkspecifika talare och taggar. Att välja den engelska versionen kombinerar inte dessa separata profiler. En praktisk leverans är ett talmanus, en avsiktligt vald förinställd röst och ljud som granskats avseende den ordalydelse och det framförande som innehållet kräver.