Canopy Labs: Orpheus 3B

Orpheus 3B 0.1 Fine-Tuned er Canopy Labs' engelske tekst-til-tale-model til almindelig talesyntese. Den tilhører Orpheus-familien, bygget på en Llama 3B-grundmodel, og fokuserer på naturlig intonation, rytme og udtryksfuld fremførelse. Inputtet er den tekst, der skal siges, med en valgt taler; outputtet er talelyd. Producenten angiver også zero-shot-stemmekloning til netop denne finjusterede model. Det offentliggjorte eksempel på finjusteret syntese bruger forudindstillede talere, mens prompts med tekst og tale, der bruger en reference som betingelse, er dokumenteret særskilt til den fortrænede udgave. Denne finjusterede udgave er adskilt fra den fortrænede model og de særskilt udgivne flersprogede forskningsmodeller.

Vælg en taler, og forbered replikken

Producenten angiver otte forudindstillede engelske stemmer: tara, leah, jess, leo, dan, mia, zac og zoe. Promptkonventionen placerer talernavnet før den talte tekst, adskilt af et kolon. Referenceforløbet til talegenerering kan tilføje denne formatering, når stemmen leveres separat. Vælg en taler til det tilsigtede stykke, og hold valget ensartet på tværs af forbundne passager.

Til en kort forklaring skrives den endelige fortællertekst frem for en instruktion, der beder modellen om at opfinde forklaringen. En nyttig talt replik er: “Vælg den mappe, du vil dele, kontroller, hvem der kan åbne den, og gem ændringerne.” Til dialog forberedes hver talers replik udtrykkeligt, og tegnsætning, der hjælper fremførelsen, bevares. En forkortelse, dato eller et produktnavn bør skrives i den form, lytteren skal høre, især når den skriftlige kortform ville være tvetydig.

Udtryksfulde og ikkeverbale signaler

Orpheus dokumenterer tagsene <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> og <gasp>. De giver teksten en udtrykkelig ikkeverbal hændelse på det relevante sted. En kort samtalepassage kan placere en lille latter før en let bemærkning eller et suk før en eftertænksom sætning. Brug signalet, hvor det hører til i fremførelsen, og hold replikkens faktiske ord tydelige.

Dette er signaler til talegenerering, ikke et generelt instruktionssprog til redigering af en eksisterende optagelse. Til indtaling begyndes med læsbar tekst, og kun de udtryksfulde hændelser, scenen behøver, tilføjes. Lyt til hele replikken for at vurdere, om hændelsen, betoningen og tempoet understøtter betydningen. En fortælleopgave kan kræve en stabil stemme, mens en karakterreplik kan have gavn af et bestemt ikkeverbalt signal.

Streaming og lydresultatet

Producenten leverer både en notebook uden streaming og et streamingeksempel med tale. Streaming returnerer på hinanden følgende lyddele, mens passagen genereres. I det offentliggjorte eksempel skrives delene til en mono-WAV-fil ved 24.000 Hz med 16-bit samples. Disse filindstillinger beskriver referenceforløbet; det nyttige resultat er en afspillelig optagelse, hvis ord, taler og fremførelse kan kontrolleres mod manuskriptet.

Til en længere fortælling forberedes sammenhængende passager med tydelige sætningsgrænser, og en kopi af det endelige manuskript bevares ved siden af lyden. Gennemgå starten og slutningen af hver passage, udtalen af vigtige navne og overgangen mellem tilstødende optagelser. Producentens samplingvejledning angiver en straf for gentagelser på mindst 1.1 til stabil generering i referenceimplementeringen og bemærker, at samplingvalg kan påvirke talehastigheden. Eksemplets konfigurerede modellængde er en inferensindstilling frem for en fastslået maksimal fortællevarighed.

Udgavernes grænser

Denne profil vedrører den finjusterede engelske model med de dokumenterede forudindstillede talere. Den fortrænede model har sit eget forløb med tekst og tale som betingelse; flersprogede udgivelser har sprogspecifikke talere og tags. Valg af denne engelske udgave kombinerer ikke disse separate profiler. En praktisk leverance er et talt manuskript, et bevidst valg af forudindstillet stemme og lyd, som er gennemgået for den ordlyd og fremførelse, stykket kræver.