Canopy Labs: Orpheus 3B

Az Orpheus 3B 0.1 Fine-Tuned a Canopy Labs angol szövegfelolvasó modellje mindennapi szintézishez. A Llama 3B alapra épülő Orpheus családba tartozik, és a természetes intonációra, ritmusra és kifejező előadásra összpontosít. Bemenete a kimondandó szöveg egy kiválasztott beszélővel; kimenete beszédhang. A gyártó ennél a pontos finomhangolt modellnél zero-shot hangklónozást is felsorol. A közzétett finomhangolt szintézispélda előre beállított beszélőket használ, míg a referenciával kondicionált szöveg–beszéd promptolást külön, az előtanított változathoz dokumentálják. Ez a finomhangolt változat különbözik az előtanított modelltől és a külön kiadott többnyelvű kutatási modellektől.

Válassz beszélőt, és készítsd elő a megszólalást

A gyártó nyolc előre beállított angol hangot sorol fel: tara, leah, jess, leo, dan, mia, zac és zoe. Promptkonvenciója a beszélő nevét a kimondandó szöveg elé teszi, kettősponttal elválasztva. A referencia-beszédgenerálási munkafolyamat hozzáadhatja ezt a formázást, ha a hangot külön adják meg. A tervezett anyaghoz válassz beszélőt, és az összekapcsolódó részletekben tartsd következetesen ugyanazt.

Rövid magyarázó anyaghoz a végleges narrációt írd meg, ne olyan utasítást, amely a magyarázat kitalálását kéri a modelltől. Egy hasznos elmondott mondat: „Válaszd ki a megosztani kívánt mappát, ellenőrizd, ki nyithatja meg, és mentsd a módosításokat.” Párbeszédhez minden beszélő mondatát egyértelműen készítsd elő, és őrizd meg az előadást segítő írásjeleket. Egy rövidítést, dátumot vagy terméknevet abban az alakban írj, ahogyan a hallgatónak hallania kell, különösen, ha az írott rövid alak kétértelmű lenne.

Kifejező és nonverbális jelzések

Az Orpheus a <laugh>, <chuckle>, <sigh>, <cough>, <sniffle>, <groan>, <yawn> és <gasp> címkéket dokumentálja. Ezek explicit nonverbális eseményt adnak a szöveghez a megfelelő ponton. Egy rövid társalgási részlet könnyed megjegyzés elé kuncogást, elmélkedő mondat elé sóhajt helyezhet. A jelzést ott használd, ahová az előadásban tartozik, és a megszólalás tényleges szavai maradjanak világosak.

Ezek beszédgenerálási jelzések, nem általános utasításnyelv egy meglévő felvétel szerkesztéséhez. Narrációhoz olvasható szöveggel kezdj, és csak a jelenethez szükséges kifejező eseményeket add hozzá. Hallgasd meg a teljes mondatot, hogy az esemény, hangsúly és tempó támogatja-e a jelentést. Egy narrációs feladat egyenletes hangot kívánhat, míg egy karakter megszólalását egy konkrét nonverbális jelzés tehet hatásosabbá.

Streamelés és a hanganyag

A gyártó nem streamelő notebookot és streamelő beszédpéldát is biztosít. A streamelés a részlet generálása közben egymást követő hangdarabokat ad vissza. A közzétett példában ezeket a darabokat 24 000 Hz-es, 16 bites mintájú mono WAV-fájlba írják. Ezek a fájlbeállítások a referencia-munkafolyamatot írják le; a hasznos eredmény egy lejátszható felvétel, amelynek szavai, beszélője és előadása összevethető a szöveggel.

Hosszabb narrációhoz összefüggő részleteket készíts világos mondathatárokkal, és a végleges szöveg egy példányát a hang mellett őrizd meg. Ellenőrizd minden részlet elejét és végét, a fontos nevek kiejtését és a szomszédos felvételek közötti átmenetet. A gyártó mintavételezési útmutatója a referencia-implementáció stabil generálásához legalább 1.1 ismétlési büntetést ír elő, és jelzi, hogy a mintavételezési választások befolyásolhatják a beszédsebességet. A példa beállított modellhossza következtetési beállítás, nem igazolt maximális narrációs időtartam.

A változat határai

Ez a leírás a finomhangolt angol modellre és dokumentált előre beállított beszélőire vonatkozik. Az előtanított modell saját szöveg- és beszédkondicionálási munkafolyamattal rendelkezik; a többnyelvű kiadások nyelvspecifikus beszélőket és címkéket használnak. Ennek az angol változatnak a kiválasztása nem egyesíti ezeket a külön leírásokat. A gyakorlati eredmény egy elmondott szöveg, egy tudatosan választott előre beállított hang és olyan hanganyag, amelynek megfogalmazását és előadását az adott mű követelményeihez ellenőrizték.