ElevenLabs: Eleven v4

Az Eleven v4 az ElevenLabs kifejező szövegfelolvasó modellje előállított tartalomhoz, narrációhoz és karakteralakításhoz. Új architektúrája a szöveg kontextusából alakítja ki, ki beszél, mi történt, és hogyan szóljon a következő sor. Bemenete egy kiválasztott hanghoz társított írott szöveg; kimenete hanganyag. A gyártó jellemző alkalmazásként érzelmes párbeszédet, hangoskönyv-gyártást, animációt és játékokat, valamint többnyelvű projekteket emel ki.

Az irányítás szövegközi hangcímkékkel írható a szövegbe. A [laughs], [whispers] és [door slams] jellegű címkék hangos előadást, nonverbális eseményt vagy jeleneten belüli hangot írhatnak le. A v4 dokumentált frissítése a v3-hoz képest javítja az ilyen utasítások sorozatának követését. Rövid drámai mozzanathoz írd meg a tényleges kimondott szavakat, és az előadásjelzést ott helyezd el, ahol számít, ne a végére illessz oda nem kapcsolódó érzelemlistát.

A szünetek és hangsúlyok természetes nyelvű hangutasításokat használnak. Az ElevenLabs szünethez [pause] és [long pause], előadáshoz például [excited] vagy [sighs] jelzéseket dokumentál. A v4-ben az SSML <break> címkék ki vannak kapcsolva, ezért az ezeket használó régebbi szöveget a v4 utasításformátumához kell igazítani. A címke megnevezi a kívánt előadást; önmagában nem határoz meg pontos milliszekundumszámot, és nem garantál rögzített végső időtartamot.

A gyártó párbeszédes munkafolyamata több beszélőt támogat, így egy jelenetben külön hangok és hangesemények szerepelhetnek. A v4 párbeszéd-WebSocket leírása legfeljebb tíz regisztrált hangot támogat, a v4 Turbo leírása egyet használ. Készíts világos beszélősorrendet, és minden sort tarts a kívánt hanghoz rendelve. Egy példabeszélgetés a csendesen bizonytalan kérdéstől magabiztos válaszhoz, majd megkönnyebbült reakcióhoz vezethet. A tartalomnak és érzelmi átmenetnek magából a szövegből érthetőnek kell lennie. Egyetlen narrátornál ugyanilyen világosan különítsd el a narrációt az idézett sortól vagy hangulatváltástól.

Az Eleven v4 több mint 90 nyelvet támogat, köztük angolt, franciát, németet, japánt, spanyolt, portugált és oroszt. A gyártó nyelvváltások közben következetes hangminőséget ír le. A tervezett felvétel nyelvéhez és régiójához megfelelő hangot és kiejtést válassz; a szöveg nyelve és a hang karaktere egyaránt számít. Lokalizált leckéhez először fordítsd le a kimondandó megfogalmazást, és az új szövegben őrizd meg a jelentést, terminológiát és előadásjelzéseket.

Egy generálás legfeljebb 10 000 karaktert támogat. A hosszabb munka több összekapcsolt generálásként készül, kontextusösszefűzéssel, amelynek célja a szegmensek közötti tempó és előadás következetessége. A fejezetet természetes mondat- vagy jelenethatárnál válaszd szét, és tartsd meg körülötte a kontextust. A gyártó egy sor újragenerálásakor is stabil beszélőazonosságot ír le. Ez hasznos egyetlen részlet javításához, miközben a környező anyagban megmarad ugyanaz a szereplőgárda és előadásstílus.

A v4 az ElevenLabs gyártói munkafolyamatában Instant és Professional Voice Clones támogatást ad. Az ElevenLabs kiemeli visszatérésüket a v4-ben; a v3 promptolási útmutatója szerint a Professional Voice Clones nincs teljesen optimalizálva a v3-hoz. A v4 indulása előtt készített Instant vagy Professional Voice Clones hangokat újra kell tanítani a v4-re, hogy hatékonyan működjenek a modellel. A hangklónozás létrehozza vagy előkészíti a szintézishez használt hangot; különbözik a megadott szöveg beszéddé alakításától. A modell azonossága nem ír elő egyetlen alapértelmezett hangot, ezért a narrátorhoz vagy karakterhez válassz hangot, ne feltételezd, hogy a modellnév határozza meg a beszélőt.

A gyártó általános hallgatáshoz és médiaterjesztéshez MP3-at, tömörítetlen gyártási hanghoz WAV-ot vagy PCM-et, telefonáláshoz μ-law-t dokumentál. API-ja szabályozza a kiválasztott formátum mintavételi frekvenciáját és bitrátáját. A kiejtési szótárak meghatározhatják a nevek, betűszavak és szakkifejezések kimondását. A v4 felismeri az előre dőlő perjelek közé tett szabványos IPA-átiratot is, például /IPA_transcription/, több szótagú kifejezések hangsúlyjeleivel együtt; a kiejtés továbbra is változhat a hangtól és a fordulattól függően. A szükséges kifejezéseket gyártás előtt készítsd elő, és a módosítások során tartsd következetesen kívánt kimondott alakjukat. A v4 gyártói leírása Stability és Similarity hangbeállításokat használ; Style és Speed csúszkák nem érhetők el. A tempót és érzelmi előadást a szöveg és hangcímkék irányítják.

Gyakorlati narrációs feladatleíráshoz adj kész jelenetet, kívánt hangot, nyelvet, érzelmi ívet és hangfelhasználási célt. Például: „A kezdést nyugodtan olvasd, a felfedezés előtt tarts szünetet, az utolsó sor hangozzon megkönnyebbültnek; a narrátor hangvételét tartsd következetesen.” Ellenőrizd a kiejtést, beszélőváltásokat, hallható címkéket vagy eseményeket és a részletek közötti átmeneteket. A hasznos eredmény a szöveghez kapcsolt, előállított beszédfelvétel egy kiválasztott változattal és az adott sor javításához szükséges utasításokkal.