ElevenLabs: Eleven v4 Turbo

Az Eleven v4 Turbo az ElevenLabs kifejező beszédszintézis-változata valós idejű társalgáshoz és hangügynökök válaszaihoz. Szöveget fogad, és beszédhangot ad vissza, a v4 család érzelmi tartományát interaktív munkafolyamatba helyezve. A gyártó megkülönbözteti rendeltetését a szokásos v4-től, amelyet előállított tartalomra és narrációra hangoltak. Az ügyfélszolgálati válaszok, asszisztensi magyarázatok és interaktív karaktermegszólalások a megnevezett Turbo-alkalmazások.

A gyártó kétirányú streamelési munkafolyamata a keletkezés közben fogadhat szöveget, és még a teljes megszólalás beérkezése előtt hangot adhat vissza. Így kevésbé kell megvárni egy kész bekezdést a beszéd kezdetéig. Ez szöveg–hang szakasz: a válasz szavait a szintézismodell kapja meg. A hívó meghallgatása, a teendő eldöntése és a megszakítások felismerése a környező hangügynök-alkalmazás külön funkciója.

A dokumentált Text to Dialogue WebSocket-leírás a v4 Turbo esetében pontosan egy hangot regisztrál. Ez eltér a v4-től, amely legfeljebb tíz regisztrált hangot támogat. A kapcsolat egymást követő fordulókat vihet a kiválasztott hangon; az újforduló-jelzés a fordulóhatáron visszaállítja a prozódiát. Asszisztenshez egy világos beszélőazonosságot készíts elő, és tartsd következetesen, miközben a beszélgetés tartalma és hangvétele változik.

A streameléshez továbbra is elegendő szöveg kell egy hasznos beszédszegmenshez. Az útmutató körülbelül 40 karakteres és nyolcszavas gyártói puffert ír le a részleges hang kezdetéig; a rövidebb pufferek szándékosan kiüríthetők a kapcsolat lezárása nélkül. A hang Base64-kódolt darabokban érkezik, amelyeket az alkalmazás lejátszáshoz dekódolhat vagy fájlba gyűjthet. Kérésre és rendelkezésre állás esetén illesztési információ is kísérheti a darabokat. Ezek gyártói munkafolyamat-részletek, nem egy megszólalás rögzített késleltetésének vagy pontos időtartamának garanciái.

A hangcímkék és a társalgási kontextus irányítják az előadást. A megerősítés elégedettnek, a magyarázat figyelmesnek, a javítás nyugodtnak hangozhat ugyanazzal a hanggal. A hallható előadásutasítást a megfelelő szavak közelében add meg. Egy példamondat: „[warm] Ez a lépés elkészült. [pause] Nézzük meg a következő elemet.” A szavaknak már a helyes eredményt kell közölniük; a címkék annak megszólalását alakítják, nem hiányzó tényszerű tartalmat adnak hozzá.

A v4 modellcsalád több mint 90 nyelvet támogat, a dokumentált példák között angollal, franciával, némettel, japánnal, spanyollal, portugállal és orosszal. Az ElevenLabs stabil beszélőazonosságot ír le fordulókon és nyelveken át, és a v4-ben és a v4 Turbóban is támogatja a Professional Voice Clones használatát. A hang előkészítése vagy klónozása a válasz szintetizálásától külön lépés. Kifejezetten válaszd ki a hangot és a célnyelvet, és a párbeszédben tartsd következetesen a neveket, terminológiát és kívánt kimondott alakokat.

Az ElevenLabs dokumentált formátumlehetőségei között általános hallgatásra MP3, gyártási hanganyaghoz tömörítetlen PCM vagy WAV, telefonáláshoz μ-law szerepel. A kiválasztott kimeneti formátum határozza meg a gyártó munkafolyamatának mintavételi frekvenciáját és kódolását. Asszisztensnél a lejátszás céljához válassz formátumot, ne a szövegtől kérd a kódolás megadását. A kiválasztott hanggal ellenőrizd a fontos neveket és rövidítéseket, és a szükséges kimondandó alakot világosan írd a szövegbe. A gyártó mindkét v4 változat hangbeállításaként Stability és Similarity vezérlőket ír le; Style és Speed csúszkák ebben a leírásban nem érhetők el. Az előadást a kimondandó szöveggel és hangutasításokkal alakítsd.

A gyakorlati társalgási feladatleírás tömör válasszal kezdődik, egy eredménnyel és egy világos következő lépéssel. Például: „Erősítsd meg a dokumentum beérkezését, majd magyarázd el, melyik egyetlen részlet hiányzik még. Nyugodt, barátságos előadást használj, és pontosan őrizd meg a dokumentum nevét.” Értelmes határoknál oszd fel a hosszú választ, és tartsd meg a környező társalgási kontextust. Értékeld az érthetőséget, minden forduló elejét és végét, valamint az érzelem illeszkedését az üzenethez. Az eredmény streamelt vagy összegyűjtött beszéd a megadott szöveggel és kiválasztott hanggal, külön az alkalmazás következtetési és hallgatási szakaszaitól.