ElevenLabs: Eleven v4

Το Eleven v4 είναι το μοντέλο εκφραστικής μετατροπής κειμένου σε ομιλία της ElevenLabs για προετοιμασμένο περιεχόμενο, αφήγηση και ερμηνεία χαρακτήρων. Η νέα αρχιτεκτονική του χρησιμοποιεί το συμφραζόμενο του κειμένου για να διαμορφώνει ποιος μιλά, τι έχει συμβεί και πώς πρέπει να ακούγεται η επόμενη φράση. Η είσοδος είναι ένα γραπτό κείμενο εκφώνησης συνδεδεμένο με επιλεγμένη φωνή· η έξοδος είναι ήχος. Ο κατασκευαστής τονίζει τον συναισθηματικό διάλογο, την παραγωγή ηχητικών βιβλίων, τα κινούμενα σχέδια και τα παιχνίδια, καθώς και τα πολύγλωσσα έργα ως χαρακτηριστικές εφαρμογές.

Οι οδηγίες μπορούν να γραφτούν μέσα στο κείμενο εκφώνησης με ενσωματωμένες ετικέτες ήχου. Ετικέτες όπως [laughs], [whispers] και [door slams] μπορούν να περιγράφουν φωνητική εκφορά, ένα μη λεκτικό συμβάν ή έναν ήχο μέσα στη σκηνή. Η τεκμηριωμένη ενημέρωση του v4 βελτιώνει την τήρηση μιας ακολουθίας αυτών των οδηγιών σε σύγκριση με το v3. Για μια σύντομη δραματική στιγμή, γράψτε τις πραγματικές προφορικές λέξεις και τοποθετήστε μια ένδειξη εκφοράς στο σημείο όπου έχει σημασία, αντί να προσθέτετε στο τέλος μια άσχετη λίστα συναισθημάτων.

Οι παύσεις και η έμφαση χρησιμοποιούν ηχητικές οδηγίες σε φυσική γλώσσα. Η ElevenLabs τεκμηριώνει τα [pause] και [long pause] για παύσεις και ενδείξεις όπως [excited] ή [sighs] για εκφορά. Οι ετικέτες SSML <break> είναι απενεργοποιημένες στο v4, επομένως ένα παλαιότερο κείμενο που τις χρησιμοποιεί πρέπει να προσαρμοστεί στη μορφή οδηγιών του v4. Μια ετικέτα ονομάζει την επιθυμητή εκτέλεση· δεν ορίζει από μόνη της ακριβή αριθμό χιλιοστών του δευτερολέπτου ούτε εγγυάται σταθερή τελική διάρκεια.

Η ροή διαλόγου του παραγωγού υποστηρίζει πολλούς ομιλητές, επιτρέποντας σε μια σκηνή να περιέχει ξεχωριστές φωνές και ηχητικά συμβάντα. Το προφίλ WebSocket διαλόγου v4 υποστηρίζει έως δέκα καταχωρισμένες φωνές, ενώ το προφίλ του v4 Turbo χρησιμοποιεί μία. Προετοιμάστε σαφή σειρά γύρων ομιλητών και κρατήστε κάθε φράση συνδεδεμένη με την επιθυμητή φωνή. Μια ενδεικτική ανταλλαγή μπορεί να περνά από μια χαμηλόφωνη, αβέβαιη ερώτηση σε μια σίγουρη απάντηση και έπειτα σε μια αντίδραση ανακούφισης. Το περιεχόμενο και η συναισθηματική μετάβαση πρέπει να γίνονται κατανοητά από το ίδιο το κείμενο. Για έναν αφηγητή, χρησιμοποιήστε την ίδια σαφήνεια για να διακρίνετε την αφήγηση από μια παρατιθέμενη φράση ή μια αλλαγή διάθεσης.

Το Eleven v4 υποστηρίζει περισσότερες από 90 γλώσσες, συμπεριλαμβανομένων των αγγλικών, γαλλικών, γερμανικών, ιαπωνικών, ισπανικών, πορτογαλικών και ρωσικών. Ο κατασκευαστής περιγράφει συνεπή ποιότητα φωνής κατά τις αλλαγές γλώσσας. Επιλέξτε φωνή και προφορά κατάλληλες για τη γλώσσα και την περιοχή της επιθυμητής ηχογράφησης· τόσο η γλώσσα του κειμένου όσο και ο χαρακτήρας της φωνής έχουν σημασία. Για ένα γλωσσικά προσαρμοσμένο μάθημα, μεταφράστε πρώτα τις προφορικές λέξεις και διατηρήστε το νόημα, την ορολογία και τις ενδείξεις εκφοράς στο νέο κείμενο.

Μία παραγωγή ομιλίας υποστηρίζει έως 10.000 χαρακτήρες. Μεγαλύτερα έργα προετοιμάζονται ως πολλές συνδεδεμένες παραγωγές ομιλίας, με σύνδεση συμφραζομένων που αποσκοπεί στη διατήρηση συνεπούς ρυθμού και εκφοράς μεταξύ τμημάτων. Χωρίστε ένα κεφάλαιο σε φυσικό όριο πρότασης ή σκηνής και κρατήστε το συμφραζόμενο γύρω του. Ο κατασκευαστής περιγράφει επίσης σταθερή ταυτότητα ομιλητή όταν μια φράση παράγεται ξανά. Αυτό είναι χρήσιμο για την αναθεώρηση ενός αποσπάσματος, διατηρώντας το ίδιο καστ και ύφος ερμηνείας στο γύρω υλικό.

Το v4 υποστηρίζει Instant και Professional Voice Clones στη ροή εργασίας του παραγωγού ElevenLabs. Η ElevenLabs τονίζει την επιστροφή τους στο v4· ο οδηγός προτροπών του v3 αναφέρει ότι οι Professional Voice Clones δεν έχουν βελτιστοποιηθεί πλήρως για το v3. Instant ή Professional Voice Clones που δημιουργήθηκαν πριν από την κυκλοφορία του v4 χρειάζονται επανεκπαίδευση για το v4 ώστε να λειτουργούν αποτελεσματικά με το μοντέλο. Η κλωνοποίηση φωνής δημιουργεί ή προετοιμάζει τη φωνή που χρησιμοποιείται στη σύνθεση· διαφέρει από την πράξη μετατροπής του παρεχόμενου κειμένου σε ομιλία. Η ταυτότητα του μοντέλου δεν απαιτεί μία μοναδική προεπιλεγμένη φωνή, επομένως επιλέξτε φωνή για τον αφηγητή ή τον χαρακτήρα αντί να υποθέτετε ότι το όνομα του μοντέλου καθορίζει έναν ομιλητή.

Ο κατασκευαστής τεκμηριώνει MP3 για γενική ακρόαση και διανομή πολυμέσων, WAV ή PCM για ασυμπίεστο ήχο παραγωγής και μ-law για τηλεφωνία. Το API του ελέγχει τη συχνότητα δειγματοληψίας και τον ρυθμό bit της επιλεγμένης μορφής. Τα λεξικά προφοράς μπορούν να ορίζουν πώς εκφωνούνται ονόματα, ακρωνύμια και τεχνικοί όροι. Το v4 αναγνωρίζει επίσης τυπικές μεταγραφές IPA ανάμεσα σε καθέτους, όπως /IPA_transcription/, συμπεριλαμβανομένων δεικτών τονισμού για πολυσύλλαβους όρους· η προφορά μπορεί και πάλι να διαφέρει ανάλογα με τη φωνή και τη φράση. Προετοιμάστε τους απαιτούμενους όρους πριν από την παραγωγή και διατηρήστε συνεπείς τις προτιμώμενες προφορικές μορφές τους μεταξύ αναθεωρήσεων. Το προφίλ του παραγωγού v4 χρησιμοποιεί τις ρυθμίσεις φωνής Stability και Similarity· τα ρυθμιστικά Style και Speed δεν είναι διαθέσιμα. Ο ρυθμός και η συναισθηματική εκφορά καθοδηγούνται από το κείμενο και τις ετικέτες ήχου.

Για μια πρακτική περιγραφή απαιτήσεων αφήγησης, παρέχετε ολοκληρωμένη σκηνή, την επιθυμητή φωνή, τη γλώσσα, το συναισθηματικό τόξο και τον προορισμό του ήχου. Για παράδειγμα: «Διαβάστε την αρχή ήρεμα, κάντε παύση πριν από την ανακάλυψη και δώστε στην τελευταία φράση τόνο ανακούφισης· κρατήστε συνεπές το ύφος του αφηγητή.» Ελέγξτε την προφορά, τις αλλαγές ομιλητή, τις ακουστές ετικέτες ή τα συμβάντα και τις μεταβάσεις μεταξύ αποσπασμάτων. Το χρήσιμο παραδοτέο είναι μια παραγμένη ηχογράφηση ομιλίας συνδεδεμένη με το κείμενο, με επιλεγμένη λήψη και τις οδηγίες που χρειάζονται για να αναθεωρηθεί μια συγκεκριμένη φράση.