ElevenLabs: Eleven Multilingual v2

Το Eleven Multilingual v2 είναι το μοντέλο μετατροπής κειμένου σε ομιλία της ElevenLabs για φυσική, συναισθηματικά προσαρμοσμένη και συνεπή αφήγηση. Δέχεται ένα γραπτό κείμενο εκφώνησης και επιστρέφει προφορικό ήχο, με την επιλεγμένη φωνή να δίνει μεγάλο μέρος του χαρακτήρα και της προφοράς του. Ο παραγωγός τονίζει τη σταθερότητα κατά την παραγωγή μεγαλύτερων αποσπασμάτων ομιλίας, το επαγγελματικό περιεχόμενο, τις φωνές χαρακτήρων, την ηλεκτρονική μάθηση και τα πολύγλωσσα έργα. Είναι μοντέλο σύνθεσης ομιλίας, διαφορετικό από τον μετατροπέα φωνής Multilingual Speech to Speech με το παρόμοιο όνομα.

Το τεκμηριωμένο σύνολο περιλαμβάνει 29 γλώσσες: αγγλικά, ιαπωνικά, κινεζικά, γερμανικά, χίντι, γαλλικά, κορεατικά, πορτογαλικά, ιταλικά, ισπανικά, ινδονησιακά, ολλανδικά, τουρκικά, φιλιππινέζικα, πολωνικά, σουηδικά, βουλγαρικά, ρουμανικά, αραβικά, τσεχικά, ελληνικά, φινλανδικά, κροατικά, μαλαϊκά, σλοβακικά, δανικά, ταμίλ, ουκρανικά και ρωσικά. Προετοιμάστε το πραγματικό κείμενο σε υποστηριζόμενη γλώσσα πριν από τη σύνθεση, αντί να περιμένετε από το μοντέλο φωνής να το μεταφράσει.

Το μοντέλο έχει σχεδιαστεί για να διατηρεί τα χαρακτηριστικά και την προσωπικότητα του επιλεγμένου ομιλητή στις υποστηριζόμενες γλώσσες. Η προφορά εξακολουθεί να εξαρτάται έντονα από τη φωνή: η ElevenLabs συνιστά φωνή εκπαιδευμένη στη γλώσσα και στην τοπική προφορά του προορισμού, επειδή μια φωνή ομιλητή που δεν έχει τη γλώσσα ως μητρική μπορεί να κρατήσει την αρχική προφορά της ή να αποκλίνει. Σε ένα προσαρμοσμένο γλωσσικά μάθημα, διατηρήστε τον ρόλο του αφηγητή και το συνολικό ύφος, προσαρμόζοντας παράλληλα τη δομή των προτάσεων, την ορολογία και την προφορά στο κοινό. Η κοινή ταυτότητα φωνής δεν καταργεί την ανάγκη ελέγχου της εκφοράς στη γλώσσα προορισμού.

Το όριο ανά αίτημα είναι 10.000 χαρακτήρες. Μεγαλύτερο υλικό μπορεί να χωριστεί σε συνδεδεμένα κεφάλαια ή ενότητες· η κοινή ροή εργασίας TTS του παραγωγού τεκμηριώνει τη χρήση προηγούμενου και επόμενου κειμένου ή του συμφραζομένου γειτονικών αιτημάτων, για τη διατήρηση της προσωδίας μεταξύ τμημάτων. Κάντε τον χωρισμό σε ένα νοηματικά κατάλληλο όριο πρότασης και μεταφέρετε αρκετό περιβάλλον κείμενο για την αρχή και το τέλος ενός αποσπάσματος. Τα κατά προσέγγιση λεπτά ανά αίτημα που δίνει ο κατασκευαστής δεν αποτελούν υπόσχεση σταθερής διάρκειας, επειδή οι λέξεις, η γλώσσα και ο ρυθμός καθορίζουν τη διάρκεια της επιλεγμένης ηχογράφησης.

Η εκφορά ακολουθεί το νόημα του κειμένου, το αφηγηματικό πλαίσιο, τη στίξη και την επιλεγμένη φωνή. Η σταθερότητα ελέγχει τη μεταβλητότητα και το συναισθηματικό εύρος· η ομοιότητα ελέγχει πόσο κοντά είναι το αποτέλεσμα στη φωνή. Ο κοινός οδηγός προϊόντος περιγράφει εύρος ταχύτητας από 0.7 έως 1.2, με το 1.0 να διατηρεί την ταχύτητα αμετάβλητη. Η υψηλή σταθερότητα μπορεί να ακούγεται συγκρατημένη ή μονότονη, ενώ η πολύ χαμηλή σταθερότητα μπορεί να κάνει την εκτέλεση ασταθή. Γραπτές περιγραφές του τρόπου εκφοράς μπορεί να εκφωνηθούν και οι ίδιες, επομένως προετοιμάστε το τελικό κείμενο αντί να ενσωματώνετε οδηγίες που δεν πρέπει ποτέ να ακουστούν.

Η ροή παύσεων αυτού του μοντέλου υποστηρίζει ετικέτες SSML break, σε αντίθεση με τα v3 και v4. Ο παραγωγός δίνει το <break time="1.5s" /> ως τρόπο για να ζητηθεί μια φυσική παύση και τεκμηριώνει παύσεις έως τρία δευτερόλεπτα. Η υπερβολική χρήση ετικετών παύσης μπορεί να εισαγάγει αλλαγές ταχύτητας ή τεχνουργήματα, ενώ η επιλεγμένη φωνή μπορεί να επηρεάσει το πώς ακούγεται μια παύση. Χρησιμοποιήστε παύσεις σε νοηματικές μεταβάσεις, όπως μετά από έναν ορισμό ή πριν από το επόμενο μέρος μιας αφηγημένης οδηγίας.

Το Multilingual v2 δεν υποστηρίζει ετικέτες φωνημάτων στον οδηγό προφοράς του κατασκευαστή. Χρησιμοποιήστε ψευδώνυμα λεξικού ή μια προετοιμασμένη εναλλακτική γραφή για να υποδείξετε την επιθυμητή προφορική μορφή ενός ονόματος, ακρωνυμίου ή τεχνικού όρου. Η ElevenLabs περιγράφει επίσης αυτό το μοντέλο ως πιο φυσικό στον χειρισμό αριθμών από το Flash v2.5, ενώ οι οδηγίες προετοιμασίας της εξακολουθούν να συνιστούν να γράφονται οι κρίσιμοι αριθμοί, οι ημερομηνίες και τα σύμβολα ως οι λέξεις που πρέπει να εκφωνηθούν. Ένας κωδικός αναφοράς και μια ποσότητα χρειάζονται διαφορετική ανάγνωση, ακόμη και όταν τα γραπτά ψηφία τους μοιάζουν.

Η οικογένεια μορφών ήχου του παραγωγού περιλαμβάνει MP3 για διανομή, ασυμπίεστο PCM 16 bit για εργασίες παραγωγής, μ-law και A-law για τηλεφωνία και Opus. Η πλήρης παραγωγή ομιλίας και το streaming τεκμηριώνονται στην κοινή ροή εργασίας TTS. Επιλέξτε την έξοδο για τον προβλεπόμενο προορισμό και διατηρήστε μαζί το κείμενο, τη φωνή και την επιλεγμένη ηχογράφηση. Ένα κεφάλαιο ηχητικού βιβλίου, μια εταιρική αφήγηση και ένα σύντομο μάθημα μπορούν να εξυπηρετούν τον ίδιο σκοπό του μοντέλου, αλλά να απαιτούν διαφορετικό ρυθμό και χωρισμό σε τμήματα.

Για ένα πρακτικό μάθημα, γράψτε την εισαγωγή, τους ορισμούς, το παράδειγμα και τη μετάβαση ως ολοκληρωμένα προφορικά αποσπάσματα. Σημειώστε τους όρους που χρειάζονται συνεπή προφορά και χρησιμοποιήστε μια φυσική παύση μετά τη βασική έννοια. Ελέγξτε ένα αντιπροσωπευτικό μέρος που περιέχει ονόματα, αριθμούς και μια μεγαλύτερη πρόταση, εξετάζοντας την προφορά, την καταληπτότητα και το αν η εκφορά παραμένει σταθερή στο όριο μεταξύ ενοτήτων. Το χρήσιμο παραδοτέο είναι μια συνεπής ηχογράφηση αφήγησης που μπορεί να ενσωματωθεί στο μάθημα, στο ηχητικό βιβλίο ή στο βίντεο μαζί με το αρχικό κείμενο εκφώνησης.