hexgrad: Kokoro 82M

Το Kokoro 82M είναι το μοντέλο μετατροπής κειμένου σε ομιλία της hexgrad με ανοικτά βάρη και ογδόντα δύο εκατομμύρια παραμέτρους. Η κάρτα μοντέλου του περιγράφει μια μικρή αρχιτεκτονική μόνο με αποκωδικοποιητή, βασισμένη στα StyleTTS 2 και iSTFTNet. Το γραπτό κείμενο μετατρέπεται σε πληροφορίες προφοράς και έπειτα σε ομιλία με μια επιλεγμένη φωνή. Η τεκμηριωμένη έκδοση v1.0 παρέχει πενήντα τέσσερις φωνές σε οκτώ γλώσσες· αυτό το προφίλ διαφέρει από την προηγούμενη έκδοση v0.19, που υποστήριζε αποκλειστικά αγγλικά.

Επιλέξτε αντίστοιχη γλώσσα και φωνή

Ο κατάλογος φωνών καλύπτει αμερικανικά και βρετανικά αγγλικά, ιαπωνικά, μανδαρινικά κινεζικά, ισπανικά, γαλλικά, χίντι, ιταλικά και πορτογαλικά Βραζιλίας. Οι δύο αγγλικές προφορές είναι παραλλαγές μίας γλώσσας. Τα ονόματα φωνών και οι ρυθμίσεις γλώσσας συνδέονται: το af_heart είναι παράδειγμα αμερικανικών αγγλικών στην επίσημη ροή εργασίας, ενώ ο κατάλογος έχει ξεχωριστές ομάδες για τις άλλες γλώσσες και προφορές.

Επιλέξτε τον ομιλητή με βάση το πραγματικό υλικό που θα διαβάσει. Μια σύντομη αφήγηση μαθήματος μπορεί να χρησιμοποιεί μία συνεπή προκαθορισμένη φωνή σε όλες τις ενότητές της· μια πολύγλωσση συλλογή μπορεί να επιλέγει φωνή από κάθε απαιτούμενη γλωσσική ομάδα. Η κάλυψη του καταλόγου διαφέρει μεταξύ ομάδων. Τα γαλλικά, για παράδειγμα, αντιπροσωπεύονται από μία καταχωρισμένη φωνή αντί για την ευρύτερη επιλογή που διατίθεται στα αγγλικά.

Προετοιμάστε την προφορά και τα αποσπάσματα

Η ροή αναφοράς του Kokoro μετατρέπει τις γραπτές μορφές σε φωνήματα. Τα παραδείγματά της επιτρέπουν ρητή φωνητική ανάγνωση ενός όρου, ώστε ένα δύσκολο όνομα να μπορεί να προετοιμαστεί αντί να αφεθεί σε αμφίσημη γραφή. Κρατήστε φυσική την πρόταση που το περιβάλλει και διατηρήστε τη διατύπωση που πρέπει να ακούσει ο ακροατής.

Ένα πρακτικό απόσπασμα είναι: «Ο οδηγός έχει τρία μέρη. Πρώτα, επιλέξτε το υλικό. Στη συνέχεια, συγκρίνετε τα παραδείγματα. Τέλος, αποθηκεύστε την έκδοση που θέλετε να χρησιμοποιήσετε.» Γράψτε πλήρεις φράσεις και διατηρήστε τις παύσεις που υποδηλώνει η στίξη. Για ένα εκτενές έργο, οργανώστε την είσοδο σε συνεκτικές παραγράφους αντί να αντιμετωπίζετε όλο το έγγραφο ως μία αδιάκοπη εκφώνηση.

Ο οδηγός φωνών αναφέρει ότι πολλοί ομιλητές αποδίδουν καλύτερα με αποσπάσματα περίπου 100–200 token μέσα σε ένα εύρος περίπου 500 token. Σημειώνει αδυναμίες σε πολύ σύντομες εκφωνήσεις, ιδιαίτερα κάτω από 10–20 token, και τάση να βιάζονται στα μεγαλύτερα αποσπάσματα, ειδικά πέρα από 400 token. Αυτές είναι παρατηρήσεις προετοιμασίας με βάση τα token και όχι όρια αριθμού λέξεων ή διάρκειας ηχογράφησης. Η συνένωση σύντομων τμημάτων ή ο χωρισμός ενός μεγάλου αποσπάσματος μπορεί να δώσει καταλληλότερη μονάδα ομιλίας.

Έξοδος ήχου και ρυθμός

Η επίσημη ροή εργασίας παρέχει το επεξεργασμένο κείμενο, τα φωνήματα και ένα ηχητικό αποτέλεσμα για κάθε παραγόμενο τμήμα. Αποθηκεύει αυτά τα τμήματα ως WAV στα 24.000 Hz και διαθέτει ρύθμιση ταχύτητας στη ροή αναφοράς. Κρατήστε το κείμενο των τμημάτων και τη σειρά τους συνδεδεμένα με τον ήχο, ώστε η ενωμένη αφήγηση να ακολουθεί το επιθυμητό κείμενο εκφώνησης.

Ένας χρήσιμος έλεγχος επεξεργασίας είναι να ακούσετε τη μετάβαση στο όριο μεταξύ δύο αποσπασμάτων και έπειτα να εξετάσετε τα επαναλαμβανόμενα ονόματα και τον ρυθμό των λιστών. Η έξοδος ήχου και η προβολή φωνημάτων εξυπηρετούν διαφορετικούς σκοπούς: η μία είναι η ηχογράφηση που ακούει ο ακροατής, η άλλη βοηθά να εξεταστεί πώς προφέρεται το γραπτό κείμενο.

Γλωσσική κάλυψη και χρήσιμα όρια

Ο κατασκευαστής σημειώνει ρητά ότι η υποστήριξη γλωσσών εκτός αγγλικών μπορεί να είναι περιορισμένη, επειδή η επεξεργασία προφοράς ή τα δεδομένα εκπαίδευσης φωνών είναι περιορισμένα. Οι ομάδες προκαθορισμένων φωνών του δεν πρέπει επομένως να αντιμετωπίζονται ως ίσες εγγυήσεις εκφοράς για κάθε απόσπασμα. Επιλέξτε κατάλληλο ομιλητή και ελέγξτε τα πραγματικά ονόματα και τη διατύπωση που απαιτεί η εργασία.

Το χρήσιμο παραδοτέο είναι ένα προφορικό απόσπασμα ή μια ενωμένη αφήγηση με τεκμηριωμένη προκαθορισμένη φωνή και με κείμενο προετοιμασμένο σύμφωνα με τις ανάγκες προφοράς και μήκους αποσπασμάτων. Αυτό το προφίλ ακολουθεί το υλικό του κατασκευαστή για το Kokoro 82M v1.0· άλλο checkpoint, κβαντισμένη υλοποίηση ή εξωτερικά τροποποιημένη φωνή έχουν το δικό τους τεχνικό πεδίο.