Fish Audio: S2 Pro

Το S2 Pro είναι το μοντέλο μετατροπής κειμένου σε ομιλία δεύτερης γενιάς της Fish Audio για εκφραστική αφήγηση, διαλόγους χαρακτήρων και συνομιλιακή φωνητική έξοδο. Μετατρέπει ένα γραπτό κείμενο σε ήχο και υποστηρίζει καθοδήγηση σε φυσική γλώσσα σε επίπεδο λέξης ή φράσης. Η προηγούμενη γενιά S1 χρησιμοποιεί υποδείξεις σε παρενθέσεις, ενώ το S2 Pro χρησιμοποιεί εγγενώς αγκύλες και υποστηρίζει πολλούς ομιλητές σε ένα αίτημα σύνθεσης. Ο κατασκευαστής διαθέτει τα βάρη του S2 Pro και κώδικα λεπτομερούς προσαρμογής για ξεχωριστές εργασίες εξατομίκευσης· ένα συνηθισμένο αίτημα ομιλίας χρησιμοποιεί το επιλεγμένο μοντέλο και δεν εκπαιδεύει νέο.

Γράψτε πρώτα το προφορικό περιεχόμενο και, στη συνέχεια, τοποθετήστε μια οδηγία ερμηνείας ακριβώς πριν από τη λέξη ή τη φράση που πρέπει να επηρεάσει. Οι οδηγίες μπορούν να περιγράφουν ψίθυρο, αντίδραση, παύση, συναισθηματική μεταβολή ή ένα ελεύθερα διατυπωμένο ύφος ομιλίας. Για μια σύντομη εξήγηση προϊόντος, διατηρήστε σαφή την πραγματολογική πρόταση και δώστε έμφαση μόνο στα σημεία όπου ο ακροατής πρέπει να αντιληφθεί μια διάκριση. Για μια ατάκα χαρακτήρα, περιγράψτε τη συναισθηματική αλλαγή τη στιγμή που συμβαίνει, αντί να δίνετε σε ολόκληρο το απόσπασμα μία σταθερή διάθεση.

Οι ετικέτες σε αγκύλες είναι ελεύθερες περιγραφές και όχι κλειστό μενού. Παραδείγματα είναι τα [whispering], [sigh], [long pause] και μια φράση όπως [speaking slowly, almost hesitant]. Οι ετικέτες μπορούν να εμφανίζονται στη μέση μιας πρότασης και να επηρεάζουν την ομιλία που ακολουθεί. Μια περιγραφική ετικέτα χρειάζεται πραγματικό κείμενο μετά από αυτή· μια μεμονωμένη οδηγία μπορεί να δώσει απρόβλεπτη έξοδο. Ξεκινήστε με μία ή δύο χρήσιμες οδηγίες πριν προσθέσετε επιπλέον επίπεδα, καθώς οι ανταγωνιστικές ετικέτες μπορούν να θολώσουν την επιδιωκόμενη ερμηνεία. Διαφορετικές φωνητικές αναφορές μπορούν να ανταποκριθούν στην ίδια οδηγία με διαφορετική ένταση.

Η έκδοση S2 περιγράφει περίπου 80 γλώσσες και δίνει παραδείγματα οδηγιών ερμηνείας γραμμένων στην ίδια γλώσσα με το κείμενο. Προετοιμάστε τη διατύπωση στη γλώσσα που πρέπει να ακουστεί και διατηρήστε ονόματα, μονάδες και συντομογραφίες που χρειάζονται συγκεκριμένη ανάγνωση. Μια πολυγλωσσική αφήγηση μπορεί να διατηρεί την επιθυμητή φωνή ενώ αλλάζει η γλώσσα του κειμένου, αλλά το τελικό παραδοτέο χρειάζεται και πάλι ακρόαση για έλεγχο προφοράς και συνέχειας. Η σύνθεση παράγει το παρεχόμενο περιεχόμενο ως ομιλία, αντί να αποφασίζει ποιες πληροφορίες πρέπει να εκφωνήσει η εφαρμογή.

Για έναν ομιλητή, επιλέξτε αποθηκευμένο αναγνωριστικό φωνής ή παρέχετε ήχο αναφοράς και την αντίστοιχη απομαγνητοφώνησή του. Ο παραγωγός συνιστά καθαρό δείγμα 10–30 δευτερολέπτων για άμεση προσαρμογή της φωνής. Για διάλογο, χρησιμοποιήστε δείκτες ομιλητών όπως <|speaker:0|> και <|speaker:1|>, με λίστα αναγνωριστικών φωνής σε καθορισμένη σειρά ή χωριστές ομάδες αναφορών για τους ομιλητές. Ο αριθμητικός δείκτης επιλέγει την αντίστοιχη καταχώριση φωνής· διατηρήστε σταθερή τη σειρά καθώς εξελίσσεται η συνομιλία. Οι οδηγίες ερμηνείας σε φυσική γλώσσα και η επιλογή ομιλητή έχουν διαφορετικούς ρόλους στο κείμενο.

Η έξοδος ήχου μπορεί να είναι MP3, WAV, ακατέργαστο PCM ή Opus. Το MP3 έχει προεπιλογή 128 kbps και προσφέρει 64 ή 192 kbps· η έξοδος Opus χρησιμοποιεί 48 kHz, ενώ τα WAV και PCM υποστηρίζουν τις τεκμηριωμένες επιλογές ρυθμού δειγματοληψίας ως μονοφωνικό ήχο 16 bit. Επιλέξτε τη μορφή με βάση τον πραγματικό προορισμό της: αποθηκευμένο αρχείο για αφήγηση ή κατάλληλα τμήματα ήχου για αναπαραγωγή. Η ροή εργασίας ομιλίας του παραγωγού περιγράφει επίσης ζωντανή ροή κειμένου όταν το κείμενο φτάνει σταδιακά. Το παραγόμενο αποτέλεσμα πρέπει να παραμένει συσχετισμένο με το πλήρες κείμενο και τις επιλεγμένες φωνές.

Η ταχύτητα μπορεί να ρυθμιστεί μεταξύ 0,5 και 2,0, με ρυθμίσεις έντασης και κανονικοποίησης ηχητικής στάθμης εξόδου. Η κανονικοποίηση κειμένου βελτιώνει την ανάγνωση αγγλικών και κινεζικών αριθμών. Η επεξεργασία χρησιμοποιεί τμήματα σε εύρος 100–300 και όριο ηχητικών token ανά τμήμα, επομένως αυτές οι ρυθμίσεις δεν πρέπει να ερμηνεύονται ως σταθερό μέγιστο μήκος ολόκληρης της αφήγησης. Η προσαρμογή βάσει προηγούμενου τμήματος μπορεί να μεταφέρει το φωνητικό πλαίσιο στο επόμενο τμήμα. Ρυθμίσεις δειγματοληψίας όπως temperature και top-p επηρεάζουν την ποικιλία· ακόμη και μια προσεκτικά καθοδηγούμενη ατάκα χρειάζεται αρκετό κείμενο και πλαίσιο για να αποδώσει τον επιδιωκόμενο ήχο.

Μια χρήσιμη ανάθεση παραγωγής διαχωρίζει την αφήγηση, τον διάλογο και τις οδηγίες ερμηνείας και, στη συνέχεια, δηλώνει τη φωνή και τη μορφή του τελικού παραδοτέου. Ακούστε για λέξεις που λείπουν, επαναλαμβανόμενο ήχο, προφορά αριθμών, αλλαγές ομιλητών και χρονισμό αντιδράσεων. Αναθεωρήστε την ατάκα ή τη φωνητική αναφορά που ευθύνεται για την απόκλιση, αντί να θεωρείτε ότι περισσότερες ετικέτες θα βελτιώσουν κάθε απόσπασμα. Το S2 Pro παραμένει διακριτό μοντέλο της προηγούμενης γενιάς S2· το S2.1 Pro είναι η μεταγενέστερη έκδοση με δικές της βελτιώσεις και συμπεριφορά ρυθμίσεων ειδική για το μοντέλο.