Fish Audio: S2.1 Pro

Το S2.1 Pro είναι το μεταγενέστερο μοντέλο μετατροπής κειμένου σε ομιλία της γενιάς S2 της Fish Audio για εκφραστική αφήγηση και συνομιλιακές φωνητικές εφαρμογές. Βελτιώνει την ποιότητα ομιλίας, την καθυστέρηση και τον ρυθμό επεξεργασίας σε σχέση με το S2 Pro, διατηρώντας τον έλεγχο ερμηνείας σε φυσική γλώσσα και τον εγγενή διάλογο πολλών ομιλητών. Τα S2.1 Pro και S2.1 Pro Free μοιράζονται το υποκείμενο μοντέλο ομιλίας.

Για μια αφηγημένη εξήγηση, παρέχετε την ολοκληρωμένη διατύπωση, την επιθυμητή φωνή και τα σημεία όπου πρέπει να αλλάξει ο ρυθμός ή η έμφαση. Για μια συνομιλιακή εφαρμογή, συνθέστε την απάντηση που έχει επιλέξει η εφαρμογή και κρατήστε το πραγματολογικό της περιεχόμενο χωριστό από τις οδηγίες ερμηνείας. Για έναν σεναριακό διάλογο, ορίστε τους ομιλητές και τις φωνές τους πριν γράψετε τις ατάκες τους. Ένα χρήσιμο αποτέλεσμα είναι ένα πλήρες ηχητικό απόσπασμα ή μια αναπαραγώγιμη ροή της οποίας οι λέξεις, η ερμηνεία και οι ρόλοι ομιλητών ανταποκρίνονται σε αυτή την ανάθεση.

Γράψτε τις λέξεις που πρέπει πράγματι να ακουστούν και, στη συνέχεια, τοποθετήστε μια οδηγία ακριβώς πριν από το απόσπασμα του οποίου η ερμηνεία πρέπει να αλλάξει. Οι οδηγίες σε αγκύλες μπορούν να εκφράζουν ψίθυρο, παύση, αντίδραση, έμφαση ή ένα ελεύθερα διατυπωμένο ύφος ομιλίας. Τοποθετήστε μια αλλαγή στη μέση της πρότασης στο σημείο όπου τη χρειάζεται η ερμηνεία και ακολουθήστε τις περιγραφικές οδηγίες με πραγματική ομιλία. Μια χρήσιμη ανάθεση επεξηγηματικής αφήγησης διαχωρίζει την πραγματολογική διατύπωση από τη ζεστασιά, τον ρυθμό ή την έμφαση που επιθυμείτε για τον ακροατή.

Για έναν ομιλητή, επιλέξτε αποθηκευμένο αναγνωριστικό φωνής ή παρέχετε ηχογράφηση αναφοράς με την απομαγνητοφώνησή της. Ο οδηγός ομιλίας του παραγωγού συνιστά καθαρό δείγμα 10–30 δευτερολέπτων για άμεση προσαρμογή της φωνής. Επιλέξτε αναφορά με τον τόνο και την ποιότητα εγγραφής που ταιριάζουν στο κείμενο και διατηρήστε την ίδια αναφορά σε συναφή αποσπάσματα. Η φωνητική αναφορά παρέχει τον ήχο του ομιλητή· το κείμενο και οι ενσωματωμένες οδηγίες παρέχουν το περιεχόμενο και την ερμηνεία του.

Η εγγενής σύνθεση πολλών ομιλητών χρησιμοποιεί δείκτες όπως <|speaker:0|> και <|speaker:1|> με πίνακα αναγνωριστικών φωνής σε καθορισμένη σειρά ή χωριστές ομάδες αναφορών. Διατηρήστε τις αριθμητικές ετικέτες ομιλητών ευθυγραμμισμένες με αυτή τη σειρά. Για μια διδακτική συνομιλία, γράψτε την ατάκα κάθε ομιλητή και τοποθετήστε την οδηγία ερμηνείας μετά τον δείκτη ομιλητή στο κατάλληλο σημείο. Έτσι δημιουργείται διάλογος σε ένα αίτημα· πρόκειται για διαφορετική ροή από τα χωριστά τμήματα ενός ομιλητή του S1 και τη μεταγενέστερη συναρμολόγησή τους.

Η ροή του παραγωγού προσφέρει έξοδο MP3, WAV, ακατέργαστο PCM και Opus, με προεπιλογή MP3. Το MP3 υποστηρίζει 64, 128 και 192 kbps· τα WAV και PCM χρησιμοποιούν τεκμηριωμένες μονοφωνικές μορφές δειγματοληψίας 16 bit, ενώ το Opus χρησιμοποιεί 48 kHz. Επιλέξτε τη μορφή για ένα αποθηκευμένο αρχείο αφήγησης, αναπαραγωγή ροής ή μια επόμενη ροή επεξεργασίας ήχου. Διατηρήστε το πλήρες κείμενο και την επιλογή φωνής μαζί με τον ήχο ώστε μια μεταγενέστερη επεξεργασία να μπορεί να διορθώσει μία ατάκα χωρίς να χαθεί η επιθυμητή ερμηνεία.

Η ταχύτητα μπορεί να ρυθμιστεί από 0,5 έως 2,0, με ρυθμίσεις έντασης. Η κανονικοποίηση κειμένου αναπτύσσει αγγλικούς και κινεζικούς αριθμούς για φυσική ανάγνωση. Η κανονικοποίηση ηχητικής στάθμης εξόδου έχει προεπιλογή true και εφαρμόζεται στην οικογένεια S2· το ίδιο πεδίο δεν είχε επίδραση στο S1. Το repetition_penalty του S1 δεν αλλάζει τον ήχο του S2.1 Pro, επομένως μια παλιά ρύθμιση δεν πρέπει να θεωρείται αποτελεσματικό μέσο ελέγχου αυτού του μοντέλου. Ελέγξτε απευθείας επαναλαμβανόμενους ήχους και λέξεις αντί να βασίζεστε σε μεταφερόμενη παράμετρο για να διαπιστώσετε το αποτέλεσμα.

Τα μεγαλύτερα κείμενα υποβάλλονται σε επεξεργασία σε τμήματα. Το τεκμηριωμένο εύρος μήκους τμήματος είναι 100–300 και το max_new_tokens είναι όριο ηχητικών token ανά τμήμα, όχι εγγύηση συνολικής διάρκειας. Η προσαρμογή βάσει προηγούμενου τμήματος μπορεί να μεταφέρει το φωνητικό πλαίσιο στη συνέχεια. Η ροή παράδοσης του παραγωγού περιγράφει πλήρη ήχο, σταδιακά τμήματα ήχου και ζωντανή ροή κειμένου όταν το κείμενο φτάνει προοδευτικά. Επιλέξτε τον τρόπο κατανάλωσης για την εφαρμογή και διατηρήστε αρκετό πλαίσιο κειμένου για την προφορά και τον τόνο του επόμενου αποσπάσματος.

Για ένα χρήσιμο τελικό παραδοτέο, ακούστε για παραλειπόμενες ή επαναλαμβανόμενες λέξεις, προφορά αριθμών, αλλαγές ομιλητών, παύσεις και ένταση των οδηγιών. Διαφορετικές φωνητικές αναφορές μπορούν να ερμηνεύσουν μια υπόδειξη με διαφορετική ένταση, επομένως ξεκινήστε με μια απλή καθοδηγούμενη ατάκα πριν προσθέσετε ανταγωνιστικές ετικέτες. Σε πολυγλωσσική εργασία, παρέχετε το κείμενο στη γλώσσα-στόχο αντί να ζητάτε από το μοντέλο ομιλίας να επινοήσει ή να μεταφράσει το περιεχόμενό του. Μια εστιασμένη αναθεώρηση αλλάζει την ατάκα, την υπόδειξη ή την αναφορά που ευθύνεται για την απόκλιση, διατηρώντας τα τμήματα της ερμηνείας που ήδη ανταποκρίνονται στην ανάθεση.