Fish Audio: S2.1 Pro Free (free)

Το S2.1 Pro Free είναι η έκδοση του μοντέλου μετατροπής κειμένου σε ομιλία S2.1 της Fish Audio που απευθύνεται σε προγραμματιστές. Μοιράζεται το υποκείμενο μοντέλο και τις βασικές δυνατότητες σύνθεσης με το S2.1 Pro: εκφραστική πολυγλωσσική ομιλία, οδηγίες ερμηνείας σε φυσική γλώσσα και εγγενή διάλογο πολλών ομιλητών. Ο ρόλος του είναι οι δοκιμές, η κατασκευή πρωτοτύπων, η ανάπτυξη και μικρότερες ροές εφαρμογών.

Για έναν πρωτότυπο φωνητικό βοηθό, ξεκινήστε με μια πλήρη ενδεικτική απάντηση και αξιολογήστε πώς ακούγεται πριν δοκιμάσετε κείμενο που φτάνει σταδιακά. Για ένα εκπαιδευτικό προϊόν, προετοιμάστε μια σύντομη εξήγηση με τους ακριβείς όρους και τις αναγνώσεις αριθμών που χρειάζεται ο ακροατής. Για ένα πρωτότυπο διαλόγου, ορίστε τους ομιλητές και τις φωνητικές αναφορές τους πριν προσθέσετε οδηγίες ερμηνείας. Αυτά τα βήματα αναπτύσσουν ένα ηχητικό παραδοτέο και τη σχετική ροή εφαρμογής, αντί να καθιστούν ένα αίτημα σύνθεσης υπεύθυνο για ολόκληρη τη συνομιλία.

Γράψτε τις λέξεις που πρέπει πράγματι να ακουστούν και, στη συνέχεια, τοποθετήστε μια οδηγία ακριβώς πριν από το απόσπασμα του οποίου η ερμηνεία πρέπει να αλλάξει. Οι οδηγίες σε αγκύλες μπορούν να εκφράζουν ψίθυρο, παύση, αντίδραση, έμφαση ή ένα ελεύθερα διατυπωμένο ύφος ομιλίας. Τοποθετήστε μια αλλαγή στη μέση της πρότασης στο σημείο όπου τη χρειάζεται η ερμηνεία και ακολουθήστε τις περιγραφικές οδηγίες με πραγματική ομιλία. Μια χρήσιμη ανάθεση επεξηγηματικής αφήγησης διαχωρίζει την πραγματολογική διατύπωση από τη ζεστασιά, τον ρυθμό ή την έμφαση που επιθυμείτε για τον ακροατή.

Για έναν ομιλητή, επιλέξτε αποθηκευμένο αναγνωριστικό φωνής ή παρέχετε ηχογράφηση αναφοράς με την απομαγνητοφώνησή της. Ο οδηγός ομιλίας του παραγωγού συνιστά καθαρό δείγμα 10–30 δευτερολέπτων για άμεση προσαρμογή της φωνής. Επιλέξτε αναφορά με τον τόνο και την ποιότητα εγγραφής που ταιριάζουν στο κείμενο και διατηρήστε την ίδια αναφορά σε συναφή αποσπάσματα. Η φωνητική αναφορά παρέχει τον ήχο του ομιλητή· το κείμενο και οι ενσωματωμένες οδηγίες παρέχουν το περιεχόμενο και την ερμηνεία του.

Η εγγενής σύνθεση πολλών ομιλητών χρησιμοποιεί δείκτες όπως <|speaker:0|> και <|speaker:1|> με πίνακα αναγνωριστικών φωνής σε καθορισμένη σειρά ή χωριστές ομάδες αναφορών. Διατηρήστε τις αριθμητικές ετικέτες ομιλητών ευθυγραμμισμένες με αυτή τη σειρά. Για μια διδακτική συνομιλία, γράψτε την ατάκα κάθε ομιλητή και τοποθετήστε την οδηγία ερμηνείας μετά τον δείκτη ομιλητή στο κατάλληλο σημείο. Έτσι δημιουργείται διάλογος σε ένα αίτημα· πρόκειται για διαφορετική ροή από τα χωριστά τμήματα ενός ομιλητή του S1 και τη μεταγενέστερη συναρμολόγησή τους.

Η ροή του παραγωγού προσφέρει έξοδο MP3, WAV, ακατέργαστο PCM και Opus, με προεπιλογή MP3. Το MP3 υποστηρίζει 64, 128 και 192 kbps· τα WAV και PCM χρησιμοποιούν τεκμηριωμένες μονοφωνικές μορφές δειγματοληψίας 16 bit, ενώ το Opus χρησιμοποιεί 48 kHz. Επιλέξτε τη μορφή για ένα αποθηκευμένο αρχείο αφήγησης, αναπαραγωγή ροής ή μια επόμενη ροή επεξεργασίας ήχου. Διατηρήστε το πλήρες κείμενο και την επιλογή φωνής μαζί με τον ήχο ώστε μια μεταγενέστερη επεξεργασία να μπορεί να διορθώσει μία ατάκα χωρίς να χαθεί η επιθυμητή ερμηνεία.

Η ταχύτητα μπορεί να ρυθμιστεί από 0,5 έως 2,0, με ρυθμίσεις έντασης. Η κανονικοποίηση κειμένου αναπτύσσει αγγλικούς και κινεζικούς αριθμούς για φυσική ανάγνωση. Η κανονικοποίηση ηχητικής στάθμης εξόδου έχει προεπιλογή true και εφαρμόζεται στην οικογένεια S2· το ίδιο πεδίο δεν είχε επίδραση στο S1. Το repetition_penalty του S1 δεν αλλάζει τον ήχο του S2.1 Pro, επομένως μια παλιά ρύθμιση δεν πρέπει να θεωρείται αποτελεσματικό μέσο ελέγχου αυτού του μοντέλου. Ελέγξτε απευθείας επαναλαμβανόμενους ήχους και λέξεις αντί να βασίζεστε σε μεταφερόμενη παράμετρο για να διαπιστώσετε το αποτέλεσμα.

Τα μεγαλύτερα κείμενα υποβάλλονται σε επεξεργασία σε τμήματα. Το τεκμηριωμένο εύρος μήκους τμήματος είναι 100–300 και το max_new_tokens είναι όριο ηχητικών token ανά τμήμα, όχι εγγύηση συνολικής διάρκειας. Η προσαρμογή βάσει προηγούμενου τμήματος μπορεί να μεταφέρει το φωνητικό πλαίσιο στη συνέχεια. Η ροή παράδοσης του παραγωγού περιγράφει πλήρη ήχο, σταδιακά τμήματα ήχου και ζωντανή ροή κειμένου όταν το κείμενο φτάνει προοδευτικά. Επιλέξτε τον τρόπο κατανάλωσης για την εφαρμογή και διατηρήστε αρκετό πλαίσιο κειμένου για την προφορά και τον τόνο του επόμενου αποσπάσματος.

Για ένα χρήσιμο τελικό παραδοτέο, ακούστε για παραλειπόμενες ή επαναλαμβανόμενες λέξεις, προφορά αριθμών, αλλαγές ομιλητών, παύσεις και ένταση των οδηγιών. Διαφορετικές φωνητικές αναφορές μπορούν να ερμηνεύσουν μια υπόδειξη με διαφορετική ένταση, επομένως ξεκινήστε με μια απλή καθοδηγούμενη ατάκα πριν προσθέσετε ανταγωνιστικές ετικέτες. Σε πολυγλωσσική εργασία, παρέχετε το κείμενο στη γλώσσα-στόχο αντί να ζητάτε από το μοντέλο ομιλίας να επινοήσει ή να μεταφράσει το περιεχόμενό του. Μια εστιασμένη αναθεώρηση αλλάζει την ατάκα, την υπόδειξη ή την αναφορά που ευθύνεται για την απόκλιση, διατηρώντας τα τμήματα της ερμηνείας που ήδη ανταποκρίνονται στην ανάθεση.