Mistral: Voxtral Mini TTS

Το Voxtral TTS είναι το μοντέλο μετατροπής κειμένου σε ομιλία 4B της Mistral AI για παραγωγή ομιλίας σε μορφή ήχου από κείμενο και αναφορά φωνής. Η σελίδα μοντέλου του κατασκευαστή προσδιορίζει την έκδοση 2603 ως voxtral-mini-tts-2603, ενώ η δημοσιευμένη κάρτα βαρών ονομάζεται Voxtral 4B TTS 2603. Αυτή η καταχώριση αφορά τη συγκεκριμένη έκδοση παραγωγής ομιλίας, η οποία διαφέρει από το Voxtral Small για κατανόηση ήχου, την απομαγνητοφώνηση και τα μεταγενέστερα μοντέλα εισόδου σε πραγματικό χρόνο.

Εκφραστική ομιλία και προσαρμογή φωνής

Το μοντέλο έχει σχεδιαστεί ώστε να αποτυπώνει τις παύσεις, τον ρυθμό, τον επιτονισμό, την προφορά και τη συναισθηματική απόδοση μιας φωνής αναφοράς. Η φωνή λειτουργεί ως οδηγία για το πώς πρέπει να ακούγεται το κείμενο· η επισκόπηση του κατασκευαστή δεν απαιτεί ξεχωριστές ετικέτες προσωδίας ή συναισθήματος ούτε απομαγνητοφώνηση της ηχογράφησης αναφοράς. Το αρχικό κείμενο καθορίζει τι λέγεται, ενώ η ηχητική αναφορά καθοδηγεί την εκφορά του.

Η επισκόπηση περιγράφει προσαρμογή φωνής από μόλις δύο έως τρία δευτερόλεπτα ήχου. Η περιγραφή της αρχιτεκτονικής αναφέρεται σε δείγματα καθοδήγησης φωνής διάρκειας πέντε έως είκοσι πέντε δευτερολέπτων. Αυτές οι δηλώσεις έχουν διαφορετικό πεδίο εφαρμογής: ένα παράδειγμα σύντομης προσαρμογής δεν αποτελεί απαίτηση χρήσης της συντομότερης δυνατής αναφοράς. Επιλέξτε καθαρή ομιλία που αντιπροσωπεύει το ύφος και την προφορά που θέλετε για το τελικό αποτέλεσμα.

Η δημοσιευμένη κάρτα περιλαμβάνει είκοσι προκαθορισμένες φωνές και προσαρμογή σε νέες φωνές. Η ροή ομιλίας του κατασκευαστή μπορεί να χρησιμοποιήσει αποθηκευμένο προφίλ φωνής ή εφάπαξ απόσπασμα αναφοράς. Η αποθήκευση προφίλ επιτρέπει επαναχρησιμοποίηση της ίδιας αναφοράς φωνής σε ξεχωριστά αιτήματα ομιλίας, ενώ ένα εφάπαξ απόσπασμα την παρέχει για την τρέχουσα εργασία. Ένα προφίλ και μια παραγόμενη ηχογράφηση είναι διαφορετικά τεχνουργήματα.

Γλώσσες και εκφορά μεταξύ γλωσσών

Η έκδοση υποστηρίζει αγγλικά, γαλλικά, ισπανικά, γερμανικά, ιταλικά, πορτογαλικά, ολλανδικά, αραβικά και χίντι, με διαλεκτικές παραλλαγές, μεταφορά φωνής μεταξύ γλωσσών και ανάμειξη γλωσσών, όπως περιγράφει ο κατασκευαστής. Για το καλύτερο αποτέλεσμα, ο οδηγός ομιλίας συνιστά η γλώσσα αναφοράς να ταιριάζει με τη γλώσσα του κειμένου. Η μεταφορά μεταξύ γλωσσών μπορεί να διατηρήσει την προφορά της αναφοράς ενώ εκφωνεί το έτοιμο κείμενο σε άλλη υποστηριζόμενη γλώσσα.

Μια πρακτική εργασία αφήγησης μπορεί να χρησιμοποιεί το ίδιο φωνητικό ύφος για μια εξήγηση σε διαφορετικές υποστηριζόμενες γλώσσες, με κάθε κείμενο προετοιμασμένο για τον προβλεπόμενο ακροατή. Μια απάντηση φωνητικού βοηθού μπορεί να χρησιμοποιεί σύντομο, συνομιλιακό κείμενο αντί να διαβάζει δυνατά ένα ανεπεξέργαστο έγγραφο. Το μοντέλο μετατροπής κειμένου σε ομιλία αποδίδει τις έτοιμες λέξεις· κάθε στάδιο μετάφρασης ή σύνταξης απάντησης που παράγει αυτές τις λέξεις αποτελεί ξεχωριστό βήμα.

Προετοιμασία του κειμένου

Ο οδηγός ομιλίας του κατασκευαστή συνιστά κείμενο που μπορεί να αποδοθεί προφορικά. Γράψτε αριθμούς και σύμβολα στη μορφή με την οποία πρέπει να εκφωνηθούν, ώστε το μοντέλο να μη χρειάζεται να επιλέξει μεταξύ πιθανών αναγνώσεων. Ένας αριθμός μπορεί να είναι ποσότητα, ώρα ή αναγνωριστικό· ορίστε την επιδιωκόμενη προφορική διατύπωση πριν από τη σύνθεση. Αναπτύξτε τις συντομογραφίες όταν η προφορά έχει σημασία, χρησιμοποιώντας χωριστά γράμματα όταν αυτή είναι η προβλεπόμενη ανάγνωση.

Αποφύγετε την πλούσια μορφοποίηση, τα emoji και τους ειδικούς χαρακτήρες που δεν θα αποδοθούν ως προφορικό περιεχόμενο. Προετοιμάστε ολοκληρωμένες προτάσεις με τη στίξη και τη διατύπωση που χρειάζεται η εκφορά. Ο οδηγός συνιστά προτροπές κάτω από 300 λέξεις για τα καλύτερα αποτελέσματα. Πρόκειται για σύσταση ποιότητας και όχι για δηλωμένο απόλυτο μέγιστο μήκος εισόδου.

Για μια διαδικαστική εξήγηση, γράψτε την ενέργεια και την προϋπόθεση σε μια πρόταση που μπορεί να παρακολουθήσει ο ακροατής. Για μια ανακοίνωση, τοποθετήστε τις σημαντικές πληροφορίες πριν από τις προαιρετικές λεπτομέρειες. Για μια φωνητική απάντηση, διατηρήστε την πραγματολογική απάντηση και αφαιρέστε μορφοποίηση μόνο για εμφάνιση ή σημάνσεις πηγών που δεν πρέπει να εκφωνηθούν. Αυτές οι προετοιμασίες κάνουν το ίδιο το κείμενο κατάλληλο για ήχο, πριν η αναφορά καθορίσει το ύφος του.

Συνεχής μετάδοση, έξοδος και διάρκεια

Ο κατασκευαστής τεκμηριώνει βασική παράδοση και συνεχή μετάδοση και περιγράφει εγγενή παραγωγή ήχου έως δύο λεπτών. Η δημοσιευμένη κάρτα βαρών παραθέτει επίσης μαζική εκτέλεση για την προετοιμασία πολλών εργασιών ομιλίας. Οι μεγαλύτερες παραγωγές της υπηρεσίας χρησιμοποιούν εναλλασσόμενη επεξεργασία αντί να αντιμετωπίζουν ένα εγγενές τμήμα ως απεριόριστο. Για μεγαλύτερη αφήγηση, προετοιμάστε συνεκτικές ενότητες και διατηρήστε συνεπή την προετοιμασία φωνής και κειμένου με τη ροή παράδοσης που χειρίζεται τη συνέχεια.

Η δημοσιευμένη κάρτα προσδιορίζει ήχο 24 kHz και κατονομάζει τις μορφές εξόδου WAV, PCM, FLAC, MP3, AAC και Opus. Ο οδηγός υπηρεσίας ομιλίας αναφέρεται σε MP3 για συμπιεσμένη παράδοση, WAV για ασυμπίεστο PCM, FLAC για συμπίεση χωρίς απώλειες και PCM ή Opus για συνεχή μετάδοση. Επιλέξτε μορφή που υποστηρίζεται από τη συνδεδεμένη ροή και είναι κατάλληλη για τη συσκευή αναπαραγωγής ή το στάδιο επεξεργασίας της. Η επιλογή μορφής και η συμπεριφορά της συνεχούς μετάδοσης είναι διακριτές από την ίδια την προσαρμογή φωνής.

Αρχιτεκτονική μοντέλου και πρακτικά όρια

Η ανακοίνωση περιγράφει αυτοπαλινδρομική αρχιτεκτονική αντιστοίχισης ροής, με κορμό αποκωδικοποιητή Transformer 3.4B, ακουστικό Transformer 390 εκατομμυρίων παραμέτρων και νευρωνικό κωδικοποιητή ήχου 300 εκατομμυρίων παραμέτρων. Ο αποκωδικοποιητής προβλέπει το σημασιολογικό περιεχόμενο και το ακουστικό στοιχείο παράγει την αναπαράσταση της ομιλίας, ενώ ο κωδικοποιητής χειρίζεται τον ήχο. Αυτά τα στοιχεία εξηγούν την κατά προσέγγιση ετικέτα μοντέλου 4B· δεν αποτελούν πρόσθετες γλώσσες εισόδου ή διαφορετικό μοντέλο παραγωγής απαντήσεων.

Μια πρακτική έξοδος είναι η συντεθειμένη ηχογράφηση ή η ροή ήχου που συνδέεται με το προετοιμασμένο κείμενο και την επιλεγμένη φωνή της. Διατηρήστε αυτές τις αντιστοιχίσεις όταν παράγετε πολλές ενότητες, ώστε η εφαρμογή να μπορεί να αποθηκεύσει, να αναπαραγάγει ή να συναρμολογήσει το σωστό υλικό. Το μοντέλο παράγει ήχο αντί για απομαγνητοφώνηση, διάνυσμα σημασιολογικής αναζήτησης ή νέα πραγματολογική απάντηση.

Διατηρήστε την έκδοση ομιλίας 2603, την υποστηριζόμενη γλώσσα και το ύφος αναφοράς. Οι πηγές που διαβάστηκαν παρέχουν τη δήλωση για εγγενή παραγωγή δύο λεπτών και τη σύσταση προετοιμασίας κάτω από 300 λέξεις, αλλά δεν τεκμηριώνουν ξεχωριστό απόλυτο μέγιστο όριο χαρακτήρων κειμένου ή συνολικής διάρκειας συνενωμένης ηχογράφησης. Χρησιμοποιήστε τις πραγματικές απαιτήσεις κειμένου, φωνής και παράδοσης για να ορίσετε το ολοκληρωμένο ηχητικό τεχνούργημα.