Qwen: Qwen-Audio-3.0-TTS Plus

Το Qwen-Audio-3.0-TTS-Plus μετατρέπει γραπτό κείμενο σε εκφραστική ομιλία, με την έκδοση Plus να εστιάζει στην ποιότητα σύνθεσης, τη φυσικότητα και τη λεπτομερή φωνητική εκφορά. Η Qwen αναφέρει ως κύριες εφαρμογές τη δημιουργία περιεχομένου, τα ηχητικά βιβλία, τη μεταγλώττιση ταινιών και βίντεο και την επαγγελματική παραγωγή ομιλίας. Το ενημερωμένο προφίλ του μοντέλου περιγράφει ευρύτερη υποστήριξη γλωσσών με περιορισμένους πόρους και κινεζικών διαλέκτων, βελτιωμένη αυθεντικότητα διαλέκτου και ισχυρότερο έλεγχο συναισθήματος, τόνου, χαρακτήρα, ρυθμού ομιλίας, έντασης και ύφους. Ο παραγωγός αναφέρει επίσης βελτιωμένη καθαρότητα, ανάλυση και ανθεκτικότητα σε ακουστικές συνθήκες με θόρυβο ή αντήχηση.

Η Plus είναι η έκδοση αυτής της οικογένειας μετατροπής κειμένου σε ομιλία με έμφαση στην ποιότητα· η Flash τοποθετείται χωριστά για αλληλεπίδραση σε πραγματικό χρόνο. Ετοιμάστε μια αφήγηση ως κείμενο προς εκφώνηση, προσδιορίζοντας το επιδιωκόμενο κοινό, τον ρυθμό και τη συναισθηματική κατεύθυνση. Για ένα απόσπασμα ηχητικού βιβλίου, ενδεικτικές οδηγίες μπορεί να ζητούν καθαρή άρθρωση, μετρημένο ρυθμό και συγκρατημένη ζεστασιά· για μια αφήγηση βίντεο μπορεί να ζητούν σοβαρό άνοιγμα και έπειτα μια πιο ενεργητική εξήγηση. Πρόκειται για επιλογές εκφοράς των παρεχόμενων λέξεων. Το μοντέλο είναι συνθέτης ομιλίας, όχι υπηρεσία μεταγραφής ή δημιουργός μιας ολοκληρωμένης οπτικής σκηνής.

Οι επίσημες φωνές συστήματος της Plus περιλαμβάνουν τη Long An Ling Xin, που περιγράφεται ως ζεστή και ενσυναισθητική, και τη Long An Lu Feng, που περιγράφεται ως φωτεινή και χαρούμενη. Και οι δύο αναφέρονται για μανδαρινικά και αγγλικά. Ο παραγωγός παρέχει επίσης περισσότερες από 500 βασικές φωνές για αυτή την έκδοση, με δείγματα ακρόασης για αξιολόγηση πριν από την επιλογή. Συνιστά τις φωνές συστήματος για πιο συνεπή σύνθεση. Επιλέξτε φωνή από την ακριβή λίστα Plus και αντιστοιχίστε τη γλώσσα του κειμένου στις γλώσσες που υποστηρίζει η συγκεκριμένη φωνή· μια φωνή Flash δεν είναι εναλλάξιμη απλώς επειδή ανήκει στην ίδια ευρύτερη οικογένεια.

Το μοντέλο υποστηρίζει κλωνοποίηση φωνής βάσει δείγματος. Οι τεκμηριωμένες γλώσσες κλωνοποιημένων φωνών περιλαμβάνουν κινέζικα, αγγλικά, ιαπωνικά, κορεατικά, ρωσικά, γαλλικά, γερμανικά, πορτογαλικά, ταϊλανδικά, ινδονησιακά, βιετναμέζικα, ισπανικά, ιταλικά, μαλαισιακά, φιλιππινέζικα και αραβικά. Οι κινεζικές παραλλαγές περιλαμβάνουν Mandarin, Cantonese, Chongqing, Northeastern, Gansu, Guizhou, Zhejiang, Hebei, Henan, Hubei, Hunan, Jiangxi, Ningbo, Ningxia, Qingdao, Shaanxi, Shanxi, Shandong, Shanghainese, Sichuan και Yunnan, με τις διαλέκτους να ελέγχονται μέσω οδηγιών. Ο πίνακας μοντέλων του παραγωγού διακρίνει την κλωνοποίηση από τη δημιουργία φωνής βάσει γραπτής περιγραφής: η Plus υποστηρίζει κλωνοποίηση, αλλά όχι αυτή τη χωριστή λειτουργία σχεδιασμού φωνής.

Ένα κατάλληλο δείγμα αναφοράς για κλωνοποίηση είναι καθαρή ομιλία με κανονική ταχύτητα, χωρίς μουσική, θόρυβο φόντου, άλλους ομιλητές ή τραγούδι. Ο παραγωγός συνιστά 10–20 δευτερόλεπτα και επιτρέπει έως 60 δευτερόλεπτα, σε αρχείο έως 10 MB. Οι μορφές αναφοράς είναι WAV 16 bit, MP3 και M4A, με ελάχιστο ρυθμό δειγματοληψίας 16 kHz. Απαιτούνται τουλάχιστον πέντε δευτερόλεπτα συνεχούς καθαρής ομιλίας, ενώ συνιστάται οι υπόλοιπες παύσεις να μην υπερβαίνουν τα δύο δευτερόλεπτα. Σε στερεοφωνικό ήχο γίνεται επεξεργασία μόνο του πρώτου καναλιού. Το αναγνωριστικό της φωνής που δημιουργείται συνδέεται με την Plus και χρησιμοποιείται για σύνθεση όταν είναι έτοιμο· η αναπαραγωγή του ίδιου δείγματος αναφοράς μέσω Flash απαιτεί μια χωριστά δημιουργημένη φωνή Flash.

Οι οδηγίες φυσικής γλώσσας μπορούν να διαμορφώνουν τον τόνο, τον ρυθμό, το συναίσθημα και τη χροιά τόσο των φωνών συστήματος όσο και των κλωνοποιημένων φωνών. Χρησιμοποιήστε συγκεκριμένες ακουστικές περιγραφές αντί για ένα αόριστο αίτημα για καλή φωνή. Οι ενσωματωμένες ετικέτες συναισθήματος μπορούν να ορίζουν ύφος μέσα στο κείμενο, ενώ οι ετικέτες εμπλουτισμένης γλώσσας μπορούν να εισάγουν ένα φωνητικό εφέ σε επιλεγμένο σημείο. Για παράδειγμα, το [serious] αλλάζει την εκφορά που ακολουθεί, ενώ το [sighing] εισάγει έναν αναστεναγμό χωρίς να αλλάζει το συναισθηματικό ύφος γύρω του. Οι ετικέτες ελέγχου ισχύουν έως την επόμενη ετικέτα ελέγχου ή την αυτόματη κατάτμηση σε προτάσεις. Αυτή η λειτουργία ετικετών τεκμηριώνεται μόνο για μονόδρομη ροή, επομένως έχει διαφορετικό πεδίο εφαρμογής από τις οδηγίες που χρησιμοποιούνται με αμφίδρομη είσοδο κειμένου.

Οι επιλογές εξόδου του παραγωγού είναι PCM, WAV, MP3 και Opus, με αναφερόμενους ρυθμούς δειγματοληψίας 8.000, 16.000, 22.050, 24.000, 44.100 και 48.000 Hz. Οι τεκμηριωμένες προεπιλογές είναι MP3 και 22.050 Hz. Η ένταση μπορεί να οριστεί από 0 έως 100 και ο ρυθμός και το τονικό ύψος από 0,5 έως 2,0· τα MP3 και Opus επιτρέπουν επιπλέον bitrate από 6 έως 510 kbps. Επιλέξτε την αναπαράσταση που χρειάζεται για αναπαραγωγή ή επεξεργασία και κατόπιν διατηρήστε αυτές τις ρυθμίσεις σταθερές στις ενότητες ενός μεγαλύτερου έργου. Η έξοδος σε ροή περιλαμβάνει πλαίσια ήχου και μεταδεδομένα προτάσεων, με χρονικές σημάνσεις λέξεων διαθέσιμες για επιλέξιμες φωνές, συμπεριλαμβανομένων των κλωνοποιημένων.

Η τεκμηριωμένη ροή εισόδου κειμένου μέσω WebSocket επιτρέπει 20.000 χαρακτήρες ανά μήνυμα και 200.000 χαρακτήρες συνολικά και απαιτεί διάστημα υποβολής όχι μεγαλύτερο από 23 δευτερόλεπτα. Μπορεί να λάβει ένα πλήρες κείμενο ή τμήματα κειμένου με καθορισμένη σειρά και να ολοκληρωθεί όταν ολοκληρωθεί η είσοδος. Ο παραγωγός τεκμηριώνει επίσης την ακύρωση του τρέχοντος γύρου σύνθεσης. Πρόκειται για όρια και συμπεριφορές αυτού του πρωτοκόλλου, όχι για καθολικό ανώτατο όριο παραγόμενης διάρκειας. Για μια μεγάλη αφήγηση, οργανώστε το κείμενο σε συνεκτικές ενότητες και διατηρήστε τη σειρά και το κείμενό τους μαζί με τον παραγόμενο ήχο, ώστε το έργο να μπορεί να συναρμολογηθεί και να ελεγχθεί με συνέπεια.

Για την προφορά, ο παραγωγός παρέχει υποδείξεις γλώσσας προορισμού, σημειώσεις pinyin και αντικαταστάσεις κειμένου για την αντιμετώπιση ανεπιθύμητων αναγνώσεων ψηφίων, συντομογραφιών, συμβόλων ή λέξεων. Το SSML είναι μια χωριστή λειτουργία σήμανσης με όρους επιλεξιμότητας: η τεκμηρίωση της Qwen το υποστηρίζει για κλωνοποιημένες φωνές σε κλήσεις χωρίς ροή ή με μονόδρομη ροή, με μία μόνο υποβολή κειμένου όταν είναι ενεργοποιημένο. Δεν τεκμηριώνει SSML για κάθε φωνή συστήματος ή για αμφίδρομη ροή. Μια πρακτική ροή εργασίας Plus ξεκινά με συμβατή φωνή και ολοκληρωμένο κείμενο, και κατόπιν προσθέτει ακριβείς επιλογές εκφοράς και προφοράς για το απόσπασμα που θα εκφωνηθεί.