Deepgram: Flux TTS

Το Flux TTS είναι η οικογένεια μετατροπής κειμένου σε ομιλία της Deepgram για ζωντανές συνομιλίες και προκαθορισμένο προφορικό περιεχόμενο. Το καθοριστικό χαρακτηριστικό του είναι η συνέχεια της συνομιλίας: το μοντέλο streaming μεταφέρει την προσωδία μεταξύ γύρων ομιλίας, ώστε η εκφορά να μπορεί να διατηρεί συνεπές ύφος καθώς συνεχίζεται η αλληλεπίδραση. Δέχεται γραπτό κείμενο και επιστρέφει ήχο ομιλίας. Το Flux TTS και το ξεχωριστό μοντέλο αναγνώρισης ομιλίας με το όνομα Flux εκτελούν διαφορετικά μέρη μιας φωνητικής συνομιλίας.

Επιλέξτε μια αγγλική φωνή

Ο τεκμηριωμένος κατάλογος Flux μιλά αγγλικά, με αμερικανική, βρετανική, ιρλανδική, αυστραλιανή, ινδική, σιγκαπουριανή και φιλιππινέζικη προφορά. Οι περιγραφές των φωνών βοηθούν στην επιλογή ομιλητή για εξυπηρέτηση πελατών, τηλεφωνικά μενού, αφήγηση ή ανεπίσημη συνομιλία. Για παράδειγμα, ο κατασκευαστής παρουσιάζει τη Haley ως ήρεμη αμερικανική φωνή και τον Jack ως επαγγελματική βρετανική φωνή. Επιλέξτε φωνή με βάση το κοινό και το είδος της διατύπωσης που θα διαβάζει και μετά κρατήστε την σταθερή σε όλο το έργο ή τη συνομιλία. Η ομιλία σε άλλες γλώσσες απαιτεί επιλογή μοντέλου με ξεχωριστή τεκμηρίωση.

Ζωντανοί γύροι ομιλίας και διακοπές

Στη ροή εργασίας streaming του κατασκευαστή, το κείμενο μπορεί να φτάνει καθώς η εφαρμογή συνθέτει μια απάντηση και ο ήχος επιστρέφεται σταδιακά. Ένας γύρος ομιλίας έχει δικά του συμβάντα έναρξης και ολοκλήρωσης· ο τερματισμός του γύρου ολοκληρώνει τη σύνθεση που απομένει. Το συμφραζόμενο μεταξύ γύρων διατηρεί την προσωδία μέσα σε εκείνη τη συνεδρία. Αυτό είναι χρήσιμο για έναν προφορικό βοηθό που πρώτα εξηγεί μια επιλογή και μετά απαντά σε ένα αίτημα διευκρίνισης χωρίς να αλλάζει τον φωνητικό του χαρακτήρα.

Μια διακοπή ακυρώνει τον ενεργό γύρο ομιλίας και επιστρέφει το μέρος που εκφωνήθηκε και το κείμενο που έμεινε. Αυτή η διάκριση βοηθά την εφαρμογή να συνεχίσει από εκείνο που πραγματικά άκουσε ο ακροατής. Για μια πρακτική αλληλεπίδραση, προετοιμάστε μια σύντομη απάντηση με τη σημαντική οδηγία πρώτη και την εξήγηση μετά. Αν ο ακροατής διακόψει μετά από εκείνη την πρώτη οδηγία, η επόμενη απάντηση μπορεί να αντιμετωπίσει τη νέα ερώτηση αντί να υποθέσει ότι μεταδόθηκε όλη η εξήγηση.

Προκαθορισμένος ήχος και μορφές εξόδου

Η σύνθεση batch λαμβάνει ένα πλήρες μπλοκ κειμένου και επιστρέφει τον ήχο του σε μία απάντηση. Χρησιμοποιεί τον ίδιο κατάλογο φωνών με το streaming και ταιριάζει σε ηχογραφημένα τηλεφωνικά μηνύματα, ειδοποιήσεις ή αφήγηση που προετοιμάζεται εκ των προτέρων. Τα αιτήματα batch είναι ανεξάρτητα· η κατάσταση των γύρων streaming και τα συμβάντα διακοπής δεν εφαρμόζονται σε ένα προκαθορισμένο απόσπασμα ήχου.

Η έξοδος streaming είναι ακατέργαστος ήχος χωρίς περιέκτη αρχείου: PCM 16 bit, mu-law ή A-law. Ο κατασκευαστής τεκμηριώνει συχνότητες δειγματοληψίας PCM 8, 16, 24, 32, 44,1 και 48 kHz· τα mu-law και A-law χρησιμοποιούν 8 ή 16 kHz. Η έξοδος batch υποστηρίζει επιπλέον MP3, Opus, FLAC και AAC. Επιλέξτε κωδικοποίηση και περιέκτη που μπορεί να ερμηνεύσει το προβλεπόμενο πρόγραμμα αναπαραγωγής ή η τηλεφωνική διαδρομή, αντί να αντιμετωπίζετε μια ροή ακατέργαστων δειγμάτων ως συνηθισμένο αρχείο ήχου.

Έλεγχοι εκφοράς και όρια

Ο κατασκευαστής τεκμηριώνει εύρος ταχύτητας ομιλίας από 0.5 έως 1.5 σε βήματα των 0.05. Οι αλλαγές ταχύτητας στο streaming εφαρμόζονται στο όριο ενός τμήματος. Ένας ξεχωριστός έλεγχος εκφραστικότητας σε beta μεταβάλλει την εκφορά από ήρεμη σε ζωηρή. Οι συνηθισμένες ετικέτες SSML και οι αναγνωρισμένες ετικέτες ανταγωνιστών αφαιρούνται αντί να χρησιμοποιούνται ως εκφραστικές οδηγίες· οι εγγενείς έλεγχοι του Flux έχουν τη δική τους σημασία.

Οι παύσεις μέσα στο κείμενο ανήκουν στη σύνθεση batch, με διάρκεια 500–3.000 ms σε βήματα των 100 ms και έως οκτώ δείκτες ανά αίτημα. Πρέπει να μεσολαβεί κείμενο ανάμεσα σε γειτονικές παύσεις, ενώ η ταχύτητα περιορίζεται στο 1.15 όταν υπάρχει παύση. Οι παρακάμψεις προφοράς χρησιμοποιούν IPA και βρίσκονται σε Early Access· ο κατασκευαστής σημειώνει ότι μια ζητούμενη προφορά μπορεί να διαφέρει μεταξύ παραγωγών ομιλίας. Η προφορά δεν μπορεί να συνδυαστεί με ταχύτητα διαφορετική από την προεπιλεγμένη ή με ελέγχους παύσης. Για ένα κείμενο με εξειδικευμένα ονόματα, ακούστε αυτούς τους όρους με την επιλεγμένη φωνή και κρατήστε ρητά διατυπωμένες τις λέξεις που πρέπει να εκφωνηθούν.

Η τεκμηριωμένη συνεδρία streaming της Deepgram διαρκεί έως μία ώρα και κλείνει μετά από εξήντα δευτερόλεπτα χωρίς εισερχόμενο μήνυμα, εκτός αν διατηρείται ενεργή μέσω του υποστηριζόμενου μηχανισμού σύνδεσης. Αυτά τα όρια συνεδρίας αφορούν τη ροή ζωντανής σύνθεσης. Ένα χρήσιμο παραδοτέο συνδυάζει σκόπιμα επιλεγμένη φωνή, κείμενο εύκολο για τον ακροατή και ήχο κατάλληλο για τον προορισμό του, με τις ζωντανές εφαρμογές να καταγράφουν τι εκφωνήθηκε πραγματικά όταν διακόπτεται ένας γύρος ομιλίας.