NVIDIA: Parakeet TDT 0.6B v3

Το Parakeet TDT 0.6B v3 είναι το πολύγλωσσο μοντέλο αναγνώρισης ομιλίας της NVIDIA με 600 εκατομμύρια παραμέτρους. Επεκτείνει το μοντέλο v2, που υποστήριζε μόνο αγγλικά, σε 25 ευρωπαϊκές γλώσσες και ανιχνεύει αυτόματα τη γλώσσα του ήχου χωρίς χωριστή γλωσσική προτροπή. Το αποτέλεσμα είναι απομαγνητοφώνηση της ομιλίας, με σημεία στίξης και χρήση κεφαλαίων.

Οι υποστηριζόμενες γλώσσες είναι βουλγαρικά, κροατικά, τσεχικά, δανικά, ολλανδικά, αγγλικά, εσθονικά, φινλανδικά, γαλλικά, γερμανικά, ελληνικά, ουγγρικά, ιταλικά, λετονικά, λιθουανικά, μαλτέζικα, πολωνικά, πορτογαλικά, ρουμανικά, σλοβακικά, σλοβενικά, ισπανικά, σουηδικά, ρωσικά και ουκρανικά. Αυτή η λίστα ανήκει στην έκδοση v3· οι άλλοι τύποι αποκωδικοποιητών και οι γλωσσικές παραλλαγές Parakeet είναι χωριστά μοντέλα.

Η αρχιτεκτονική συνδυάζει έναν κωδικοποιητή FastConformer με έναν αποκωδικοποιητή τύπου token-and-duration transducer. Ο κωδικοποιητής μετατρέπει το ακουστικό σήμα σε αναπαραστάσεις· ο αποκωδικοποιητής προβλέπει tokens κειμένου μαζί με τις διάρκειες που απαιτούνται για την προώθηση μέσα στα πλαίσια ήχου. Αυτή η συμπεριφορά TDT τον διακρίνει από τους αποκωδικοποιητές CTC και τους συνήθεις RNN-T της οικογένειας.

Προετοιμάστε μονοκάναλο ήχο με ρυθμό δειγματοληψίας 16 kHz. Οι άμεσες μορφές εισόδου του δημιουργού είναι WAV και FLAC και τα παραδείγματα υλοποίησής του χρησιμοποιούν έναν επεξεργαστή για την προετοιμασία της κυματομορφής για αναγνώριση. Διατηρείτε το αναγνωριστικό της ηχογράφησης και τον αρχικό ήχο μαζί με το επιστρεφόμενο κείμενο, ώστε η απομαγνητοφώνηση να μπορεί να ελεγχθεί ή να ευθυγραμμιστεί με την πηγή.

Οι χρονικές σημάνσεις προσθέτουν πληροφορίες χρονισμού στην αναγνωρισμένη ομιλία. Το παράδειγμα NeMo της NVIDIA επιστρέφει χρονισμούς χαρακτήρων, λέξεων και τμημάτων όταν είναι ενεργοποιημένη η παραγωγή χρονικών σημάνσεων. Μια εφαρμογή υποτίτλων ή αρχειοθέτησης μπορεί να χρησιμοποιεί τα όρια τμημάτων για να συνδέει ένα απόσπασμα με την ηχογράφηση ή τους χρονισμούς λέξεων για να εντοπίζει μια συγκεκριμένη φράση. Η απομαγνητοφώνηση και τα πεδία χρονισμού της είναι διαφορετικά μέρη του αποτελέσματος και πρέπει να παραμένουν συνδεδεμένα.

Για μεγάλες ηχογραφήσεις, η διαμόρφωση προσοχής έχει σημασία. Ο δημιουργός περιγράφει έως 24 λεπτά με πλήρη προσοχή σε A100 με 80 GB και έως τρεις ώρες με τοπική προσοχή. Το παράδειγμά του για εκτεταμένο ήχο ρυθμίζει τον κωδικοποιητή ώστε να χρησιμοποιεί τοπική προσοχή με οριοθετημένα αριστερά και δεξιά συμφραζόμενα. Αυτές οι διάρκειες περιγράφουν συγκεκριμένες διαμορφώσεις του κατασκευαστή και όχι ένα ανεπιφύλακτο όριο για κάθε εγκατάσταση.

Ο κατασκευαστής δημοσιεύει επίσης μια ροή τμηματικής εξαγωγής συμπερασμάτων για χρήση σε συνεχή ροή. Το παράδειγμά του καθορίζει το μήκος τμήματος και τα αριστερά και δεξιά ακουστικά συμφραζόμενα γύρω από κάθε τμήμα. Πρόκειται για διαφορετική διαδικασία επεξεργασίας από το εγγενές μοντέλο συνεχούς ροής Nemotron που αξιοποιεί κρυφή μνήμη. Μια εφαρμογή πρέπει να διατηρεί την επιλεγμένη διαδικασία και την αρχική χρονική αναφορά όταν συγκεντρώνει την απομαγνητοφώνηση μιας ηχογράφησης από διαδοχικές ενότητες.

Το μείγμα εκπαίδευσης περιλαμβάνει 10.000 ώρες ομιλίας απομαγνητοφωνημένης από ανθρώπους και 660.000 ώρες δεδομένων Granary με ψευδοετικέτες, με διατήρηση σημείων στίξης και κεφαλαίων. Ο κατασκευαστής υποστηρίζει επίσης τη λεπτομερή προσαρμογή αυτού του δημοσιευμένου σημείου ελέγχου σε άλλο σύνολο δεδομένων ομιλίας μέσω της τεκμηριωμένης ροής εργασίας μοντέλου· το προσαρμοσμένο σημείο ελέγχου παραμένει χωριστό από το βασικό μοντέλο v3. Η έξοδος κειμένου του μοντέλου είναι επομένως κατάλληλη ως στάδιο μετατροπής ομιλίας σε κείμενο μιας μεγαλύτερης ροής εργασίας. Ένα αρχείο συναντήσεων μπορεί να επισυνάπτει την απομαγνητοφώνηση στην ηχογράφηση· μια εφαρμογή αναζήτησης μπορεί να ευρετηριάζει το αναγνωρισμένο απόσπασμα· ένα εργαλείο υποτιτλισμού μπορεί να χρησιμοποιεί τα επιστρεφόμενα μεταδεδομένα χρονισμού.

Η ποιότητα αναγνώρισης διαφέρει ανάλογα με τη γλώσσα, την προφορά, τον θόρυβο και τον τύπο ομιλίας. Ο κατασκευαστής επισημαίνει ειδικά ότι λεξιλόγιο που δεν εκπροσωπήθηκε κατά την εκπαίδευση μπορεί να μην αναγνωριστεί και ότι μεμονωμένες λέξεις ή ατελείς προτάσεις παρέχουν ασθενέστερα συμφραζόμενα. Διατηρείτε τον αρχικό ήχο για τον έλεγχο ονομάτων και εξειδικευμένων όρων αντί να μετατρέπετε μια αβέβαιη αναγνώριση σε επαληθευμένο γεγονός.

Το χρήσιμο παραδοτέο είναι η απομαγνητοφώνηση με τις ζητούμενες πληροφορίες χρονισμού. Οι συνόψεις, οι μεταφράσεις, η ανάλυση ομιλητών και οι ενέργειες είναι χωριστές εργασίες της εφαρμογής, όχι δυνατότητες που υπονοούνται από την ονομασία μετατροπής ομιλίας σε κείμενο. Διατηρείτε την ταυτότητα v3 και τη λειτουργία προσοχής του κατασκευαστή διακριτές από άλλα σημεία ελέγχου και από μετατρεμμένα ή κβαντισμένα αρχεία μοντέλου.