OpenAI: Whisper Large V3

Το Whisper large-v3 είναι ένα δημοσιευμένο checkpoint αναγνώρισης ομιλίας της OpenAI με περίπου 1,55 δισεκατομμύρια παραμέτρους. Είναι πολύγλωσσο μοντέλο κωδικοποιητή–αποκωδικοποιητή: ο ήχος εισέρχεται στον κωδικοποιητή και ο αποκωδικοποιητής προβλέπει κείμενο και token που σχετίζονται με την εργασία. Οι κύριες εργασίες είναι η απομαγνητοφώνηση ομιλίας στη γλώσσα προέλευσης και η μετάφραση ομιλίας στα αγγλικά. Πρόκειται για ταυτότητα μοντέλου με ανοικτά βάρη, η οποία διατηρείται ξεχωριστή από το αναγνωριστικό μοντέλου μιας φιλοξενούμενης υπηρεσίας ή από τους κανόνες μεταφόρτωσης και μορφής απόκρισης εκείνης της υπηρεσίας.

Το large-v3 διατηρεί την αρχιτεκτονική των προηγούμενων checkpoint Whisper large με δύο δηλωμένες αλλαγές: η είσοδος φασματογράμματος χρησιμοποιεί 128 ζώνες συχνοτήτων Mel αντί για 80 και προσθέτει ένα token για την καντονέζικη γλώσσα. Η κάρτα μοντέλου του παραγωγού περιγράφει εκπαίδευση σε ένα εκατομμύριο ώρες ήχου με ασθενή επισήμανση και σε τέσσερα εκατομμύρια ώρες ήχου με ψευδοετικέτες που προετοιμάστηκαν με το Whisper large-v2. Αυτό το μείγμα χρησιμοποιήθηκε για δύο εποχές εκπαίδευσης. Η έκδοση είναι ένα συγκεκριμένο checkpoint large-v3 και όχι ένα γενικό όνομα για κάθε μοντέλο της οικογένειας Whisper.

Η τεκμηριωμένη ροή συμπερασμού εκτελεί απομαγνητοφώνηση από προεπιλογή, διατηρώντας τη γλώσσα που ακούγεται στην ηχογράφηση. Μπορεί να εντοπίσει αυτόματα τη γλώσσα προέλευσης ή να δεχτεί επιλογή γνωστής γλώσσας. Για μετάφραση, το πολύγλωσσο μοντέλο large παρέχει αγγλικό κείμενο από ομιλία που δεν είναι στα αγγλικά. Επιλέξτε ρητά αυτή την εργασία: μια απομαγνητοφώνηση στην ίδια γλώσσα και μια αγγλική μετάφραση είναι διαφορετικά παραδοτέα. Για μια συνέντευξη, διατηρήστε τη διατύπωση στην αρχική γλώσσα· για ένα αγγλικό έγγραφο αναφοράς, προσδιορίστε ότι το επιθυμητό αποτέλεσμα είναι μετάφραση του προφορικού περιεχομένου.

Η προετοιμασία ήχου είναι μέρος της διαδρομής εισόδου. Ο φορτωτής της OpenAI αποκωδικοποιεί μια ηχογράφηση σε μονοφωνική κυματομορφή και τη δειγματοληπτεί εκ νέου στα 16 kHz. Το ακουστικό πεδίο υποδοχής του μοντέλου είναι 30 δευτερόλεπτα. Αυτό είναι παράθυρο επεξεργασίας και όχι μέγιστη διάρκεια μιας ολόκληρης συνέντευξης ή διάλεξης. Ο συμπερασμός για υλικό μεγάλης διάρκειας μπορεί να προχωρά διαδοχικά μέσω ολισθαινόντων παραθύρων ή να χωρίζει μια μεγάλη ηχογράφηση σε επικαλυπτόμενα τμήματα και να ενώνει τις απομαγνητοφωνήσεις τους. Η κάρτα μοντέλου του παραγωγού περιγράφει διαδοχική επεξεργασία όταν προτεραιότητα είναι η ακρίβεια και επεξεργασία κατά τμήματα όταν έχει μεγαλύτερη σημασία ο χρόνος ολοκλήρωσης μιας μεμονωμένης μεγάλης ηχογράφησης.

Η δημοσιευμένη διαμόρφωση αναφέρει 448 θέσεις αποκωδικοποιητή για μια μεμονωμένη ακολουθία αποκωδικοποίησης. Οι μεγαλύτερες ηχογραφήσεις αντιμετωπίζονται με τη διαδικασία μεγάλης διάρκειας και όχι θεωρώντας αυτόν τον αριθμό καθολικό όριο απομαγνητοφώνησης. Η τεκμηριωμένη ροή εργασίας μπορεί να επιστρέφει χρονικές σημάνσεις σε επίπεδο τμήματος ή λέξης μαζί με το αναγνωρισμένο κείμενο. Αυτές οι χρονικές πληροφορίες είναι χρήσιμες για πλοήγηση στις ηχογραφήσεις και προετοιμασία υποτίτλων, ενώ οποιοσδήποτε τελικός περιέκτης υποτίτλων ή μορφή αρχείου απομαγνητοφώνησης είναι ξεχωριστή επιλογή μορφοποίησης εξόδου. Διατηρήστε τον χρονισμό της ηχογράφησης όταν προετοιμάζετε τον ήχο, αν η απομαγνητοφώνηση πρόκειται να ευθυγραμμιστεί με το αρχικό υλικό.

Ο προβλεπόμενος ρόλος του Whisper είναι η αναγνώριση και η μετάφραση ομιλίας. Μια απομαγνητοφώνηση διάλεξης, η καταγραφή μιας συνέντευξης ή μια αναζητήσιμη συλλογή προφορικού υλικού είναι πρακτικές έξοδοι· η σύνοψη ή η ερμηνεία μπορούν να ακολουθήσουν ως άλλο βήμα πάνω στο κείμενο. Η κάρτα μοντέλου δεν θεμελιώνει αξιόπιστη αυτόματη ταξινόμηση ομιλητών ή διαχωρισμό ομιλητών ως τυπική έξοδο του βασικού checkpoint. Αν μια εργασία χρειάζεται ετικέτες ομιλητών, αυτή η απαίτηση πρέπει να αντιμετωπίζεται ξεχωριστά από τον ισχυρισμό ότι η απομαγνητοφώνηση είναι ακριβής. Μια χρήσιμη περιγραφή απαιτήσεων προσδιορίζει τη γλώσσα προέλευσης, αν χρειάζεται απομαγνητοφώνηση ή αγγλική μετάφραση και αν απαιτούνται χρονικές πληροφορίες.

Ουσιαστικοί περιορισμοί περιλαμβάνουν επινοημένο κείμενο που δεν εκφωνήθηκε ποτέ και επαναλαμβανόμενο κείμενο, τα οποία συνδέονται με την εκπαίδευση ασθενούς εποπτείας σε θορυβώδη δεδομένα και τον σχεδιασμό ακολουθίας προς ακολουθία. Η ποιότητα αναγνώρισης διαφέρει μεταξύ γλωσσών, προφορών και διαλέκτων, με ασθενέστερα αποτελέσματα όπου υπάρχει λιγότερο εκπαιδευτικό υλικό. Ο θόρυβος, το εξειδικευμένο λεξιλόγιο και η επικαλυπτόμενη ομιλία πρέπει συνεπώς να αντιπροσωπεύονται στο δείγμα που χρησιμοποιείται για την αξιολόγηση καταλληλότητας. Συγκρίνετε ονόματα, ποσότητες και σημαντικές δηλώσεις με την ηχογράφηση και εξετάστε τα αποσπάσματα χωρίς ομιλία ή τις επαναλαμβανόμενες γραμμές, αντί να αντιμετωπίζετε μια απομαγνητοφώνηση με φυσική ροή ως απόδειξη ότι ακούστηκε κάθε λέξη.

Ένα πλήρες αποτέλεσμα διατηρεί το αναγνωρισμένο κείμενο, τη γλώσσα του και οποιεσδήποτε ζητημένες χρονικές πληροφορίες μαζί με αναφορά στην αρχική ηχογράφηση. Κρατήστε την απομαγνητοφώνηση ξεχωριστή από τη μεταγενέστερη επεξεργασία: μια διορθωμένη απομαγνητοφώνηση για δημοσίευση μπορεί να αφαιρεί γεμίσματα του λόγου, ενώ η αναγνωρισμένη απομαγνητοφώνηση διατηρεί ό,τι επέστρεψε πραγματικά το μοντέλο. Η ταυτότητα και η δυνατότητα μετάφρασης του large-v3 πρέπει επίσης να παραμένουν ξεχωριστές από την ταχύτερη έκδοση Turbo. Η πραγματική ταχύτητα επεξεργασίας εξαρτάται από τη γλώσσα, την ταχύτητα ομιλίας, το υλικό και τη μέθοδο συμπερασμού· από το όνομα του checkpoint και μόνο δεν προκύπτει κάποια συγκεκριμένη καθυστέρηση φιλοξενούμενης υπηρεσίας, μέγιστο μέγεθος μεταφόρτωσης ή ενεργοποιημένη διαδρομή εφαρμογής.