OpenAI: Whisper 1

Το Whisper 1 είναι το μοντέλο API αναγνώρισης ομιλίας γενικού σκοπού της OpenAI, το οποίο τεκμηριώνεται ως βασισμένο στο μοντέλο ανοικτού κώδικα Whisper V2. Δέχεται ένα αρχείο ήχου και επιστρέφει κείμενο. Ο κατασκευαστής περιγράφει πολύγλωσση αναγνώριση, ταυτοποίηση γλώσσας και ξεχωριστή εργασία μετάφρασης ομιλίας. Η απομαγνητοφώνηση διατηρεί τη γλώσσα που μιλιέται· η ξεχωριστή διεπαφή μετάφρασης του παραγωγού επιστρέφει αγγλικό κείμενο.

Μια χρήσιμη εφαρμογή είναι η προετοιμασία μιας συνέντευξης, μιας φωνητικής σημείωσης ή μιας ηχογραφημένης συνομιλίας για μεταγενέστερη αναζήτηση και επεξεργασία. Δώστε την ολοκληρωμένη ηχογράφηση και, όταν είναι γνωστή, τη γλώσσα εισόδου της. Η OpenAI τεκμηριώνει 98 υποστηριζόμενες γλώσσες και σημειώνει ότι η ακρίβεια αναγνώρισης διαφέρει ανά γλώσσα. Η υπόδειξη μίας μόνο γλώσσας χρησιμοποιεί κωδικό ISO 639-1· τα νεότερα πεδία πολλαπλών γλωσσών και λέξεων-κλειδιών άλλων μοντέλων απομαγνητοφώνησης είναι ξεχωριστοί έλεγχοι.

Η ροή απομαγνητοφώνησης αρχείων του παραγωγού δέχεται αρχεία έως 25 MB σε μορφή MP3, MP4, MPEG, MPGA, M4A, WAV ή WebM. Για μεγαλύτερη ηχογράφηση, χρησιμοποιήστε συμπιεσμένη μορφή ή χωρίστε την σε τμήματα εντός του ορίου. Διατηρήστε τα όρια των προτάσεων και τη σειρά των τμημάτων, ώστε η ενωμένη απομαγνητοφώνηση να παραμένει συνδεδεμένη με την αρχική ηχογράφηση. Ένας περιέκτης βίντεο παρέχει τον ήχο του για αυτή την εργασία και όχι είσοδο για οπτική περιγραφή.

Μια προτροπή μπορεί να παρέχει ονόματα, ακρωνύμια ή λεξιλόγιο ειδικό για την ηχογράφηση, καθώς και συμφραζόμενο από προηγούμενο τμήμα. Το όριο προτροπής του Whisper είναι 224 token και η προτροπή πρέπει να αντιστοιχεί στη γλώσσα του ήχου. Ο κατασκευαστής δηλώνει ότι το Whisper δεν ακολουθεί οδηγίες όπως ένα μοντέλο κειμένου γενικού σκοπού. Χρησιμοποιήστε την προτροπή ως σχετικό συμφραζόμενο απομαγνητοφώνησης και έπειτα ελέγξτε τις σημαντικές γραφές σε σχέση με την ηχογράφηση, αντί να αντιμετωπίζετε μια λίστα ορολογίας ως λέξεις που ο ομιλητής οπωσδήποτε είπε.

Ο παραγωγός τεκμηριώνει μορφές απομαγνητοφώνησης JSON, απλού κειμένου, SRT, VTT και αναλυτικού JSON. Οι χρονικές σημάνσεις λέξεων και τμημάτων απαιτούν αναλυτικό JSON· μπορεί να ζητηθεί είτε το ένα είτε και τα δύο επίπεδα λεπτομέρειας. Η αναφορά API σημειώνει ότι οι χρονικές σημάνσεις τμημάτων δεν προσθέτουν επιπλέον καθυστέρηση, ενώ οι χρονικές σημάνσεις λέξεων απαιτούν πρόσθετη επεξεργασία. Αυτές οι έξοδοι υποστηρίζουν τη δημιουργία υποτίτλων και τον εντοπισμό αποσπασμάτων κατά την επεξεργασία· οι επισημάνσεις διαχωρισμού ομιλητών ανήκουν σε διαφορετικό εξειδικευμένο μοντέλο.

Το Whisper 1 δεν υποστηρίζει streaming στην απομαγνητοφώνηση αρχείων. Η αναφορά του τεκμηριώνει επίσης θερμοκρασία δειγματοληψίας μεταξύ μηδέν και ένα· στο μηδέν, το μοντέλο μπορεί να αυξάνει αυτόματα τη θερμοκρασία όταν το απαιτούν τα κατώφλια αποκωδικοποίησής του. Αυτό περιγράφει τους ελέγχους επεξεργασίας του παραγωγού και όχι υπόσχεση ότι κάθε ηχογράφηση παράγει πανομοιότυπη ή απόλυτα ακριβή απομαγνητοφώνηση.

Ορίστε το τελικό παραδοτέο: μια απομαγνητοφώνηση για αναζήτηση, ένα αρχείο υποτίτλων ή κείμενο με χρονισμό λέξεων ή τμημάτων. Κρατήστε την αρχική ηχογράφηση, τη σειρά των τμημάτων και τις σχετικές χρονικές αναφορές της πηγής μαζί με το αποτέλεσμα. Ένα μεταγενέστερο βήμα επεξεργασίας κειμένου μπορεί να διορθώνει ένα ορθογραφικό λάθος ή να προετοιμάζει μια σύνοψη, αλλά συγκρίνετε τις αλλαγές με τον ήχο ώστε να διατηρείται το νόημα του ομιλητή. Το αναγνωρισμένο κείμενο γίνεται τεκμηρίωση για την επόμενη εργασία και όχι παραγόμενη απάντηση στην προφορική ερώτηση.