Meta: Muse Voice Transcribe 1.0

Το Muse Voice Transcribe 1.0 είναι το μοντέλο ακουστικής αντίληψης της Meta για την απομαγνητοφώνηση ομιλίας, την ανίχνευση των ορίων των εκφωνήσεων και την απόδοση των παρεμβάσεων σε ομιλητές. Ανήκει στην οικογένεια μοντέλων Muse Spark και συνδυάζει την αναγνώριση, τη διαχωριστική αναγνώριση ομιλητών και την ανίχνευση λήξης εκφώνησης μέσα στο ίδιο το μοντέλο. Η έξοδός του είναι το αναγνωρισμένο κείμενο με τις πληροφορίες χρονισμού και ομιλητών που διατίθενται στην επιλεγμένη λειτουργία.

Το μοντέλο επεξεργάζεται τον ήχο σε τμήματα των 80 χιλιοστών του δευτερολέπτου και αποφασίζει πότε να συνεχίσει την ακρόαση ή να εκπέμψει κείμενο. Η προσαρμοστική καθυστέρησή του επιτρέπει να περιμένει επιπλέον ήχο όταν μια λέξη είναι δυσκολότερο να αποσαφηνιστεί. Έτσι παράγεται μερικό κείμενο όσο φτάνει η ομιλία και ακολουθούν ολοκληρωμένα αποτελέσματα απομαγνητοφώνησης. Αντιμετωπίζετε την προσωρινή υπόθεση και την ολοκληρωμένη παρέμβαση ως διαφορετικά στάδια της εμπειρίας ακρόασης.

Επιλέξτε ανάμεσα σε τρεις λειτουργίες. Το Push-to-talk είναι η προεπιλογή για μία ελεγχόμενη εκφώνηση, όπως ένα φωνητικό ερώτημα ή ένα σύντομο υπαγορευμένο απόσπασμα. Η λειτουργία endpointing επιτρέπει στο μοντέλο να ανιχνεύει τα όρια των παρεμβάσεων και να επιστρέφει μία ολοκληρωμένη απομαγνητοφώνηση για κάθε τμήμα που ανιχνεύεται. Η λειτουργία diarization αποδίδει την αναγνωρισμένη ομιλία σε ετικέτες ομιλητών και προορίζεται για ηχογραφήσεις πολλών ομιλητών, αντί για την ταχύτερη εναλλαγή διαδοχικών φωνητικών εντολών.

Για ένα ηχογραφημένο απόσπασμα, η ροή απομαγνητοφώνησης αρχείου επιστρέφει ολόκληρη την απομαγνητοφώνηση σε ένα αίτημα. Το προεπιλεγμένο αποτέλεσμα είναι JSON που περιέχει την απομαγνητοφώνηση και τη διάρκεια του ήχου, με έναν πίνακα turns στις λειτουργίες endpointing και diarization. Κάθε παρέμβαση μπορεί να περιλαμβάνει αναγνωριστικό, χρόνο έναρξης και λήξης σε χιλιοστά του δευτερολέπτου και το αναγνωρισμένο κείμενό της. Στη λειτουργία diarization υπάρχουν ετικέτες ομιλητών. Το Push-to-talk παράγει ολόκληρη την απομαγνητοφώνηση χωρίς ανιχνευμένες παρεμβάσεις σε αυτόν τον πίνακα. Η διεπαφή ηχογραφημένων αρχείων του κατασκευαστή μπορεί επίσης να επιστρέψει απλό κείμενο ή μια ροή συμβάντων απομαγνητοφώνησης. Το απλό κείμενο διατηρεί τις ανιχνευμένες παρεμβάσεις σε χωριστές γραμμές και μπορεί να περιλαμβάνει ετικέτες ομιλητών· μια ροή συμβάντων τερματίζεται μετά το τελευταίο της συμβάν, χωρίς χωριστή σύνοψη JSON. Η λειτουργία μερικών αποτελεσμάτων delta επιστρέφει τις διαδοχικές προσθήκες κειμένου, ενώ το τελικό συμβάν απομαγνητοφώνησης περιέχει την πλήρη διατύπωση.

Προετοιμάστε ένα αρχείο RIFF/WAVE με μονοφωνικό ήχο PCM ακέραιων τιμών 16 bit στα 16 ή 24 kHz. Ο εγγενής ρυθμός δειγματοληψίας του μοντέλου είναι 24 kHz και η διεπαφή δέχεται επίσης 16 kHz. Μετατρέψτε άλλα περιβλήματα ή κωδικοποιήσεις σε αυτήν την υποστηριζόμενη μορφή WAV πριν υποβάλετε μια ηχογράφηση. Το προφίλ απομαγνητοφώνησης αρχείου επιτρέπει ήχο διάρκειας έως 10 λεπτών και συνολικό σώμα αιτήματος έως 32 MB. Διατηρείτε την αρχική ηχογράφηση και κάθε μετατροπή της συνδεδεμένες με την επιστρεφόμενη απομαγνητοφώνηση για μεταγενέστερο έλεγχο μέσω ακρόασης.

Η ροή ζωντανού ήχου χρησιμοποιεί ακατέργαστο, προσημασμένο, μονοφωνικό PCM 16 bit σε διάταξη little-endian, με ήχο στα 16 ή 24 kHz που αποστέλλεται περίπου σε πραγματικό χρόνο. Το τεκμηριωμένο χρονικό όριο συνεδρίας είναι 60 λεπτά. Η Meta περιγράφει εγγενή είσοδο ήχου που υπερβαίνει τη μία ώρα· τα τεκμηριωμένα όρια αρχείου και ζωντανής συνεδρίας παραμένουν χωριστά όρια διεπαφής. Επιλέξτε τη ροή ηχογραφημένου αρχείου ή τη ζωντανή ροή ανάλογα με το αν ο ήχος είναι ήδη ολοκληρωμένος ή εξακολουθεί να καταγράφεται και διατηρείτε τα αποτελέσματα διαφορετικών συνεδριών συνδεδεμένα με τα δικά τους τμήματα εισόδου.

Το Muse Voice Transcribe έχει εκπαιδευτεί σε περισσότερες από 70 γλώσσες, ενώ η τεκμηριωμένη διεπαφή αναγνώρισης απαριθμεί 25 υποστηριζόμενες γλώσσες. Σε αυτές περιλαμβάνονται τα αγγλικά, τα γαλλικά, τα γερμανικά, τα ισπανικά, τα αραβικά, τα κινεζικά μανδαρινικά, τα χίντι, τα ιαπωνικά, τα κορεατικά, τα ιταλικά και τα πορτογαλικά. Αναγνωρίζει την εναλλαγή γλωσσών μέσα στην ίδια πρόταση ή μεταξύ προτάσεων. Μια υπόδειξη γλώσσας μπορεί να κατονομάζει τις γλώσσες που αναμένονται στον ήχο, αλλά κατευθύνει την αναγνώριση αντί να επιβάλλει μία γλώσσα στην απομαγνητοφώνηση.

Οι υποδείξεις λεξιλογίου βοηθούν με όρους προϊόντων, ακρωνύμια, ονόματα ή τοπωνύμια που έχουν σημασία σε μια ηχογράφηση. Δώστε τις πραγματικές λέξεις και την ορθογραφία που αναμένετε να ακούσετε. Η λίστα λέξεων-κλειδιών επηρεάζει την αναγνώριση χωρίς να εγγυάται ακριβή ορθογραφία, οπότε ελέγχετε τους καθοριστικούς όρους συγκρίνοντάς τους με τον ήχο. Οι υποδείξεις γλώσσας και οι λέξεις-κλειδιά επιλέγονται στην αρχή της απομαγνητοφώνησης· διατηρείτε τις κατάλληλες για τη συγκεκριμένη ηχογράφηση αντί να αλλάζετε τη σημασία τους όσο εκτελείται μια συνεδρία.

Το μοντέλο υποστηρίζει diarization για συζητήσεις με περισσότερους από 20 ομιλητές. Ετικέτες όπως A και B προσδιορίζουν ομιλητές μέσα σε μία απομαγνητοφώνηση. Δεν είναι επαληθευμένα ονόματα και δεν τεκμηριώνουν ότι μια ετικέτα αναφέρεται στο ίδιο άτομο σε άλλη συνεδρία. Για μια πρωτότυπη εργασία ανάλυσης συνάντησης, ζητήστε παρεμβάσεις με απόδοση ομιλητή, διατηρήστε την ηχογράφηση και χρησιμοποιήστε τις ετικέτες για να οργανώσετε τη συζήτηση πριν αντιστοιχίσετε πραγματικά ονόματα συμμετεχόντων μέσω της ευρύτερης ροής εργασίας.

Οι ζωντανές μερικές απομαγνητοφωνήσεις μπορούν να αλλάζουν καθώς φτάνει περισσότερη ομιλία. Στη σωρευτική λειτουργία, κάθε μερικό αποτέλεσμα αντικαθιστά την προηγούμενη υπόθεση αντί να προσθέτει άλλο ένα αντίγραφό της. Ένα ανιχνευμένο τέλος ομιλίας σηματοδοτεί ένα όριο, ενώ το αποτέλεσμα ολοκληρωμένης παρέμβασης παρέχει το τελικό κείμενο και μπορεί να διαφέρει από το τελευταίο μερικό αποτέλεσμα. Διατηρείτε τις επικαλυπτόμενες παρεμβάσεις συνδεδεμένες με τα αναγνωριστικά τους και παραλαμβάνετε τα ολοκληρωμένα αποτελέσματα πριν θεωρήσετε ότι μια απομαγνητοφώνηση έχει τελειώσει. Όταν ολοκληρωθεί η ζωντανή είσοδος, σηματοδοτήστε το τέλος εισόδου και συνεχίστε να λαμβάνετε μέχρι ο παραγωγός να ολοκληρώσει την αποστολή των εκκρεμών αποτελεσμάτων. Το άμεσο κλείσιμο της σύνδεσης μπορεί να απορρίψει αυτά τα αποτελέσματα· ένα ανιχνευμένο όριο ομιλίας τερματίζει μια παρέμβαση και όχι ολόκληρη τη συνεδρία.

Ο χρονισμός παρέχεται ανά παρέμβαση. Αυτό το προφίλ δεν παρέχει χρονικές σημάνσεις ανά λέξη ή βαθμολογίες εμπιστοσύνης και η πρόοδος επεξεργασίας του ήχου δεν αποτελεί χρονική σήμανση για μια συγκεκριμένη λέξη. Η ανίχνευση ηχητικών συμβάντων, η ανίχνευση συναισθήματος και η αναδιαμόρφωση της απομαγνητοφώνησης βρίσκονται επίσης έξω από το τεκμηριωμένο προφίλ εξόδου. Χρησιμοποιήστε τα επιστρεφόμενα χρονικά διαστήματα παρεμβάσεων για ένα χρονολόγιο ομιλητών ή έλεγχο ανά τμήμα και διατηρήστε τις αναγνωρισμένες λέξεις αν ένα χωριστό βήμα επεξεργασίας δημιουργήσει αργότερα πιο καθαρές σημειώσεις.

Χρήσιμα παραδοτέα είναι ένα ολοκληρωμένο υπαγορευμένο απόσπασμα, η απομαγνητοφώνηση ενός φωνητικού ερωτήματος, μια συζήτηση με απόδοση ομιλητών ή ένα χρονολόγιο εκφωνήσεων. Συγκρίνετε ονόματα, αριθμούς και τεχνικούς όρους με την αρχική ηχογράφηση, διατηρήστε τις συσχετίσεις λειτουργίας και χρονισμού και κρατήστε διαθέσιμες τις πλήρεις παρεμβάσεις για έλεγχο. Η απομαγνητοφώνηση τεκμηριώνει τι αναγνωρίστηκε στον ήχο· η απάντηση σε μια προφορική ερώτηση, η μετάφρασή της ή η μετατροπή της σε σημειώσεις συνάντησης ανήκει σε μεταγενέστερο βήμα της εφαρμογής.