Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0 è il modello di percezione audio di Meta per trascrivere il parlato, rilevare i confini degli enunciati e attribuire i turni ai parlanti. Appartiene alla famiglia di modelli Muse Spark e combina riconoscimento, diarizzazione ed endpointing all’interno del modello. Il suo output è il testo riconosciuto, con le informazioni temporali e sul parlante disponibili nella modalità selezionata.

Il modello elabora l’audio in blocchi di 80 millisecondi e decide quando continuare ad ascoltare o emettere testo. Il ritardo adattivo gli consente di attendere ulteriore audio quando una parola è più difficile da riconoscere. Questo produce testo parziale mentre il parlato arriva, seguito dai risultati di trascrizione completati. Considera l’ipotesi parziale e il turno completato come fasi diverse dell’esperienza di ascolto.

Scegli fra tre modalità. Push-to-talk è quella predefinita per un singolo enunciato controllato, come una domanda vocale o un breve passaggio dettato. Endpointing consente al modello di rilevare i confini dei turni di parola e restituire una trascrizione completata per ogni segmento rilevato. Diarization attribuisce il parlato riconosciuto a etichette dei parlanti ed è destinata alle registrazioni con più parlanti, anziché alla più rapida alternanza dei turni nei comandi vocali.

Per una clip registrata, il flusso di trascrizione dei file restituisce una trascrizione completa in una sola richiesta. Il risultato predefinito è un JSON che contiene la trascrizione e la durata dell’audio, con un array turns nelle modalità endpointing e diarization. Ogni turno può riportare un identificatore, inizio e fine in millisecondi e il testo riconosciuto. Le etichette dei parlanti sono presenti nella modalità diarization. Push-to-talk produce la trascrizione completa senza turni rilevati in quell’array. L’interfaccia del produttore per i file registrati può inoltre restituire testo semplice o un flusso di eventi di trascrizione. Il testo semplice mantiene i turni rilevati su righe separate e può includere le etichette dei parlanti; un flusso di eventi termina dopo l’evento finale, senza un riepilogo JSON separato. La modalità parziale delta restituisce testo incrementale, mentre l’evento finale di trascrizione contiene il testo completo.

Prepara un file RIFF/WAVE contenente audio mono PCM a interi di 16 bit, a 16 o 24 kHz. La frequenza nativa del modello è 24 kHz e l’interfaccia accetta anche 16 kHz. Converti gli altri contenitori o le altre codifiche nel formato WAV supportato prima di fornire una registrazione. Il profilo di trascrizione dei file consente audio fino a 10 minuti e un corpo totale della richiesta fino a 32 MB. Conserva la registrazione originale e ogni conversione associata alla trascrizione restituita per una successiva verifica tramite ascolto.

Il flusso di audio dal vivo usa PCM grezzo mono con segno a 16 bit little-endian, con audio a 16 o 24 kHz inviato a una cadenza approssimativamente in tempo reale. La finestra di sessione documentata è di 60 minuti. Meta descrive un input audio nativo superiore a un’ora; i limiti documentati per i file e le sessioni dal vivo rimangono confini separati dell’interfaccia. Scegli il flusso per file registrati o quello dal vivo in base al fatto che l’audio sia già completo o ancora in acquisizione, e mantieni i risultati di sessioni diverse associati ai rispettivi segmenti di input.

Muse Voice Transcribe è addestrato su più di 70 lingue, mentre l’interfaccia di riconoscimento documentata elenca 25 lingue supportate. Fra queste figurano inglese, francese, tedesco, spagnolo, arabo, cinese mandarino, hindi, giapponese, coreano, italiano e portoghese. Riconosce l’alternanza di lingue all’interno delle frasi o fra una frase e l’altra. Un’indicazione sulla lingua può specificare le lingue attese nell’audio, ma orienta il riconoscimento anziché imporre una sola lingua alla trascrizione.

Le indicazioni sul vocabolario aiutano con termini di prodotto, acronimi, nomi o luoghi importanti in una registrazione. Fornisci le parole effettive e le grafie che ti aspetti di ascoltare. L’elenco di parole chiave orienta il riconoscimento senza garantire una grafia esatta, quindi verifica i termini decisivi confrontandoli con l’audio. Le indicazioni sulla lingua e le parole chiave vengono selezionate all’inizio della trascrizione; mantienile adeguate a quella registrazione anziché cambiarne il significato durante una sessione in corso.

Il modello supporta la diarizzazione per conversazioni con più di 20 parlanti. Etichette come A e B identificano i parlanti all’interno di una trascrizione. Non sono nomi verificati e non stabiliscono che un’etichetta si riferisca alla stessa persona in un’altra sessione. Per un’attività di analisi di una riunione originale, richiedi turni attribuiti ai parlanti, conserva la registrazione e usa le etichette per organizzare la discussione prima di assegnare eventuali nomi reali dei partecipanti attraverso il flusso di lavoro circostante.

Le trascrizioni parziali dal vivo possono cambiare con l’arrivo di altro parlato. Nella modalità cumulativa, ogni risultato parziale sostituisce l’ipotesi precedente anziché aggiungerne un’altra copia. Un rilevamento della fine del parlato indica un confine, mentre il risultato del turno completato fornisce il testo finale e può differire dall’ultimo risultato parziale. Mantieni i turni sovrapposti associati ai rispettivi identificatori e acquisisci i risultati completati prima di considerare conclusa una trascrizione. Quando l’input dal vivo termina, segnala la fine dell’input e continua a ricevere finché il produttore non ha finito di inviare i risultati in attesa. Chiudere immediatamente la connessione può far perdere quei risultati; un confine del parlato rilevato conclude un turno, anziché l’intera sessione.

I riferimenti temporali sono a livello di turno. Questo profilo non fornisce timestamp a livello di parola né punteggi di confidenza, e l’avanzamento dell’elaborazione audio non è un timestamp per una parola specifica. Anche il rilevamento di eventi sonori, il rilevamento delle emozioni e la riformattazione delle trascrizioni sono esterni al profilo di output documentato. Usa gli intervalli dei turni restituiti per una sequenza temporale dei parlanti o una verifica a livello di segmento, e conserva le parole riconosciute se un passaggio di revisione separato crea successivamente note più ordinate.

Fra gli artefatti utili figurano un passaggio dettato completato, la trascrizione di una domanda vocale, una conversazione attribuita ai parlanti o una sequenza temporale degli enunciati. Confronta nomi, numeri e termini tecnici con la registrazione originale, preserva la modalità e le associazioni temporali e mantieni disponibili i turni completi per la verifica. La trascrizione stabilisce che cosa è stato riconosciuto nell’audio; rispondere a una domanda pronunciata, tradurla o trasformarla in note di riunione spetta a un passaggio successivo dell’applicazione.