OpenAI: Whisper 1

Whisper 1 è il modello API generale di riconoscimento del parlato di OpenAI, documentato come basato sul modello open-source Whisper V2. Accetta un file audio e restituisce testo. Il produttore descrive riconoscimento multilingue, identificazione della lingua e un’attività separata di traduzione del parlato. La trascrizione preserva la lingua parlata; l’interfaccia separata di traduzione del produttore restituisce testo inglese.

Un’applicazione utile è preparare un’intervista, una nota vocale o una conversazione registrata per ricerca e modifica successive. Fornisci la registrazione completa e, quando nota, la lingua di input. OpenAI documenta 98 lingue supportate e osserva che l’accuratezza del riconoscimento varia per lingua. L’indicazione di una singola lingua usa un codice ISO 639-1; i campi multilingue e delle parole chiave più recenti di altri modelli di trascrizione sono controlli separati.

Il flusso di trascrizione file del produttore accetta file fino a 25 MB nei formati MP3, MP4, MPEG, MPGA, M4A, WAV o WebM. Per una registrazione più grande, usa un formato compresso o dividila in segmenti entro il limite. Preserva confini delle frasi e ordine dei segmenti, affinché la trascrizione assemblata rimanga collegata alla registrazione originale. Un contenitore video fornisce il suo audio per questa attività anziché un input di descrizione visiva.

Un prompt può fornire nomi, acronimi o vocabolario specifico della registrazione e contesto da un segmento precedente. Il limite del prompt di Whisper è di 224 token e il prompt dovrebbe corrispondere alla lingua dell’audio. Il produttore afferma che Whisper non segue istruzioni come un modello testuale generale. Usa il prompt come contesto pertinente per la trascrizione, poi verifica le grafie importanti rispetto alla registrazione anziché trattare un elenco terminologico come parole che il parlante deve necessariamente aver pronunciato.

Il produttore documenta i formati di trascrizione JSON, testo semplice, SRT, VTT e JSON dettagliato. I timestamp di parole e segmenti richiedono JSON dettagliato; possono essere richieste una o entrambe le granularità. Il riferimento API osserva che i timestamp dei segmenti non aggiungono latenza, mentre quelli delle parole richiedono elaborazione aggiuntiva. Questi output supportano sottotitolazione e individuazione di passaggi durante il montaggio; le annotazioni di diarizzazione dei parlanti appartengono a un diverso modello specializzato.

Whisper 1 non supporta lo streaming della trascrizione di file. Il riferimento documenta inoltre una temperatura di campionamento tra zero e uno; a zero, il modello può aumentare automaticamente la temperatura quando lo richiedono le soglie di decodifica. Questo descrive i controlli di elaborazione del produttore anziché promettere che ogni registrazione produca una trascrizione identica o perfettamente accurata.

Definisci l’artefatto finale: una trascrizione per la ricerca, un file di sottotitoli o testo con temporizzazione a livello di parola o segmento. Mantieni registrazione originale, ordine dei segmenti e riferimenti temporali pertinenti della fonte insieme al risultato. Un successivo passaggio di modifica testuale può correggere un errore di grafia o preparare un riepilogo, ma confronta le modifiche con l’audio affinché il significato del parlante sia preservato. Il testo riconosciuto diventa evidenza per l’attività successiva anziché una risposta generata alla domanda parlata.