OpenAI: Whisper Large V3

Whisper large-v3 è un checkpoint di riconoscimento del parlato rilasciato da OpenAI con circa 1,55 miliardi di parametri. È un modello multilingue encoder-decoder: l’audio entra nell’encoder e il decoder predice testo e token relativi all’attività. Le attività principali sono trascrizione del parlato nella lingua di origine e traduzione del parlato in inglese. È un’identità di modello a pesi aperti, mantenuta separata dall’identificatore di modello di un servizio ospitato o dalle regole di caricamento e formato della risposta di quel servizio.

Large-v3 mantiene l’architettura dei precedenti checkpoint large di Whisper con due modifiche dichiarate: l’input spettrogramma usa 128 bande di frequenze Mel anziché 80 e aggiunge un token linguistico cantonese. La scheda del modello del produttore descrive addestramento su un milione di ore di audio debolmente etichettato e quattro milioni di ore di audio pseudo-etichettato preparato con Whisper large-v2. Questa combinazione è stata usata per due epoche di addestramento. La release è uno specifico checkpoint large-v3 anziché un nome generico per ogni modello della famiglia Whisper.

Il flusso di inferenza documentato esegue la trascrizione per impostazione predefinita, preservando la lingua parlata nella registrazione. Può rilevare automaticamente la lingua di origine o accettare una selezione di lingua nota. Per la traduzione, il modello large multilingue fornisce un risultato testuale inglese da parlato non inglese. Scegli esplicitamente quell’attività: una trascrizione nella stessa lingua e una traduzione inglese sono artefatti differenti. Per un’intervista, conserva la formulazione nella lingua originale; per un documento di riferimento inglese, specifica che il risultato desiderato è una traduzione del contenuto parlato.

La preparazione audio fa parte del percorso di input. Il loader di OpenAI decodifica una registrazione in una forma d’onda mono e la ricampiona a 16 kHz. Il campo ricettivo acustico del modello è di 30 secondi. È una finestra di elaborazione, non la lunghezza massima di un’intera intervista o lezione. L’inferenza di lunga durata può avanzare sequenzialmente attraverso finestre scorrevoli oppure dividere una registrazione lunga in segmenti sovrapposti e unire le trascrizioni. La scheda del produttore descrive l’elaborazione sequenziale quando la precisione è prioritaria e quella a segmenti quando conta maggiormente il tempo necessario per una singola registrazione lunga.

La configurazione rilasciata elenca 448 posizioni del decoder per una singola sequenza di decodifica. Le registrazioni più lunghe vengono gestite dal processo di lunga durata anziché trattare quel numero come un limite universale della trascrizione. Il flusso documentato può restituire timestamp a livello di segmento o parola insieme al testo riconosciuto. Questi output temporali sono utili per navigare le registrazioni e preparare sottotitoli, mentre qualsiasi contenitore finale di sottotitoli o formato di file di trascrizione è una scelta separata di formattazione dell’output. Preserva la temporizzazione della registrazione quando prepari l’audio se la trascrizione verrà allineata al materiale originale.

Il ruolo previsto di Whisper è riconoscere e tradurre il parlato. Una trascrizione di lezione, un record di intervista o una raccolta ricercabile di materiale parlato sono output concreti; riepilogo o interpretazione possono seguire come un altro passaggio sul testo. La scheda del modello non stabilisce una robusta classificazione automatica dei parlanti o diarizzazione come output standard del checkpoint base. Se un’attività richiede etichette dei parlanti, quel requisito deve essere gestito separatamente dall’affermazione di avere una trascrizione accurata. Un brief utile identifica lingua di origine, necessità di trascrizione o traduzione inglese ed eventuale necessità di informazioni temporali.

Le limitazioni sostanziali comprendono testo inventato mai pronunciato e testo ripetitivo, associati all’addestramento debolmente supervisionato su dati rumorosi e alla progettazione sequence-to-sequence. La qualità del riconoscimento varia tra lingue, accenti e dialetti, con risultati più deboli dove esiste meno materiale di addestramento. Rumore, vocabolario specialistico e parlato sovrapposto dovrebbero quindi essere rappresentati nel campione usato per giudicare l’idoneità. Confronta nomi, quantità e affermazioni importanti con la registrazione ed esamina passaggi senza parlato o righe ripetute anziché trattare una trascrizione fluida come prova che ogni parola sia stata udita.

Un risultato completo conserva testo riconosciuto, lingua ed eventuale temporizzazione richiesta con un riferimento alla registrazione originale. Mantieni la trascrizione separata dalle modifiche successive: una trascrizione corretta per pubblicazione può rimuovere intercalari, mentre quella riconosciuta preserva ciò che il modello ha effettivamente restituito. Identità e capacità di traduzione di Large-v3 dovrebbero inoltre rimanere separate dall’edizione Turbo più veloce. La velocità effettiva dipende da lingua, velocità del parlato, hardware e metodo di inferenza; nessuna particolare latenza ospitata, dimensione massima di caricamento o rotta applicativa abilitata deriva soltanto dal nome del checkpoint.