OpenAI: Whisper Large V3

Whisper large-v3 est une version publiée de reconnaissance vocale d’OpenAI avec environ 1,55 milliard de paramètres. C’est un modèle multilingue encodeur-décodeur : l’audio entre dans l’encodeur et le décodeur prédit du texte et des tokens liés à la tâche. Les tâches principales sont la transcription de la parole dans la langue source et sa traduction en anglais. Il s’agit d’une identité de modèle à poids ouverts, gardée distincte de l’identifiant de modèle d’un service hébergé ou des règles de téléversement et de format de réponse de ce service.

Large-v3 conserve l’architecture des versions large antérieures de Whisper avec deux changements annoncés : son entrée spectrogramme utilise 128 bandes de fréquences Mel au lieu de 80 et elle ajoute un token pour la langue cantonaise. La fiche du modèle du producteur décrit un entraînement sur un million d’heures d’audio faiblement annoté et quatre millions d’heures d’audio pseudo-annoté préparé avec Whisper large-v2. Ce mélange a été utilisé pendant deux époques d’entraînement. La publication est une version large-v3 précise, plutôt qu’un nom générique pour tous les modèles de la famille Whisper.

Le processus d’inférence documenté effectue une transcription par défaut, en préservant la langue parlée dans l’enregistrement. Il peut détecter automatiquement la langue source ou accepter une sélection de langue connue. Pour la traduction, le grand modèle multilingue fournit un résultat textuel anglais à partir de parole dans une autre langue. Choisissez explicitement cette tâche : une transcription dans la même langue et une traduction anglaise sont des artefacts différents. Pour un entretien, conservez la formulation dans la langue d’origine ; pour un document de référence anglais, précisez que le résultat souhaité est une traduction du contenu parlé.

La préparation audio fait partie du chemin d’entrée. Le chargeur d’OpenAI décode un enregistrement en forme d’onde mono et le rééchantillonne à 16 kHz. Le champ réceptif acoustique du modèle est de 30 secondes. C’est une fenêtre de traitement, plutôt qu’une durée maximale pour un entretien ou un cours entier. L’inférence longue peut avancer séquentiellement par fenêtres glissantes ou diviser un long enregistrement en segments qui se chevauchent et joindre leurs transcriptions. La fiche du modèle du producteur décrit le traitement séquentiel lorsque la précision est prioritaire et le traitement par segments lorsque le délai d’obtention d’un résultat pour un enregistrement long unique compte davantage.

La configuration publiée répertorie 448 positions de décodeur pour une séquence individuelle de décodage. Les enregistrements plus longs sont gérés par le processus long, plutôt qu’en traitant ce nombre comme une limite universelle de transcription. Le processus documenté peut renvoyer des horodatages par segment ou par mot avec le texte reconnu. Ces sorties temporelles sont utiles pour naviguer dans les enregistrements et préparer des sous-titres, tandis que tout conteneur final de sous-titres ou format de fichier de transcription relève d’un choix distinct de mise en forme de sortie. Préservez la chronologie de l’enregistrement lors de la préparation audio si la transcription doit être alignée avec le matériau d’origine.

Le rôle visé de Whisper est de reconnaître et de traduire la parole. Une transcription de cours, un compte rendu d’entretien ou une collection interrogeable de contenus parlés sont des sorties concrètes ; le résumé ou l’interprétation peuvent suivre comme une autre étape portant sur le texte. La fiche du modèle n’établit pas de classification automatique robuste des locuteurs ni de diarisation comme sortie standard de la version de base. Si une tâche nécessite des libellés de locuteur, cette exigence doit être traitée séparément de l’affirmation qu’une transcription est précise. Un cahier des charges utile identifie la langue source, le besoin de transcription ou de traduction anglaise et la nécessité éventuelle d’informations d’horodatage.

Les limites substantielles comprennent du texte inventé qui n’a jamais été prononcé et du texte répétitif, associés à l’entraînement faiblement supervisé sur des données bruitées et à la conception séquence-à-séquence. La qualité de reconnaissance varie selon les langues, les accents et les dialectes, avec de moins bons résultats lorsque les matériaux d’entraînement sont moins nombreux. Le bruit, le vocabulaire spécialisé et les paroles qui se chevauchent doivent donc être représentés dans l’échantillon utilisé pour juger l’adéquation. Comparez les noms, les quantités et les affirmations importantes à l’enregistrement et examinez les passages sans parole ou les lignes répétées, plutôt que de traiter une transcription fluide comme une preuve que chaque mot a été entendu.

Un résultat complet conserve le texte reconnu, sa langue et tout horodatage demandé avec une référence à l’enregistrement d’origine. Gardez la transcription séparée des modifications ultérieures : une transcription corrigée pour publication peut supprimer les mots de remplissage, tandis que la transcription reconnue préserve ce que le modèle a réellement renvoyé. L’identité de Large-v3 et sa capacité de traduction doivent aussi rester distinctes de l’édition Turbo plus rapide. La vitesse de traitement réelle dépend de la langue, du débit de parole, du matériel et de la méthode d’inférence ; aucune latence hébergée particulière, taille maximale de téléversement ou voie activée dans une application ne découle du seul nom de la version.