Qwen3 Omni 30B A3B Captioner

Présentation : descriptions détaillées des sons

Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio, ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en un compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés : parole, sons ambiants, musique, effets cinématographiques et mélanges de plusieurs sources sonores. Il sert ainsi à préparer une description d’un fichier audio permettant des recherches textuelles ou à examiner les couches sonores d’un bref segment média.

Compréhension de la parole et des autres sons

Le concepteur décrit l’analyse de plusieurs locuteurs, des expressions multilingues, de l’émotion vocale et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent le timbre des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non vocal, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques de films ou de médias.

Les descriptions d’ambiance, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Distinguez-les de la parole et des événements sonores directement vérifiables. Une description peut aider à repérer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions intimes d’une personne et ne prouve pas la source physique d’un son ambigu.

L’édition Captioner et son contrat d’entrée

Ce checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, sans prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour comprendre l’audio ; la configuration publiée désactive explicitement la sortie audio. N’attribuez pas à Captioner les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni au motif de leur famille commune.

L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et envoyez-le comme tâche entière. N’ajoutez pas d’instruction demandant une synthèse personnalisée, une traduction, une réponse à un locuteur ou un schéma de sortie. Si un processus exige ces transformations, elles relèvent d’une étape séparée travaillant sur la description renvoyée, plutôt que de commandes supposées de ce checkpoint de description audio.

Préparation d’un audio utile

Qwen recommande de limiter les extraits à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement long, sélectionnez un court segment cohérent autour de l’événement ou de la scène à examiner. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir ensuite relier la description à l’enregistrement d’origine.

Préservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit garder l’arrière-plan lorsque celui-ci influence la description attendue ; un fichier musical ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupé arbitrairement. Traiter les extraits séparément aide à préserver le détail local, sans établir de continuité automatique ni de compréhension de l’enregistrement entier entre les requêtes.

Utilité du résultat textuel

Le guide pratique du concepteur montre des descriptions présentant le contenu et la manière de parler, puis la scène environnante ; d’autres exemples décrivent musique, effets, variations d’intensité et séquence des événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom du fichier et la plage temporelle. Une personne chargée de la revue média peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour vérifier qu’elle reflète les couches souhaitées. Ce sont des exemples d’application, et non la preuve que le modèle a déjà écouté un fichier particulier de l’utilisateur.

La sortie est une description, sans promesse de transcription mot à mot, de tableau de diarisation, de fichier de sous-titres horodatés ou de bande sonore générée. Lorsque les mots exacts ou la temporalité sont requis, vérifiez la description à partir de l’audio et utilisez un processus dédié adapté au livrable. Une description riche peut inclure des informations de scène ou de genre déduites ; préservez donc l’incertitude lorsque le son seul n’identifie pas sa source sans ambiguïté.

Exemples de génération et limites

L’exemple autonome du concepteur règle un contexte de modèle de 32,768 tokens et un budget de génération de 16,384 tokens, avec température de 0.6, top_p à 0.95 et top_k à 20. Son guide pratique utilise un budget de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65,536 positions, ce qui ne doit pas devenir une garantie de durée audio.

Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée et sortie uniquement textuelle. Le résultat utile est une description détaillée d’une courte scène sonore ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.