Qwen3 Omni 30B A3B Captioner

Vue d’ensemble : descriptions détaillées des sons

Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio affiné à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés, notamment la parole, les sons ambiants, la musique, les effets cinématographiques et les mélanges de plusieurs sources sonores. Cela le rend utile pour préparer une description d’une ressource audio dans laquelle effectuer des recherches ou examiner les couches sonores d’un court segment média.

Compréhension de la parole et des autres sons

Le concepteur décrit l’analyse de plusieurs locuteurs, d’expressions multilingues, des émotions vocales et des intentions suggérées par l’élocution. Ses exemples vont au-delà d’une transcription : ils décrivent le son des voix, la langue parlée et la scène acoustique environnante. Pour l’audio sans parole, le modèle décrit l’atmosphère ambiante, les sons du monde réel, les couches musicales et les détails dynamiques des films ou médias.

Les descriptions d’humeur, d’intention du locuteur ou de contexte culturel sont des interprétations des contenus audibles. Traitez-les séparément de la parole et des événements sonores directement vérifiables. Une description peut aider une personne à remarquer un changement de ton ou une couche de fond ; ce n’est pas une mesure des émotions privées d’une personne ou une preuve de la source physique d’un son ambigu.

L’édition Captioner et son contrat d’entrée

Ce checkpoint fonctionne sur un seul tour. Il accepte exactement une entrée audio par inférence, aucun prompt textuel et renvoie uniquement du texte. Il contient le composant thinker pour la compréhension audio ; la configuration publiée désactive explicitement la sortie audio. Ne transférez pas à Captioner les fonctions conversationnelles, d’images, de vidéos ou de génération vocale d’autres éditions Qwen3-Omni au motif de leur nom de famille commun.

L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et soumettez-le comme tâche entière. N’ajoutez pas d’instruction demandant un résumé personnalisé, une traduction, une réponse de locuteur ou un schéma de sortie. Si un flux nécessite ces transformations, elles appartiennent à une étape distincte travaillant sur la description renvoyée, plutôt qu’à des commandes supposées de ce checkpoint de description.

Préparer un audio utile

Qwen recommande de limiter un extrait à 30 secondes au plus pour une description fine. C’est une recommandation de qualité : un audio trop long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil universel strict de rejet. Pour un enregistrement plus long, sélectionnez un court segment significatif autour de l’événement ou de la scène examinés. Gardez son identifiant de source et son repère temporel de début en dehors de la requête du modèle afin de pouvoir relier ultérieurement la description renvoyée à l’enregistrement d’origine.

Préservez les couches sonores pertinentes pour la question. Un extrait centré sur la voix doit toujours inclure l’arrière-plan lorsqu’il influence la description souhaitée ; une ressource musicale ou d’effets sonores doit conserver sa transition importante plutôt que d’être coupée à une frontière arbitraire. Traiter les extraits séparément aide à conserver les détails locaux, mais n’établit pas de continuité automatique ou de compréhension de l’ensemble de l’enregistrement entre les requêtes.

Utilité du résultat textuel

Le recueil de recettes du concepteur présente des descriptions du contenu parlé et de l’élocution, puis de la scène environnante ; d’autres exemples décrivent la musique, les effets, les changements d’intensité et la séquence des événements vocaux. Un catalogue audio peut stocker ce texte renvoyé avec le nom de la ressource et sa plage temporelle. Une personne examinant des médias peut l’utiliser comme brouillon de relevé sonore. Un monteur peut comparer la description à l’extrait pour déterminer si elle couvre les couches visées. Ce sont des exemples applicatifs, et non la preuve que le modèle a écouté à l’avance une ressource précise de l’utilisateur.

La sortie est une description, et non la promesse d’une transcription mot pour mot, d’un tableau de diarisation, d’un fichier de sous-titres horodatés ou d’une bande-son générée. Lorsqu’une formulation parlée ou un minutage exact est requis, vérifiez la description par rapport à l’audio et utilisez un flux dédié approprié pour l’artefact demandé. Une description richement rédigée peut inclure des informations déduites de scène ou de genre ; préservez donc l’incertitude lorsque le son lui-même n’identifie pas la source sans ambiguïté.

Exemples de génération et limites

L’exemple autonome du concepteur fixe un contexte de modèle de 32,768 tokens et une capacité de génération de 16,384 tokens, avec temperature 0.6, top_p 0.95 et top_k 20. Son recueil de recettes utilise une capacité de génération de 8,192 tokens avec les mêmes valeurs d’échantillonnage. Ce sont des exemples de configuration, et non des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente annonce 65,536 positions, ce qui ne doit pas être transformé en garantie de durée audio.

Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un seul audio, aucun texte en entrée et du texte uniquement en sortie. Le résultat utile est une description détaillée d’une courte scène audible ; vérifiez les citations de parole, le nombre de locuteurs et les sources sonores déduites avant de l’utiliser comme enregistrement faisant autorité.