Qwen3 Omni 30B A3B Captioner

Vue d’ensemble : descriptions détaillées des sons

Qwen3-Omni-30B-A3B-Captioner est un modèle spécialisé de description audio ajusté à partir de Qwen3-Omni-30B-A3B-Instruct. Il transforme un extrait audio en compte rendu textuel détaillé de ce qui est entendu. Qwen l’a conçu pour des contenus variés, notamment la parole, les sons environnementaux, la musique, les effets cinématographiques et les mélanges de plusieurs sources sonores. Il est ainsi utile pour préparer une description textuelle facilitant la recherche d’une ressource audio ou examiner les couches sonores d’un court segment média.

Compréhension de la parole et des sons non parlés

Le concepteur décrit l’analyse de plusieurs locuteurs, d’expressions multilingues, des émotions vocales et des intentions suggérées par la manière de parler. Ses exemples dépassent la transcription : ils décrivent la sonorité des voix, la langue parlée et la scène acoustique environnante. Pour l’audio non parlé, le modèle décrit l’atmosphère environnementale, les sons du monde réel, les couches musicales et les détails dynamiques dans les films ou médias.

Les descriptions d’humeur, d’intention du locuteur ou de contexte culturel sont des interprétations du contenu audible. Traitez-les séparément de la parole et des événements sonores directement vérifiables. Une description peut aider à remarquer un changement de ton ou une couche de fond ; elle ne mesure pas les émotions privées d’une personne et ne prouve pas la source physique d’un son ambigu.

L’édition Captioner et son contrat d’entrée

Ce checkpoint fonctionne en un seul tour. Il accepte exactement une entrée audio par inférence, aucun prompt textuel, et renvoie uniquement du texte. Il contient le composant thinker pour la compréhension audio ; la configuration publiée désactive explicitement la sortie audio. Ne transférez pas les fonctions conversationnelles, d’image, de vidéo ou de génération vocale des autres éditions Qwen3-Omni à Captioner au seul motif qu’elles partagent la même famille.

L’absence de prompt textuel compte en pratique. Préparez le segment audio à décrire et soumettez-le comme tâche entière. N’ajoutez pas d’instruction demandant un résumé personnalisé, une traduction, une réponse de locuteur ou un schéma de sortie. Si un flux a besoin de ces transformations, elles appartiennent à une étape distincte travaillant sur la description renvoyée, plutôt qu’à des contrôles présumés de ce checkpoint de description.

Préparer un audio utile

Qwen recommande de limiter un extrait à 30 secondes maximum pour une description fine. C’est une recommandation de qualité : un audio excessivement long peut réduire la perception des détails. Elle n’est pas présentée comme un seuil strict universel de rejet. Pour un enregistrement plus long, sélectionnez un court segment significatif autour de l’événement ou de la scène examinés. Gardez son identifiant source et son heure de début hors de la requête pour pouvoir rattacher ultérieurement la description à l’enregistrement original.

Préservez les couches sonores pertinentes pour la question. Un extrait axé sur une voix doit encore inclure le fond si celui-ci affecte la description souhaitée ; une ressource musicale ou d’effets sonores doit conserver sa transition importante plutôt qu’être coupée à une limite arbitraire. Traiter les extraits séparément aide à préserver les détails locaux, mais n’établit pas une continuité automatique ou une compréhension de l’enregistrement entier entre requêtes.

Utilité du résultat textuel

Le guide pratique du concepteur montre des descriptions du contenu parlé et de sa manière d’être prononcé, puis de la scène environnante ; d’autres exemples décrivent la musique, les effets, les variations d’intensité et la séquence d’événements vocaux. Un catalogue audio peut stocker le texte renvoyé avec le nom de ressource et la plage temporelle. Un réviseur de médias peut l’utiliser comme relevé sonore provisoire. Un monteur peut comparer la description à l’extrait pour vérifier si elle saisit les couches prévues. Ce sont des exemples applicatifs, pas la preuve que le modèle a écouté à l’avance une ressource particulière de l’utilisateur.

La sortie est une description, pas une transcription mot à mot promise, un tableau de diarisation, un fichier de sous-titres horodatés ou une bande sonore générée. Lorsque les mots exacts ou le minutage sont nécessaires, vérifiez la description par rapport à l’audio et utilisez un flux dédié adapté au livrable requis. Une description riche peut inclure des informations déduites sur la scène ou le genre ; préservez donc l’incertitude lorsque le son n’identifie pas lui-même sa source sans ambiguïté.

Exemples de génération et limites

L’exemple autonome du concepteur fixe un contexte de modèle de 32 768 jetons et une allocation de génération de 16 384 jetons, avec temperature 0.6, top_p 0.95 et top_k 20. Son guide pratique utilise une allocation de génération de 8 192 jetons avec les mêmes valeurs d’échantillonnage. Ce sont des configurations d’exemple, pas des longueurs maximales de description déclarées séparément. La configuration textuelle sous-jacente indique 65 536 positions, ce qui ne doit pas être converti en garantie de durée audio.

Le code utilitaire générique ou les champs de configuration partagés avec la famille Omni ne remplacent pas le contrat explicite de Captioner : un audio, aucun texte en entrée, uniquement du texte en sortie. Le résultat utile est une description détaillée d’une courte scène audible ; vérifiez les citations de parole, les nombres de locuteurs et les sources sonores déduites avant de l’utiliser comme relevé faisant autorité.